Proxmox-VE搭配Ceph存储组建高可用虚拟化平台

现在大家都在吹一个超融合的概念，作为在互联网打拼的运维出生的开发，我竟然不慎了解，后来在阅读了相关文档以后才知道，原来是传统行业的运维把高可用的一套架构说成了超融合来显示自己牛逼，其实我说啊，牛逼的人从来不要通过什么途径显示自己牛逼。

手头资源有限，我先用三台机器组集群环境，用Proxmox VE再配合Ceph存储组成一个高可用的虚拟化平台。

#hosts文件配置

root@proxmox3:~# cat >> /etc/hosts << EOF
192.168.5.2 proxmox2.magicwall.org proxmox232
192.168.5.1 proxmox1.magicwall.org proxmox231
EOF

root@proxmox2:~# cat >> /etc/hosts << EOF
192.168.5.3 proxmox3.magicwall.org proxmox233
192.168.5.1 proxmox1.magicwall.org proxmox231
EOF

root@proxmox1:~# cat >> /etc/hosts << EOF
192.168.5.2 proxmox2.magicwall.org proxmox232
192.168.5.3 proxmox3.magicwall.org proxmox233
EOF

#debian系统更新

rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade
apt-get install net-tools

设置时钟同步[修改自己的NTP服务器]：

apt-get install ntpdate
ntpdate 120.25.108.11
echo "0 * * * * /usr/sbin/ntpdate 120.25.108.11 > /dev/null 2>&1" >> /etc/crontab

#配置免登陆访问（这一步可以省略，在加入集群的时候，会自动建立信任关系）

root@proxmox1:~# ssh-keygen -t rsa
root@proxmox1:~# ssh-copy-id root@proxmox1
root@proxmox1:~# ssh-copy-id root@proxmox2
root@proxmox1:~# ssh-copy-id root@proxmox3

root@proxmox2:~# ssh-keygen -t rsa
root@proxmox2:~# ssh-copy-id root@proxmox1
root@proxmox2:~# ssh-copy-id root@proxmox2
root@proxmox2:~# ssh-copy-id root@proxmox3

root@proxmox3:~# ssh-keygen -t rsa
root@proxmox3:~# ssh-copy-id root@proxmox1
root@proxmox3:~# ssh-copy-id root@proxmox2
root@proxmox3:~# ssh-copy-id root@proxmox3

#在192.168.5.1上面创建pve-cluster集群

root@proxmox1:~# pvecm create pve-cluster

#接下来，通过ssh登陆其他2个pve节点，执行 pvecm add 192.168.5.1

root@proxmox3:~# pvecm add 192.168.5.1
successfully added node 'proxmox3' to cluster.

root@proxmox2:~# pvecm add 192.168.5.1
successfully added node 'proxmox2' to cluster.

#pvecm status 在任何一个节点上查看集群情况

root@proxmox1:~# pvecm status
Quorum information
------------------
Date:             Fri July 28 15:39:20 2019
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000001
Ring ID:          1/12
Quorate:          Yes
Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2  
Flags:            Quorate 
Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 192.168.5.1 (local)
0x00000003          1 192.168.5.2
0x00000002          1 192.168.5.3

Proxmox支持两种磁盘，一种是服务器本地自带磁盘，另一种是外部存储设备的磁盘。对于服务器本地磁盘，可以配置成本地目录、zfs、brd、lvm几种形式。

对于外部存储设备的磁盘，可以通过nfs，iscsi或者fc协议挂载到Proxmox服务器使用。其中nfs挂载上以后，可以直接作为文件存储使用，通过iscsi或者fc协议挂载后，Proxmox服务器会识别为裸磁盘设备，还需要进一步配置后才可以使用。例如可以配置成lvm，作为卷存储使用，也可以配置成本地目录，作为文件存储使用，但强烈建议不要配置为zfs使用，因为zfs的特点是要求能直接管理物理磁盘设备，如果中间有raid卡等，会严重影响zfs的正常运行。

当然，用户也可以配置外部的glusterfs、ceph、sheepdog等基于服务器的分布式存储。对于glusterfs，应该是可以直接通过菜单挂载；对于ceph，需要通过iscsi协议挂载；对于sheepdog，需要手工安装sheepdog插件，然后在命令行配置挂载。glusterfs挂载后可以作为文件存储使用，ceph和sheepdog应该都只能作为卷存储使用了。

前面多次提到了文件存储和卷存储两个概念，又有什么区别呢？主要是Proxmox对于存储使用是有多种需求的，例如对于虚拟磁盘，就有raw，qcow2，vmdk三种，另外还有iso镜像文件、gz容器模版文件、虚拟机备份文件的保存需求，这些都需要文件存储才可以实现。当然，用户也可以直接用用lvm逻辑卷或zvol逻辑卷或rbd卷的方式保存虚拟机的磁盘，相当于raw格式的效果，这就可以使用卷存储来实现。

那么，说了那么多，到底该怎么配置和选择呢？简单总结下，一般的配置是这样。

本地磁盘-本地目录-文件存储

本地磁盘-lvm-卷存储

本地磁盘-zfs-卷存储/文件存储

本地磁盘-ceph-卷存储

外部存储-nfs-文件存储

外部存储-iscci/fc-lvm-卷存储

外部存储-iscsi/fc-目录-文件存储

外部glusterfs-glusterfs插件挂载-文件存储

外部ceph-iscsi-卷存储

外部sheepdog-插件挂载-卷存储

#在每个节点上安装ceph，详见https://pve.proxmox.com/pve-docs/chapter-pveceph.html

root@proxmox1:~# pveceph install --version luminous
root@proxmox2:~# pveceph install --version luminous
root@proxmox3:~# pveceph install --version luminous

#配置ceph集群存储网络

root@proxmox1:~# pveceph init --network 192.168.5.0/24

#创建ceph集群存储Mon监控

root@proxmox1:~# pveceph createmon
root@proxmox2:~# pveceph createmon
root@proxmox3:~# pveceph createmon

#创建mgr

root@proxmox1:~# pveceph createmgr
root@proxmox2:~# pveceph createmgr
root@proxmox3:~# pveceph createmgr

#创建Ceph OSDs

root@proxmox1:~# pveceph createosd /dev/sdb
root@proxmox2:~# pveceph createosd /dev/sdb
root@proxmox3:~# pveceph createosd /dev/sdb

#创建集群存储资源池ceph osd pool create [资源池名称] 128 128

root@proxmox1:~# ceph osd pool create pvepool 128 128
pool 'pvepool' created

#复制存储ID和密钥到指定文件位置

root@proxmox1:~# mkdir /etc/pve/priv/ceph
root@proxmox1:~# cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph.keyring
root@proxmox1:~# cp /etc/pve/priv/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph1.keyring

root@proxmox1:~# ceph osd pool application enable pvepool rbd
enabled application 'rbd' on pool 'pvepool'

#查看集群状态

root@proxmox1:~# ceph -s
  cluster:
    id:     2cd9afcd-fd20-4e52-966b-3252c6444e6c
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum proxmox1,proxmox2,proxmox3
    mgr: proxmox1(active), standbys: proxmox2, proxmox3
    osd: 3 osds: 3 up, 3 in

#添加RBD集群存储
数据中心->存储->RBD

ID：填写为ceph 必填，不能定义
资源池：pvepool 可选（默认为rbd）
Monitor：192.168.5.1 192.168.5.2 192.168.5.3 （注意添加多个Mon以空格隔开）
添加节点：proxmox1,proxmox2,proxmox3

#查看rbd集群存储配置信息

root@proxmox1:~# cat /etc/pve/storage.cfg 
dir: local
        path /var/lib/vz
        content vztmpl,iso,backup
lvmthin: local-lvm
        thinpool data
        vgname pve
        content images,rootdir
rbd: ceph
        content images,rootdir
        krbd 0
        nodes proxmox3,proxmox1,proxmox2
        pool pvepool

#上传ISO镜像，通过sftp上传到以下目录/var/lib/vz/template/iso，但这里上传的iso只能本机显示，如果要让集群中其它的主机也能共享iso，那就要用到共享存储，刚好内网上有一台NFS服务器，exsi存储用的，上面也有ISO镜像，正好可以共享，于是在数据中心上挂载这个NFS存储

#新建虚拟机，使用ceph存储