ceph cluster搭建教程

ceph

记录自己在Power机器上配置ceph cluster的过程，中间也踩了很多坑，不过磕磕绊绊最后配好了。

最终的cluster里有两个主机，ceph-intern-02和ceph-intern-04，两个都是虚机。
配置如下:
ceph-intern-02:monitor,3个osd
ceph-intern-04:2个osd

1. IP与主机名设置

• 编辑/etc/hostname分别为自己指定的主机名，这里设置为ceph-intern-02和ceph-intern-04
• 编辑/etc/hosts，将主机和相应的IP一一对应起来。

2. 下载ceph

项目组指定的ceph版本号为0.94.6wget http://download.ceph.com/tarballs/ceph-0.94.6.tar.gz
解压缩：tar -xfz ceph-0.94.6.tar.gz

3. 相关依赖包的安装

./install-deps.sh

安装依赖包：

sudo apt-get install libtool
sudo apt-get install autoconf
sudo apt-get install pkg-config
./autogen.sh

sudo apt-get install libsnappy-dev
sudo apt-get install libleveldb-dev
sudo apt-get install uuid-dev
sudo apt-get install libblkid-dev
sudo apt-get install libudev-dev
sudo apt-get install libkeyutils-dev
sudo apt-get install libcrypto++-dev
sudo apt-get install libfuse-dev
sudo apt-get install libaio-dev

安装boost库

wget https://sourceforge.net/projects/boost/files/boost/1.61.0/boost_1_61_0.tar.gz

解压安装

tar -xf boost_1_61_0.tar.gz
./bootstrap.sh
sudo ./bjam --with-date_time --with-system --with-regex --with-thread --with-filesystem --with-serialization --with-iostreams --with-math --with-mpi --with-program_options --with-python --with-math --with-signals --layout=tagged install variant=debug,release link=static --runtime-link=static threading=multi stage

. 使用源码安装ceph

./configure --without-tcmalloc --without-libatomic-ops --without-libxfs
sudo make -j4
sudo make install

5. Monitor配置

首先说明，下面出现的node1都是主机名

• 确保/etc下有ceph目录，如果没有mkdir ceph
• 新建ceph.conf文件，touch /etc/ceph/ceph.conf
• 给集群分配唯一ID（即fsid）：uuidgen。
• 将生成的id写入ceph.conf文件：fsid = {uuid}
• 把初始监视器写入ceph.conf文件：mon initial members = {hostname}
• 把初始监视器的IP地址写入ceph.conf：mon host = {ip-address}[,{ip-address}]
• 为此集群创建密钥环，并生成监视器密钥

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

• 生成管理员密钥环，生成client.admin用户并加入密钥环

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'

• 把client.admin密钥加入ceph.mon.keyring

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

• 用规划好的主机名、对应IP地址、和FSID生成一个监视器图，并保存为/temp/monmap

monmaptool --create --add {hostname} {ip-address} --fsid {uuid} /tmp/monmap

• 在监视器主机上分别创建数据目录

sudo mkdir /var/lib/ceph/mon/{cluster-name}-{hostname}

• 用监视器和秘钥环组成守护进程所需的初始数据

ceph-mon [--cluster {cluster-name}] --mkfs -i {hostname} --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

最后ceph.conf配置文件大概是这样的

[global]
fsid = a7f64266-0894-4f1e-a635-d0aeaca0e993
mon initial members = node1
mon host = 192.168.0.1
public network = 192.168.0.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
filestore xattr use omap = true
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1

• 建一个空文件done，表示监视器已经创建，可以启动了：

sudo touch /var/lib/ceph/mon/ceph-node1/done

• 启动监视器

sudo ceph-mon -i node1 

这里有一个问题，就是我在配置的时候使用常规的start ceph-mon id=node1无法开启服务，只能使用ceph-mon -i node1来开启服务，具体原因未知。

6. osd添加与配置

因为目前只配置了monitor，cluster里还没有osd，所以当我们执行ceph -s时会看见warn的情况，下面同样还在这台vm上配置三个osd。三个osd的配置大致相同，下面就记录下第一个osd的配置情况。

• 给osd分配主机：uuidgen
• 创建osd，如果没有指定UUID，将会在OSD首次启动时分配一个，命令执行完后会输出OSD号，这个号很重要，在后面会多次用到。

ceph osd create [{uuid} [{id}]]

• 在osd主机，也就是在monitor主机上创建默认目录

sudo mkdir /var/lib/ceph/osd/{cluster-name}-{osd-number}

这里的osd-number就是创建osd时返回的osd号。假如你是第一次创建osd，那么返回的就是0，如果是第二次创建osd，那么返回的就是1...

• 将硬盘挂载到创建的目录下

 sudo mkfs -t {fstype} /dev/{hdd}
 mount -o user_xattr /dev/{hdd} /var/lib/ceph/osd/{cluster-name}-{osd-number}

这里因为我们使用的是vm，没有独立的硬盘，所以自己创建一个块设备，模拟硬盘。过程如下：

dd if=/dev/zero of=loopback_file1 bs=1024M count=1
losetup /dev/loop0 loopback_file1

这样就可以把/dev/loop0当成一个硬件来处理了。

• 初始化OSD数据目录

  sudo ceph-osd -i {osd-num} --mkfs --mkkey --osd-uuid [{uuid}]

  这里的--mkkey选项有点奇葩，有时得加上，有时不需要加上，不然就无法生成keyring。

• 注册此OSD的密钥

sudo ceph auth add osd.{osd-num} osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/{cluster-name}-{osd-num}/keyring

• 把此节点加入CRUSH图

ceph [--cluster {cluster-name}] osd crush add-bucket {hostname} host

• 把此节点放入default根下

ceph osd crush move node1 root=default

• 启动OSD，将OSD的状态由down变为up
  这里使用start命令也不可以，改用手动起。如下:

ceph-osd -i {osd-num}

可以在新建sysvinit命令，设置开机自启动

touch /var/lib/ceph/osd/{cluster-name}-{osd-num}/sysvinit

最后使用ceph -s命令查看当前集群状态为OK就可以了。
ceph状态图如下：