一.Ceph 存儲基礎

1、單機存儲設備

• DAS（直接附加存儲，是直接接到計算機的主板總線上去的存儲）
  IDE、SATA、SCSI、SAS、USB 接口的磁盤
  所謂接口就是一種存儲設備驅動下的磁盤設備，提供塊級別的存儲

• NAS（網絡附加存儲，是通過網絡附加到當前主機文件系統(tǒng)之上的存儲）

• NFS、CIFS、FTP
  文件系統(tǒng)級別的存儲，本身就是一個做好的文件系統(tǒng)，通過nfs接口在用戶空間輸出后，客戶端基于內核模塊與遠程主機進行網絡通信，把它轉為好像本地文件系統(tǒng)一樣來使用，這種存儲服務是沒辦法對它再一次格式化創(chuàng)建文件系統(tǒng)塊的

• SAN（存儲區(qū)域網絡）
  SCSI協(xié)議（只是用來傳輸數(shù)據的存取操作，物理層使用SCSI線纜來傳輸）、FCSAN（物理層使用光纖來傳輸）、iSCSI（物理層使用以太網來傳輸）
  也是一種網絡存儲，但不同之處在于SAN提供給客戶端主機使用的接口是塊級別的存儲

2、單機存儲的問題

• 存儲處理能力不足
  傳統(tǒng)的IDE的IO值是100次/秒，SATA固態(tài)磁盤500次/秒，固態(tài)硬盤達到2000-4000次/秒。即使磁盤的IO能力再大數(shù)十倍，也不夠抗住網站訪問高峰期數(shù)十萬、數(shù)百萬甚至上億用戶的同時訪問，這同時還要受到主機網絡IO能力的限制。

• 存儲空間能力不足
  單塊磁盤的容量再大，也無法滿足用戶的正常訪問所需的數(shù)據容量限制。

• 單點故障問題
  單機存儲數(shù)據存在單點故障問題

3、商業(yè)存儲解決方案

EMC、NetAPP、IBM、DELL、華為、浪潮

4、分布式存儲（軟件定義的存儲 SDS）

• Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
• 存儲機制會把數(shù)據分散存儲到多個節(jié)點上，具有高擴展性、高性能、高可用性等優(yōu)點。

5、分布式存儲的類型

• 塊存儲（例如硬盤，一般是一個存儲被一個服務器掛載使用，適用于容器或虛擬機存儲卷分配、日志存儲、文件存儲）
  就是一個裸設備，用于提供沒有被組織過的存儲空間，底層以分塊的方式來存儲數(shù)據

• 文件存儲（例如NFS，解決塊存儲無法共享問題，可以一個存儲被多個服務器同時掛載，適用于目錄結構的存儲、日志存儲）
  是一種數(shù)據的組織存放接口，一般是建立在塊級別的存儲結構之上，以文件形式來存儲數(shù)據，而文件的元數(shù)據和實際數(shù)據是分開存儲的

• 對象存儲（例如OSS，一個存儲可以被多服務同時訪問，具備塊存儲的高速讀寫能力，也具備文件存儲共享的特性，適用圖片存儲、視頻存儲）
  基于API接口提供的文件存儲，每一個文件都是一個對象，且文件大小各不相同的，文件的元數(shù)據和實際數(shù)據是存放在一起的

二.Ceph 介紹

1.Ceph 的概念

• Ceph使用C++語言開發(fā)，是一個開放、自我修復和自我管理的開源分布式存儲系統(tǒng)。具有高擴展性、高性能、高可靠性的優(yōu)點
• Ceph目前已得到眾多云計算廠商的支持并被廣泛應用。RedHat及OpenStack，Kubernetes都可與Ceph整合以支持虛擬機鏡像的后端存儲。粗略估計，我國70%—80%的云平臺都將Ceph作為底層的存儲平臺，由此可見Ceph儼然成為了開源云平臺的標配。目前國內使用Ceph搭建分布式存儲系統(tǒng)較為成功的企業(yè)有華為、阿里、中興、華三、浪潮、中國移動、網易、樂視、360、星辰天合存儲、杉巖數(shù)據等。

2、Ceph 優(yōu)勢

• 高擴展性：去中心化，支持使用普通X86服務器，支持上千個存儲節(jié)點的規(guī)模，支持TB到EB級的擴展
• 高可靠性：沒有單點故障，多數(shù)據副本，自動管理，自動修復
• 高性能：摒棄了傳統(tǒng)的集中式存儲元數(shù)據尋址的方案，采用 CRUSH 算法，數(shù)據分布均衡，并行度高
• 功能強大：Ceph是個大一統(tǒng)的存儲系統(tǒng)，集塊存儲接口（RBD）、文件存儲接口（CephFS）、對象存儲接口（RadosGW）于一身，因而適用于不同的應用場景

3、Ceph 架構

• RADOS 基礎存儲系統(tǒng)（Reliab1e，Autonomic，Distributed object store，即可靠的、自動化的、分布式的對象存儲）
  RADOS是Ceph最底層的功能模塊，是一個無限可擴容的對象存儲服務，能將文件拆解成無數(shù)個對象（碎片）存放在硬盤中，大大提高了數(shù)據的穩(wěn)定性。它主要由OSD和Monitor兩個組件組成，OSD和Monitor都可以部署在多臺服務器中，這就是ceph分布式的由來，高擴展性的由來。

• LIBRADOS 基礎庫
  Librados提供了與RADOS進行交互的方式，并向上層應用提供Ceph服務的API接口，因此上層的RBD、RGW和CephFS都是通過Librados訪問的，目前提供PHP、Ruby、Java、Python、Go、C和C++支持，以便直接基于RADOS（而不是整個Ceph）進行客戶端應用開發(fā)。

4、高層應用接口：包括了三個部分

1）對象存儲接口 RGW（RADOS Gateway）

• 網關接口，基于Librados開發(fā)的對象存儲系統(tǒng)，提供S3和Swift兼容的RESTful API接口。

2）塊存儲接口 RBD（Reliable Block Device）

• 基于Librados提供塊設備接口，主要用于Host/VM。

3）文件存儲接口 CephFS（Ceph File System）

• Ceph文件系統(tǒng)，提供了一個符合POSIX標準的文件系統(tǒng)，它使用Ceph存儲集群在文件系統(tǒng)上存儲用戶數(shù)據。基于Librados提供的分布式文件系統(tǒng)接口
• 應用層：基于高層接口或者基礎庫Librados開發(fā)出來的各種APP，或者Host、VM等諸多客戶端

5、Ceph 核心組件

• Ceph是一個對象式存儲系統(tǒng)，它把每一個待管理的數(shù)據流（如文件等數(shù)據）切分為一到多個固定大小（默認4兆）的對象數(shù)據（Object），并以其為原子單元（原子是構成元素的最小單元）完成數(shù)據的讀寫。

1）OSD（Object Storage Daemon，守護進程 ceph-osd）

• 是負責物理存儲的進程，一般配置成和磁盤一一對應，一塊磁盤啟動一個OSD進程。主要功能是存儲數(shù)據、復制數(shù)據、平衡數(shù)據、恢復數(shù)據，以及與其它OSD間進行心跳檢查，負責響應客戶端請求返回具體數(shù)據的進程等。通常至少需要3個OSD來實現(xiàn)冗余和高可用性

2）PG（Placement Group 歸置組）

• PG 是一個虛擬的概念而已，物理上不真實存在。它在數(shù)據尋址時類似于數(shù)據庫中的索引：Ceph 先將每個對象數(shù)據通過HASH算法固定映射到一個 PG 中，然后將 PG 通過 CRUSH 算法映射到 OSD

3）Pool

• Pool 是存儲對象的邏輯分區(qū)，它起到 namespace 的作用。每個 Pool 包含一定數(shù)量（可配置）的 PG。Pool 可以做故障隔離域，根據不同的用戶場景統(tǒng)一進行隔離

6、Pool中數(shù)據保存方式支持兩種類型

• 多副本（replicated）：類似 raid1，一個對象數(shù)據默認保存 3 個副本，放在不同的 OSD
• 糾刪碼（Erasure Code）：類似 raid5，對 CPU 消耗稍大，但是節(jié)約磁盤空間，對象數(shù)據保存只有 1 個副本。由于Ceph部分功能不支持糾刪碼池，此類型存儲池使用不多

7、Pool、PG 和 OSD 的關系

• 一個Pool里有很多個PG；一個PG里包含一堆對象，一個對象只能屬于一個PG；PG有主從之分，一個PG分布在不同的OSD上（針對多副本類型）

1）Monitor（守護進程 ceph-mon）

• 用來保存OSD的元數(shù)據。負責維護集群狀態(tài)的映射視圖（Cluster Map：OSD Map、Monitor Map、PG Map 和 CRUSH Map），維護展示集群狀態(tài)的各種圖表， 管理集群客戶端認證與授權。一個Ceph集群通常至少需要 3 或 5 個（奇數(shù)個）Monitor 節(jié)點才能實現(xiàn)冗余和高可用性，它們通過 Paxos 協(xié)議實現(xiàn)節(jié)點間的同步數(shù)據。

2）Manager（守護進程 ceph-mgr）

• 負責跟蹤運行時指標和 Ceph 集群的當前狀態(tài)，包括存儲利用率、當前性能指標和系統(tǒng)負載。為外部監(jiān)視和管理系統(tǒng)提供額外的監(jiān)視和接口，例如 zabbix、prometheus、 cephmetrics 等。一個 Ceph 集群通常至少需要 2 個 mgr 節(jié)點實現(xiàn)高可用性，基于 raft 協(xié)議實現(xiàn)節(jié)點間的信息同步。

3）MDS（Metadata Server，守護進程 ceph-mds）

• 是 CephFS 服務依賴的元數(shù)據服務。負責保存文件系統(tǒng)的元數(shù)據，管理目錄結構。對象存儲和塊設備存儲不需要元數(shù)據服務；如果不使用 CephFS 可以不安裝。

8、OSD 存儲后端

• OSD 有兩種方式管理它們存儲的數(shù)據。在 Luminous 12.2.z 及以后的發(fā)行版中，默認（也是推薦的）后端是 BlueStore。在 Luminous 發(fā)布之前， 默認是 FileStore， 也是唯一的選項。

1）Filestore

• FileStore是在Ceph中存儲對象的一個遺留方法。它依賴于一個標準文件系統(tǒng)（只能是XFS)，并結合一個鍵/值數(shù)據庫（傳統(tǒng)上是LevelDB，現(xiàn)在BlueStore是RocksDB），用于保存和管理元數(shù)據。
  FileStore經過了良好的測試，在生產中得到了廣泛的應用。然而，由于它的總體設計和對傳統(tǒng)文件系統(tǒng)的依賴，使得它在性能上存在許多不足。

2）Bluestore

• BlueStore是一個特殊用途的存儲后端，專門為OSD工作負載管理磁盤上的數(shù)據而設計。BlueStore 的設計是基于十年來支持和管理 Filestore 的經驗。BlueStore 相較于 Filestore，具有更好的讀寫性能和安全性。

9、BlueStore 的主要功能包括：

1）BlueStore直接管理存儲設備，即直接使用原始塊設備或分區(qū)管理磁盤上的數(shù)據。這樣就避免了抽象層的介入（例如本地文件系統(tǒng)，如XFS)，因為抽象層會限制性能或增加復雜性。
2）BlueStore使用RocksDB進行元數(shù)據管理。RocksDB的鍵/值數(shù)據庫是嵌入式的，以便管理內部元數(shù)據，包括將對象名稱映射到磁盤上的塊位置。
3）寫入BlueStore的所有數(shù)據和元數(shù)據都受一個或多個校驗和的保護。未經驗證，不會從磁盤讀取或返回給用戶任何數(shù)據或元數(shù)據。
4）支持內聯(lián)壓縮。數(shù)據在寫入磁盤之前可以選擇性地進行壓縮。
5）支持多設備元數(shù)據分層。BlueStore允許將其內部日志（WAL預寫日志）寫入單獨的高速設備（如SSD、NVMe或NVDIMM)，以提高性能。如果有大量更快的可用存儲，則可以將內部元數(shù)據存儲在更快的設備上。
6）支持高效的寫時復制。RBD和CephFS快照依賴于在BlueStore中有效實現(xiàn)的即寫即復制克隆機制。這將為常規(guī)快照和擦除編碼池（依賴克隆實現(xiàn)高效的兩階段提交）帶來高效的I/O。

10、Ceph 數(shù)據的存儲過程

1）客戶端從 mon 獲取最新的 Cluster Map

2）在 Ceph 中，一切皆對象。Ceph 存儲的數(shù)據都會被切分成為一到多個固定大小的對象（Object）。Object size 大小可以由管理員調整，通常為 2M 或 4M。

11、每個對象都會有一個唯一的 OID

• ino ：即是文件的 FileID，用于在全局唯一標識每一個文件
• ono ：則是分片的編號
• 比如：一個文件 FileID 為 A，它被切成了兩個對象，一個對象編號0，另一個編號1，那么這兩個文件的 oid 則為 A0 與 A1
• OID 的好處是可以唯一標示每個不同的對象，并且存儲了對象與文件的從屬關系。由于 Ceph 的所有數(shù)據都虛擬成了整齊劃一的對象，所以在讀寫時效率都會比較高
• 通過對 OID 使用 HASH 算法得到一個16進制的特征碼，用特征碼與 Pool 中的 PG 總數(shù)取余，得到的序號則是 PGID ， Pool_ID + HASH(OID) % PG_NUM 得到 PGID
• PG 會根據設置的副本數(shù)量進行復制，通過對 PGID 使用 CRUSH 算法算出 PG 中目標主和次 OSD 的 ID，存儲到不同的 OSD 節(jié)點上（其實是把 PG 中的所有對象存儲到 OSD 上）。
  即通過 CRUSH(PGID) 得到將 PG 中的數(shù)據存儲到各個 OSD 組中
  CRUSH 是 Ceph 使用的數(shù)據分布算法，類似一致性哈希，讓數(shù)據分配到預期的地方。

12、Ceph 版本發(fā)行生命周期

• Ceph從Nautilus版本（14.2.0）開始，每年都會有一個新的穩(wěn)定版發(fā)行，預計是每年的3月份發(fā)布，每年的新版本都會起一個新的名稱（例如，“Mimic”）和一個主版本號（例如，13代表Mimic，因為“M”是字母表的第13個字母）。

• 版本號的格式為 x.y.z，x 表示發(fā)布周期（例如，13 代表 Mimic，17 代表 Quincy），y 表示發(fā)布版本類型，即
  ● x.0.z ：y等于 0，表示開發(fā)版本
  ● x.1.z ：y等于 1，表示發(fā)布候選版本（用于測試集群）
  ● x.2.z ：y等于 2，表示穩(wěn)定/錯誤修復版本（針對用戶）

13、Ceph 集群部署的方法

• ceph-deploy ：一個集群自動化部署工具，使用較久，成熟穩(wěn)定，被很多自動化工具所集成，可用于生產部署。

• cephadm ：從 Octopus 和較新的版本版本后使用 cephadm 來部署 ceph 集群，使用容器和 systemd 安裝和管理 Ceph 集群。目前不建議用于生產環(huán)境。

• 二進制：手動部署，一步步部署 Ceph 集群，支持較多定制化和了解部署細節(jié)，安裝難度較大。

三、 基于 ceph-deploy 部署 Ceph 集群

1、Ceph 生產環(huán)境推薦

① 存儲集群全采用萬兆網絡
② 集群網絡（cluster-network，用于集群內部通訊）與公共網絡（public-network，用于外部訪問Ceph集群）分離
③ mon、mds 與 osd 分離部署在不同主機上（測試環(huán)境中可以讓一臺主機節(jié)點運行多個組件）
④ OSD 使用 SATA 亦可
⑤ 根據容量規(guī)劃集群
⑥ 至強E5 2620 V3或以上 CPU，64GB或更高內存
⑦ 集群主機分散部署，避免機柜的電源或者網絡故障

2、Ceph 環(huán)境規(guī)劃

3、關閉 selinux 與防火墻

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

4、根據規(guī)劃設置主機名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

5、配置 hosts 解析

cat >> /etc/hosts << EOF
192.168.247.134 admin
192.168.247.131 node01
192.168.247.132 node02
192.168.247.133 node03
192.168.247.135 client
EOF

6、安裝常用軟件和依賴包

yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

7、在 admin 管理節(jié)點配置 ssh 免密登錄所有節(jié)點

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
sshpass -p 'xw523716' ssh-copy-id -o StrictHostKeyChecking=no root@admin
sshpass -p 'xw523716' ssh-copy-id -o StrictHostKeyChecking=no root@node01
sshpass -p 'xw523716' ssh-copy-id -o StrictHostKeyChecking=no root@node02
sshpass -p 'xw523716' ssh-copy-id -o StrictHostKeyChecking=no root@node03

8、配置時間同步

systemctl enable --now chronyd
timedatectl set-ntp true					#開啟 NTP
timedatectl set-timezone Asia/Shanghai		#設置時區(qū)
chronyc -a makestep							#強制同步下系統(tǒng)時鐘
timedatectl status							#查看時間同步狀態(tài)
chronyc sources -v							#查看 ntp 源服務器信息
timedatectl set-local-rtc 0					#將當前的UTC時間寫入硬件時鐘

• 重啟依賴于系統(tǒng)時間的服務

systemctl restart rsyslog 
systemctl restart crond

• 關閉無關服務

systemctl disable --now postfix

9、配置 Ceph yum源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm --force

10、執(zhí)行完上面所有的操作之后重啟所有主機（可選）

sync
reboot

11、在三個node節(jié)點上增加網卡并修改

四、部署 Ceph 集群

1、為所有節(jié)點都創(chuàng)建一個 Ceph 工作目錄，后續(xù)的工作都在該目錄下進行

mkdir -p /etc/ceph

2、安裝 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deploy
ceph-deploy --version

3、在管理節(jié)點為其它節(jié)點安裝 Ceph 軟件包

yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw

• 也可采用手動安裝 Ceph 包方式，在其它節(jié)點上執(zhí)行下面的命令將 Ceph 的安裝包都部署上

sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

4、生成初始配置

cd /etc/ceph
ceph-deploy new --public-network 192.168.247.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

• 命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf					#ceph的配置文件
ceph-deploy-ceph.log		#monitor的日志
ceph.mon.keyring			#monitor的密鑰環(huán)文件

5、在管理節(jié)點初始化 mon 節(jié)點

cd /etc/ceph
ceph-deploy mon create node01 node02 node03			#創(chuàng)建 mon 節(jié)點，由于 monitor 使用 Paxos 算法，其高可用集群節(jié)點數(shù)量要求為大于等于 3 的奇數(shù)臺
ceph-deploy --overwrite-conf mon create-initial		#配置初始化 mon 節(jié)點，并向所有節(jié)點同步配置    # --overwrite-conf 參數(shù)用于表示強制覆蓋配置文件
ceph-deploy gatherkeys node01		#可選操作，向 node01 節(jié)點收集所有密鑰

• 命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.bootstrap-mds.keyring			#引導啟動 mds 的密鑰文件
ceph.bootstrap-mgr.keyring			#引導啟動 mgr 的密鑰文件
ceph.bootstrap-osd.keyring			#引導啟動 osd 的密鑰文件
ceph.bootstrap-rgw.keyring			#引導啟動 rgw 的密鑰文件
ceph.client.admin.keyring			#ceph客戶端和管理端通信的認證密鑰，擁有ceph集群的所有權限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring

• 在 mon 節(jié)點上查看自動開啟的 mon 進程

ps aux | grep ceph
root        1823  0.0  0.2 189264  9216 ?        Ss   19:46   0:00 /usr/bin/python2.7 /usr/bin/ceph-crash
ceph        3228  0.0  0.8 501244 33420 ?        Ssl  21:08   0:00 /usr/bin/ceph-mon -f --cluster ceph --id node03 --setuser ceph --setgroupceph
root        3578  0.0  0.0 112824   988 pts/1    R+   21:24   0:00 grep --color=auto ceph

• 在管理節(jié)點查看 Ceph 集群狀態(tài)

cd /etc/ceph
ceph -s
  cluster:
    id:     7e9848bb-909c-43fa-b36c-5805ffbbeb39
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum node01,node02,node03
    mgr: no daemons active
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

• 查看 mon 集群選舉的情況

ceph quorum_status --format json-pretty | grep leader
"quorum_leader_name": "node01",

• 擴容 mon 節(jié)點

ceph-deploy mon add <節(jié)點名稱>

6、部署能夠管理 Ceph 集群的節(jié)點（可選）

• 可實現(xiàn)在各個節(jié)點執(zhí)行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03		#向所有 mon 節(jié)點同步配置，確保所有 mon 節(jié)點上的 ceph.conf 內容必須一致
ceph-deploy admin node01 node02 node03			#本質就是把 ceph.client.admin.keyring 集群認證文件拷貝到各個節(jié)點

• 在 mon 節(jié)點上查看

ls /etc/ceph
ceph.client.admin.keyring  ceph.conf  rbdmap  tmpr8tzyc
cd /etc/ceph
ceph -s

7、部署 osd 存儲節(jié)點

• 主機添加完硬盤后不要分區(qū)，直接使用

lsblk 
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   60G  0 disk 
├─sda1   8:1    0  500M  0 part /boot
├─sda2   8:2    0    4G  0 part [SWAP]
└─sda3   8:3    0 55.5G  0 part /
sdb      8:16   0   20G  0 disk 
sdc      8:32   0   20G  0 disk 
sdd      8:48   0   20G  0 disk 

• 如果是利舊的硬盤，則需要先擦凈（刪除分區(qū)表）磁盤（可選，無數(shù)據的新硬盤可不做）

cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb

• 添加 osd 節(jié)點

ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

• 查看 ceph 集群狀態(tài)

ceph -s
  cluster:
    id:     7e9848bb-909c-43fa-b36c-5805ffbbeb39
    health: HEALTH_WARN
            no avtive mgr
 
  services:
    mon: 3 daemons, quorum node01,node02,node03 (age 119m)
    mgr: no daemons active
    osd: 3 osds: 3 up (since 35s), 3 in (since 35s)
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 57 GiB / 60 GiB avail
    pgs: 

ceph osd stat
ceph osd tree
rados df
ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2

ceph osd status    #查看 osd 狀態(tài)，需部署 mgr 后才能執(zhí)行
+----+--------+-------+-------+--------+---------+--------+---------+-----------+
| id |  host  |  used | avail | wr ops | wr data | rd ops | rd data |   state   |
+----+--------+-------+-------+--------+---------+--------+---------+-----------+
| 0  | node01 | 1025M | 18.9G |    0   |     0   |    0   |     0   | exists,up |
| 1  | node02 | 1025M | 18.9G |    0   |     0   |    0   |     0   | exists,up |
| 2  | node03 | 1025M | 18.9G |    0   |     0   |    0   |     0   | exists,up |
+----+--------+-------+-------+--------+---------+--------+---------+-----------+

ceph osd df    #查看 osd 容量，需部署 mgr 后才能執(zhí)行
ID CLASS WEIGHT  REWEIGHT SIZE   RAW USE DATA    OMAP META  AVAIL  %USE VAR  PGS STATUS 
 0   hdd 0.01949  1.00000 20 GiB 1.0 GiB 1.8 MiB  0 B 1 GiB 19 GiB 5.01 1.00   0     up 
 1   hdd 0.01949  1.00000 20 GiB 1.0 GiB 1.8 MiB  0 B 1 GiB 19 GiB 5.01 1.00   0     up 
 2   hdd 0.01949  1.00000 20 GiB 1.0 GiB 1.8 MiB  0 B 1 GiB 19 GiB 5.01 1.00   0     up 
                    TOTAL 60 GiB 3.0 GiB 5.2 MiB  0 B 3 GiB 57 GiB 5.01                 
MIN/MAX VAR: 1.00/1.00  STDDEV: 0

• 擴容 osd 節(jié)點

cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd

8、部署 mgr 節(jié)點

• ceph-mgr守護進程以Active/Standby模式運行，可確保在Active節(jié)點或其ceph-mgr守護進程故障時，其中的一個Standby實例可以在不中斷服務的情況下接管其任務。根據官方的架構原則，mgr至少要有兩個節(jié)點來進行工作

cd /etc/ceph
ceph-deploy mgr create node01 node02

ceph -s
  cluster:
    id:     7e9848bb-909c-43fa-b36c-5805ffbbeb39
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum node01,node02,node03
    mgr: node01(active, since 10s), standbys: node02
    osd: 0 osds: 0 up, 0 in

• 解決 HEALTH_WARN 問題：mons are allowing insecure global_id reclaim問題：

• 禁用不安全模式：ceph config set mon auth_allow_insecure_global_id_reclaim false

• 擴容 mgr 節(jié)點

ceph-deploy mgr create <節(jié)點名稱>

9、開啟監(jiān)控模塊

• 在 ceph-mgr Active節(jié)點執(zhí)行命令開啟

ceph -s | grep mgr
yum install -y ceph-mgr-dashboard
cd /etc/ceph
ceph mgr module ls | grep dashboard

#開啟 dashboard 模塊

ceph mgr module enable dashboard --force

#禁用 dashboard 的 ssl 功能

ceph config set mgr mgr/dashboard/ssl false

#配置 dashboard 監(jiān)聽的地址和端口

ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000

#重啟 dashboard

ceph mgr module disable dashboard
ceph mgr module enable dashboard --force

#確認訪問 dashboard 的 url

ceph mgr services

#設置 dashboard 賬戶以及密碼

echo "12345678" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
  或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt

• 瀏覽器訪問：http://192.168.247.131:8000 ，賬號密碼為 admin/12345678

文章來源地址http://www.zghlxwxcb.cn/news/detail-573393.html

到了這里，關于Ceph 分布式存儲的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！