接上文基于ceph-deploy部署Ceph集群詳解
1.創(chuàng)建Ceph對象存儲系統(tǒng)RGW接口
（1）對象存儲概念
對象存儲（object storage）是非結(jié)構(gòu)數(shù)據(jù)的存儲方法，對象存儲中每一條數(shù)據(jù)都作為單獨的對象存儲，擁有唯一的地址來識別數(shù)據(jù)對象，通常用于云計算環(huán)境中。
不同于其他數(shù)據(jù)存儲方法，基于對象的存儲不使用目錄樹。
雖然在設(shè)計與實現(xiàn)上有所區(qū)別，但大多數(shù)對象存儲系統(tǒng)對外呈現(xiàn)的核心資源類型大同小異。從客戶端的角度來看，分為以下幾個邏輯單位：
- Amazon S3：
提供了
（1）用戶（User）
（2）存儲桶（Bucket）
（3）對象（Object）
三者的關(guān)系是：
（1）User將Object存儲到系統(tǒng)上的Bucket
（2）存儲桶屬于某個用戶并可以容納對象，一個存儲桶用于存儲多個對象
（3）同一個用戶可以擁有多個存儲桶，不同用戶允許使用相同名稱的Bucket，因此User名稱即可做為Bucket的名稱空間
- OpenStack Swift
提供了user、container和object分別對應(yīng)于用戶、存儲桶和對象，不過它還額外為user提供了父級組件account，用于表示一個項目或用戶，因此一個account中可以包含一到多個user，它們可共享使用同一組container，并為container提供名稱空間
- RadosGW
提供了user、subuser、bucket和object，其中的user對應(yīng)于S3的user，而subuser則對應(yīng)于Swift的user，不過user和subuser都不支持為bucket提供名稱空間，因此不同用戶的存儲桶不允許同名；不過，自jewel版本起，RadosGW引入了tenant（租戶）用于為user和bucket提供名稱空間，但他是個可選組件
從上可以看出大多數(shù)對象存儲的核心資源類型大同小異，如Amazon S3、OpenStack Swift與RadosGw。其中 S3 與 Swift 互不兼容，RadosGw為了兼容S3與Swift， Ceph在RadosGW集群的基礎(chǔ)上提供了RGW（RadosGateway）數(shù)據(jù)抽象層和管理層，它可以原生兼容 S3 和 Swift 的 API。
S3和Swift它們可基于http或https完成數(shù)據(jù)交換，由RadosGW內(nèi)建的Civetweb提供服務(wù)，它還可以支持代理服務(wù)器包括nginx、haproxy等以代理的形式接收用戶請求，再轉(zhuǎn)發(fā)至RadosGW進程。
RGW的功能依賴于對象網(wǎng)關(guān)守護進程實現(xiàn)，負責向客戶端提供 REST API接口。出于冗余負載均衡的需求，一個 Ceph集群上通常不止一個RadosGW守護進程。
（2）創(chuàng)建RGW接口
如果需要使用到類似S3或者Swift接口時候，才需要部署/創(chuàng)建RadosGW接口，RadosGW通常作為對象存儲（Object Storage）使用，類于阿里云OSS。
在管理節(jié)點創(chuàng)建一個RGW守護進程
cd /etc/ceph
ceph-deploy rgw create node01
ceph -s
創(chuàng)建成功后,默認情況下會自動創(chuàng)建一系列用于RGW的存儲池
ceph osd pool ls
rgw.root
default.rgw.control #控制器信息
default.rgw.meta #記錄元數(shù)據(jù)
default.rgw.log #日志信息
default.rgw.buckets.index #為 rgw 的 bucket 信息，寫入數(shù)據(jù)后生成
default.rgw.buckets.data #是實際存儲的數(shù)據(jù)信息，寫入數(shù)據(jù)后生成
默認情況下RGW監(jiān)聽7480號端口
ssh root@node01 netstat -lntp | grep 7480
curl node01:7480
2. 開啟http+https,更改監(jiān)聽端口
RadosGW守護進程內(nèi)部由Civetweb實現(xiàn)，通過對Civetweb的配置,可以完成對RadosGW的基本管理。
要在Civetweb上啟用SSL，首先需要一個證書，在admin節(jié)點生成證書
（1）生成CA證書私鑰
openssl genrsa -out civetweb.key 2048
（2）生成CA證書公鑰
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.80.30"
（3）將生成的證書合并為pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem
（4）在admin管理節(jié)點，將生成合并的證書civetweb.pem，推送到RGW節(jié)點中
scp civetweb.pem node02:`pwd`
3. 更改監(jiān)聽端口
Civetweb默認監(jiān)聽7480端口，并提供http協(xié)議。在管理節(jié)點編輯ceph.conf配置文件，可以修改Civetweb監(jiān)聽的端口號
vim /etc/ceph/ceph.conf
......
[client.rgw.node02]
rgw_host = node02
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
------------------------------------------------------------
●rgw_host：對應(yīng)的RadosGW名稱或者IP地址
●rgw_frontends：這里配置監(jiān)聽的端口，是否使用https，以及一些常用配置：
?port：如果是https端口，需要在端口后面加一個s。
?ssl_certificate：指定證書的路徑。
?num_threads：最大并發(fā)連接數(shù)，默認為50，根據(jù)需求調(diào)整，通常在生產(chǎn)集群環(huán)境中此值應(yīng)該更大
?request_timeout_ms：發(fā)送與接收超時時長，以ms為單位，默認為30000
?access_log_file：訪問日志路徑，默認為空
?error_log_file：錯誤日志路徑，默認為空
------------------------------------------------------------
修改完ceph.conf配置文件后，需要重啟對應(yīng)的RadosGW服務(wù)，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}
ssh root@node02 systemctl restart ceph-radosgw.target
ssh root@node02 systemctl status ceph-radosgw.target
在rgw節(jié)點上查看端口
netstat -lntp | grep -w 80
netstat -lntp | grep 443
在客戶端訪問驗證
curl http://192.168.80.30:80
curl -k https://192.168.80.30:443
創(chuàng)建RadosGW賬戶
在管理節(jié)點使用radosgw-admin命令創(chuàng)建RadosGW賬戶
radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"
-------------------------------------------------------
"keys": [
{
"user": "rgwuser",
"access_key": "1HXE9W5NNID7BWGW0JCE",
"secret_key": "Oq7UOSE6eTs03e7lqClN8J9iSD7QcKycVbh52gSj"
}
],
創(chuàng)建成功后將輸出用戶的基本信息，其中最重要的兩項信息為access_key和secret_key 。用戶創(chuàng)建成功后，如果忘記用戶信息可以使用下面的命令查看
radosgw-admin user info --uid="rgwuser"
4.S3接口訪問測試
創(chuàng)建以及使用存儲桶的腳本文件;
vim /etc/ceph/test.py
#coding:utf-8
#boto s3手冊：http://boto.readthedocs.org/en/latest/ref/s3.html
#boto s3快速入門：http://boto.readthedocs.org/en/latest/s3_tut.html
#如果腳本長時間阻塞，請檢查集群狀態(tài)，開啟的端口等
import ssl
import boto.s3.connection
from boto.s3.key import Key
#異常拋出
try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
pass
else:
ssl._create_default_https_context = _create_unverified_https_context
#test用戶的keys信息，為在admin節(jié)點使用radosgw-admin命令創(chuàng)建RadosGW賬戶
access_key = "1HXE9W5NNID7BWGW0JCE"
secret_key = "Oq7UOSE6eTs03e7lqClN8J9iSD7QcKycVbh52gSj"
#rgw的ip與端口，此處的IP地址為kgw節(jié)點的IP地址
host = "192.168.80.30"
#如果使用443端口，下述鏈接應(yīng)設(shè)置is_secure=True
port = 443
#如果使用80端口，下述鏈接應(yīng)設(shè)置is_secure=False
#port = 80
conn = boto.connect_s3(
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
host=host,
port=port,
is_secure=True,
validate_certs=False,
calling_format=boto.s3.connection.OrdinaryCallingFormat()
)
#一:創(chuàng)建存儲桶
conn.create_bucket(bucket_name='bucket01')
conn.create_bucket(bucket_name='bucket02')
#二：判斷是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
exists = conn.lookup('bucket02')
print(exists)
#三：獲得一個存儲桶
bucket1 = conn.get_bucket('bucket01')
bucket2 = conn.get_bucket('bucket02')
#四：查看一個bucket下的內(nèi)容
print(list(bucket1.list()))
print(list(bucket2.list()))
#五：向s3上存儲數(shù)據(jù)，數(shù)據(jù)來源可以是file、stream、or string
#5.1、上傳文件
bucket1 = conn.get_bucket('bucket01')
# name的值是數(shù)據(jù)的key
key = Key(bucket=bucket1, name='myfile')
key.set_contents_from_filename(r'D:\PycharmProjects\ceph\123.txt')
# 讀取 s3 中文件的內(nèi)容，返回 string 即文件 123.txt 的內(nèi)容
print(key.get_contents_as_string())
#5.2、上傳字符串
#如果之前已經(jīng)獲取過對象，此處不需要重復獲取
bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='mystr')
key.set_contents_from_string('hello world')
print(key.get_contents_as_string())
#六：刪除一個存儲桶，在刪除存儲桶本身時必須刪除該存儲桶內(nèi)的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
key.delete()
bucket1.delete()
#bucket1.get_all_keys()[0].delete() #刪除某一個 key
#迭代遍歷刪除 buckets and keys
for bucket in conn:
for key in bucket:
print(key.name,key.get_contents_as_string())
#—個判斷文件夾中是否有文件的方法
bucket1 = conn.get_bucket('bucket01')
res = bucket1.get_all_keys()
if len(res) > 0:
print('有文件')
else:
print('為空')
（1）在客戶端安裝python3、python3-pip
yum install -y python3 python3-pip
python3 -V
pip3 -V
（2）安裝boto模塊，用于測試連接S3
pip3 install boto
（3）測試訪問S3接口
腳本判斷存儲桶是否存在；
#一:創(chuàng)建存儲桶
conn.create_bucket(bucket_name='bucket01')
conn.create_bucket(bucket_name='bucket02')
#二：判斷是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
exists = conn.lookup('bucket02')
print(exists)
exists = conn.lookup('bucket03')
print(exists)
將指定文件內(nèi)容上傳到bucket01存儲桶中;
##5.1、上傳文件
bucket1 = conn.get_bucket('bucket01')
## name的值是數(shù)據(jù)的key
key = Key(bucket=bucket1, name='gzy')
key.set_contents_from_filename(r'/opt/123.txt')
## 讀取 s3 中文件的內(nèi)容，返回 string 即文件 123.txt 的內(nèi)容
print(list(bucket1.list()))
print(key.get_contents_as_string())
上傳指定字符串內(nèi)容到bucket02存儲桶中;
##5.2、上傳字符串
##如果之前已經(jīng)獲取過對象，此處不需要重復獲取
bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='Ayu')
key.set_contents_from_string('hello world is you ooo')
print(list(bucket2.list()))print(key.get_contents_as_string())
刪除指定存儲桶bucket01;
---------需要取消打印存儲桶的注釋，否則將不返回任何數(shù)據(jù)內(nèi)容
#二：判斷是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
exists = conn.lookup('bucket02')
print(exists)
exists = conn.lookup('bucket03')
print(exists)
##六：刪除一個存儲桶，在刪除存儲桶本身時必須刪除該存儲桶內(nèi)
的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
key.delete()
bucket1.delete()
##bucket1.get_all_keys()[0].delete() #刪除某一個 key
5.實驗中遇到的故障案例
問題：
OSD服務(wù)被down掉，健康狀態(tài)顯示W(wǎng)ARN.
解決方法：
產(chǎn)生該問題的原因是數(shù)據(jù)在均衡或者回滾等操作的時候，導致其某個守護進程崩潰了，且沒有及時歸檔，所以集群產(chǎn)生告警。
在OSD節(jié)點重啟osd和mgr服務(wù)；
systemctl restart ceph-osd.target
systemctl restart ceph-mgr.target
在admin管理節(jié)點，查看崩潰守護進程的詳細信息文章來源：http://www.zghlxwxcb.cn/news/detail-584518.html
ceph crash ls #列出所有未歸檔崩潰守護進程
ceph crash archive <id> #查看某個崩潰守護進程的詳細信息
ceph crash archive-all #將所有崩潰守護進程進行存檔
ceph -s
文章來源地址http://www.zghlxwxcb.cn/news/detail-584518.html
到了這里，關(guān)于【Ceph集群應(yīng)用】Ceph對象存儲系統(tǒng)之RGW接口詳解的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
