【博學(xué)谷學(xué)習(xí)記錄】超強(qiáng)總結(jié)，用心分享|Linux服務(wù)器集群-大數(shù)據(jù)基礎(chǔ)環(huán)境搭建指南

本文將構(gòu)建三臺(tái)Linux服務(wù)器（node1、node2、node3），通過相關(guān)配置，搭建出一個(gè)Linux服務(wù)器集群環(huán)境適用于大數(shù)據(jù)的開發(fā)學(xué)習(xí)。

一、第一臺(tái)Linux服務(wù)器創(chuàng)建

本文使用的VMware版本為：VMware16；
本文環(huán)境搭建使用到的Linux發(fā)行版本為：CentOS7；
本文的電腦操作環(huán)境為：windows11。
首先,需要根據(jù)之前發(fā)文中的流程創(chuàng)建好第一臺(tái)Linux服務(wù)器，命名為node1。
Linux簡單環(huán)境搭建https://blog.csdn.net/weixin_43741856/article/details/128513521?spm=1001.2014.3001.5501

二、Linux集群服務(wù)器環(huán)境搭建

1.通過ISO鏡像文件搭建（不推薦）

重復(fù)創(chuàng)建node1的步驟，通過iso鏡像文件安裝、配置服務(wù)器node2、node3。
不推薦理由：步驟繁瑣、JDK、MYSQL及防火墻之類的安裝、設(shè)置都需要重新來過。

2.通過克隆搭建（強(qiáng)烈推薦）

通過克隆的方式，根據(jù)node1虛擬機(jī)直接克隆出新的Linux虛擬機(jī)node2、node3。具體步驟如下：
（1）確保node1虛擬機(jī)能正常運(yùn)行后，關(guān)閉node1虛擬機(jī)。
（2）右鍵“node1”，選擇“管理”，選擇“克隆”（node2、node3的克隆一樣，都是從node1進(jìn)行克?。?。

（3）選擇“克隆”后，一路下一步，選擇“創(chuàng)建完整克隆”（node3的克隆同理）。

（4）修改“虛擬機(jī)名稱”為node2、存放路徑設(shè)置成和node1一樣，但是一定要提前在最終目錄下創(chuàng)建好node2文件夾（node3的克隆同理）。

三、Linux集群服務(wù)器內(nèi)存、處理器配置

1.內(nèi)存配置

本文Linux集群總共3臺(tái)虛擬機(jī)，加上自身Windows，整個(gè)集群如果正常運(yùn)轉(zhuǎn)則需要同時(shí)運(yùn)行4臺(tái)機(jī)器。所以在分配的時(shí)候，每臺(tái)虛擬機(jī)的內(nèi)存為：總內(nèi)存 ? 4。例如：電腦總內(nèi)存為16G，則每臺(tái)Linux虛擬機(jī)內(nèi)存設(shè)置為4G，即4096MB。

2.處理器配置

處理器內(nèi)核總數(shù) = 處理器數(shù)量 * 每個(gè)處理器的內(nèi)核數(shù)量。
處理器的配置同樣需要根據(jù)各自電腦性能進(jìn)行相應(yīng)配置（可從“任務(wù)管理器”的“性能”中看到自己“邏輯處理器”數(shù)量。）因此，處理器內(nèi)核總數(shù)設(shè)置 = 邏輯處理器 / 4，即可。

四、Linux集群服務(wù)器MAC地址配置

由于node2和node3都是從node1克隆而來，所以在mac地址配置前，三臺(tái)虛擬機(jī)的MAC地址都一樣，我們要對(duì)node2、node3虛擬機(jī)進(jìn)行mac地址重新配置，否則無法同時(shí)啟動(dòng)三臺(tái)虛擬機(jī)。
使用VMware打開node2，右鍵選擇“設(shè)置”，選擇“網(wǎng)絡(luò)適配器”，選擇“高級(jí)”，點(diǎn)擊“生成”（點(diǎn)擊一下、多下均可，目的就是為了和node1不一樣），點(diǎn)擊“確定”（node3的配置同理）。

五、Linux集群服務(wù)器IP地址配置

由于node2和node3都是從node1克隆而來，所以在IP地址配置前，三臺(tái)虛擬機(jī)的IP地址都一樣，我們要對(duì)node2、node3虛擬機(jī)進(jìn)行IP地址重新配置。
三臺(tái)虛擬機(jī)的IP地址除了末尾數(shù)，其他應(yīng)該都配置成一樣，例如：
node1:192.111.11.1
node2:192.111.11.2
node3:192.111.11.3
由于node1在創(chuàng)建之處就已經(jīng)配置好了IP地址，因此只要對(duì)node2、node3進(jìn)行配置。
（1）進(jìn)入node2的Linux服務(wù)器，修改IP配置文件、設(shè)置IP地址。（node3同理）
在node2的服務(wù)器中輸入：vim /etc/sysconfig/network-scripts/ifcfg-ens33

（2）重啟網(wǎng)絡(luò)服務(wù)（node3同理）。
在node2的服務(wù)器中輸入：systemctl restart network
（3）查看更新后的IP地址（node3同理）。
在node2的服務(wù)器中輸入：ifconfig
（4）測試網(wǎng)絡(luò)連接（node3同理）。
在node2的服務(wù)器中輸入：ping www.baidu.com

六、使用CRT連接三臺(tái)虛擬機(jī)

通過以上步驟配置后，則可以通過任意Linux連接工具進(jìn)行node2、node3服務(wù)器連接。（略）

七、Linux集群服務(wù)器主機(jī)名、域名配置

由于node2和node3都是從node1克隆而來，所以在主機(jī)名、域名配置前，三臺(tái)虛擬機(jī)的主機(jī)名都一樣，都是node1。因此需要對(duì)node2、node3重新配置。
（1）進(jìn)入node2的Linux服務(wù)器，修改主機(jī)名。（node3同理）
在node2的服務(wù)器中輸入：vim /etc/hostname 修改node1為node2
（2）進(jìn)入node2的Linux服務(wù)器，修改域名。（node3同理）
在node2的服務(wù)器中輸入：vim /etc/hosts
**注意：**不要修改文件原來內(nèi)容，三臺(tái)虛擬機(jī)的配置內(nèi)容應(yīng)當(dāng)一樣。都在文件末尾添加以下內(nèi)容：
192.111.11.1 node1 node1.xxx.cn
192.111.11.2 node2 node2.xxx.cn
192.111.11.3 node3 node3.xxx.cn

八、關(guān)閉Linux集群服務(wù)器的防火墻、Selinux

1.關(guān)閉每臺(tái)虛擬機(jī)的防火墻

在每臺(tái)虛擬機(jī)上分別執(zhí)行一下命令：
（1）systemctl stop firewalld.service #停止firewall
（2）systemctl disable firewalld.service #禁止firewall開機(jī)啟動(dòng)
關(guān)閉之后，查看防火墻狀態(tài)：
systemctl status firewalld.service

2.關(guān)閉每臺(tái)虛擬機(jī)的Selinux

編輯每臺(tái)虛擬機(jī)的Selinux的配置文件：vim /etc/selinux/config
將SELINUX=enforcing 修改為SELINUX=disabled

3.分別重啟三臺(tái)虛擬機(jī)

九、Linux集群服務(wù)器互相免密登錄配置

由于后期應(yīng)用需要頻繁從主節(jié)點(diǎn)進(jìn)入從節(jié)點(diǎn)，從node1進(jìn)入node2、node3時(shí)，每次都需要輸入密碼才能登陸，非常麻煩。因此，需要對(duì)三臺(tái)虛擬機(jī)進(jìn)行免密登錄配置。

1.三臺(tái)虛擬機(jī)都需要生成公鑰和私鑰

在三臺(tái)虛擬機(jī)上執(zhí)行：ssh-keygen -t rsa
執(zhí)行該命令后，按三下回車鍵即可，就會(huì)生成兩個(gè)文件id_rsa（私鑰）、id_rsa.pub（公鑰），默認(rèn)保存在/root/.ssh目錄下。

2.將三臺(tái)虛擬機(jī)的公鑰拷貝到同一臺(tái)虛擬機(jī)node1上

在三臺(tái)虛擬機(jī)上執(zhí)行：ssh-copy-id node1
執(zhí)行命令后，輸入yes，和虛擬機(jī)密碼，即可。

3.復(fù)制node1的認(rèn)證到其他虛擬機(jī)上

在node1虛擬機(jī)上執(zhí)行：
（1）scp /root/.ssh/authorized_keys node2:/root/.ssh
（2）scp /root/.ssh/authorized_keys node3:/root/.ssh
執(zhí)行命令時(shí)。輸入yes，和對(duì)應(yīng)的密碼，即可。

4.測試SSH免密登錄

可以在任何一臺(tái)主機(jī)上通過ssh 主機(jī)名命令去遠(yuǎn)程登錄到該主機(jī)，輸入exit退出登錄.

十、Linux集群服務(wù)器時(shí)鐘同步配置

大數(shù)據(jù)環(huán)境下的Linux集群必須進(jìn)行時(shí)間同步配置，不然后期分布式系統(tǒng)的應(yīng)用會(huì)出現(xiàn)存儲(chǔ)時(shí)間不一致問題。

1.通過網(wǎng)絡(luò)進(jìn)行時(shí)鐘同步（操作簡單，推薦）

注意： 通過網(wǎng)絡(luò)連接外網(wǎng)進(jìn)行時(shí)鐘同步,必須保證虛擬機(jī)連上外網(wǎng)。
（1）分別在三臺(tái)虛擬機(jī)中啟動(dòng)定時(shí)任務(wù)
輸入執(zhí)行指令：crontab -e
（2）隨后在輸入界面鍵入以下內(nèi)容，每隔一分鐘就去連接阿里云時(shí)間同步服務(wù)器，進(jìn)行時(shí)鐘同步
輸入指令：* * * * * /usr/sbin/ntpdate ntp4.aliyun.com

2.通過對(duì)表某一臺(tái)虛擬機(jī)進(jìn)行同步（操作復(fù)雜，不推薦，略）

十一、總結(jié)

Linux服務(wù)器集群-大數(shù)據(jù)基礎(chǔ)環(huán)境搭建步驟較為繁瑣，本文盡可能詳細(xì)的描述了搭建的每一環(huán)節(jié)的必要操作。只要耐心根據(jù)本文操作，搭建出一個(gè)大數(shù)據(jù)的學(xué)習(xí)環(huán)境是非常簡單的。準(zhǔn)備環(huán)境已搭建好，后面將繼續(xù)做好學(xué)習(xí)筆記整理。文章來源地址http://www.zghlxwxcb.cn/news/detail-468062.html

到了這里，關(guān)于Linux服務(wù)器集群-大數(shù)據(jù)基礎(chǔ)環(huán)境搭建指南的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！