国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark

這篇具有很好參考價值的文章主要介紹了Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

先自我介紹一下,小編浙江大學畢業(yè),去過華為、字節(jié)跳動等大廠,目前阿里P7

深知大多數(shù)程序員,想要提升技能,往往是自己摸索成長,但自己不成體系的自學效果低效又漫長,而且極易碰到天花板技術停滯不前!

因此收集整理了一份《2024年最新軟件測試全套學習資料》,初衷也很簡單,就是希望能夠幫助到想自學提升又不知道該從何學起的朋友。
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark

既有適合小白學習的零基礎資料,也有適合3年以上經(jīng)驗的小伙伴深入學習提升的進階課程,涵蓋了95%以上軟件測試知識點,真正體系化!

由于文件比較多,這里只是將部分目錄截圖出來,全套包含大廠面經(jīng)、學習筆記、源碼講義、實戰(zhàn)項目、大綱路線、講解視頻,并且后續(xù)會持續(xù)更新

如果你需要這些資料,可以添加V獲?。簐ip1024b (備注軟件測試)
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark

正文

Docker可以在Window下和Linux下安裝,本教程基于Ubuntu16.04之上安裝docker,注意如果你選擇在虛擬機上安裝docker,請保證虛擬機內(nèi)存不小于4G,硬盤大小不小于15G
首先打開終端命令窗口,注意如果當前用戶是root用戶則以下所有操作均無需帶 sudo

sudo apt-get install docker.io
sudo docker images

2、下載Spark鏡像

這個鏡像是我這幾天在搭分布式Spark環(huán)境時保存下來的,為了方便大家快速搭建Spark集群,可以在這里下載 spark.tar(密碼:ydzo)下載完成之后,可以拷貝或者移動到當前用戶的home目錄下,接下來輸入命令

sudo docker load < ~/spark.tar

完成后,再次輸入命令查看

sudo docker images

如果鏡像加載成功則會多出一個spark鏡像文件

3、創(chuàng)建3個容器

輸入以下命令創(chuàng)建容器

docker container create --name cloud8 -h cloud8 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0
docker container create --name cloud9 -h cloud9 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0
docker container create --name cloud10 -h cloud10 --add-host cloud8:172.17.0.2 --add-host cloud9:172.17.0.3 --add-host cloud10:172.17.0.4 -it spark:5.0

完成后,輸入以下命令查看容器

sudo docker ps -a

會發(fā)現(xiàn)多出3個容器,名稱分別為cloud8,cloud9,cloud10

4、啟動集群

在啟動集群之前,需要修改一些配置文件,首先,打開3個命令窗口,按順序在3個窗口輸入以下命令

sudo docker start -i cloud8

sudo docker start -i cloud9

sudo docker start -i cloud10

此時,應該可以看到,三個窗口分別顯示進入了cloud8,cloud9,cloud10三臺主機
下面在三個窗口中執(zhí)行以下命令

vi ~/hadoop/etc/hadoop/myid

按i鍵開始編輯,將cloud8中的值改為1,cloud9中的值改為2,cloud10中的值改為3
接下來在三個命令窗口中輸入以下命令

網(wǎng)上學習資料一大堆,但如果學到的知識不成體系,遇到問題時只是淺嘗輒止,不再深入研究,那么很難做到真正的技術提升。

需要這份系統(tǒng)化的資料的朋友,可以添加V獲取:vip1024b (備注軟件測試)
Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark,2024年程序員學習,docker,hadoop,spark

一個人可以走的很快,但一群人才能走的更遠!不論你是正從事IT行業(yè)的老鳥或是對IT行業(yè)感興趣的新人,都歡迎加入我們的的圈子(技術交流、學習資源、職場吐槽、大廠內(nèi)推、面試輔導),讓我們一起學習成長!
vHpNcv5-1713298536957)]

一個人可以走的很快,但一群人才能走的更遠!不論你是正從事IT行業(yè)的老鳥或是對IT行業(yè)感興趣的新人,都歡迎加入我們的的圈子(技術交流、學習資源、職場吐槽、大廠內(nèi)推、面試輔導),讓我們一起學習成長!文章來源地址http://www.zghlxwxcb.cn/news/detail-860033.html

到了這里,關于Docker下安裝Hadoop和Spark集群_docker 中安裝hadoop和spark的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • 使用docker搭建hadoop集群

    使用docker搭建hadoop集群

    必應壁紙供圖 (img-CBr9VbGk-1687962511910)]

    2024年02月11日
    瀏覽(21)
  • mac docker部署hadoop集群

    mac docker部署hadoop集群

    確保電腦已經(jīng)安裝docker docker安裝過程可自行查找資料,mac下docker可以使用brew命令安裝 安裝之后,查看docker版本,確認安裝成功 最好下載jdk-8,jdk的版本過高可能hadoop2.x不支持 jdk-8的下載地址:Java Downloads | Oracle 我下載的是hadoop3.3.4版本,下tar.gz壓縮包 hadoop下載地址:Index

    2024年02月19日
    瀏覽(22)
  • docker搭建hadoop和hive集群

    docker搭建hadoop和hive集群

    安裝docker教程 https://www.runoob.com/docker/centos-docker-install.html 只要在終端輸入: 后出現(xiàn)如下圖的內(nèi)容就證明安裝docker成功了 在終端輸入: 在終端輸入:sudo docker images,可以看到剛剛拉取的兩個鏡像 每次執(zhí)行docker語句都要在前面加sudo,比較麻煩,直接將hadoop用戶加入docker用戶組

    2024年02月01日
    瀏覽(17)
  • Docker環(huán)境部署Hadoop并使用docker構建spark運行案列(全網(wǎng)最詳細教程)

    Docker環(huán)境部署Hadoop并使用docker構建spark運行案列(全網(wǎng)最詳細教程)

    Docker部署hadoop 和使用docker構建spark運行環(huán)境(全網(wǎng)最詳細教程) 首先查看版本環(huán)境(docker中沒有下載docker和docker-compose的可以看我上一篇博客 Linux 安裝配置Docker 和Docker compose 并在docker中部署mysql和中文版portainer圖形化管理界面) 查看docker和docker-compose版本: OK,環(huán)境沒問題,

    2024年02月03日
    瀏覽(59)
  • 大數(shù)據(jù)云計算——Docker環(huán)境下部署Hadoop集群及運行集群案列

    大數(shù)據(jù)云計算——Docker環(huán)境下部署Hadoop集群及運行集群案列

    本文著重介紹了在Docker環(huán)境下部署Hadoop集群以及實際案例中的集群運行。首先,文章詳細解釋了Hadoop的基本概念和其在大數(shù)據(jù)處理中的重要性,以及為何選擇在Docker環(huán)境下部署Hadoop集群。接著,闡述了在Docker中配置和啟動Hadoop集群所需的步驟和技術要點。 在展示部署過程中,

    2024年02月04日
    瀏覽(43)
  • 【李老師云計算】實驗三:在Docker中部署Hadoop集群

    【李老師云計算】實驗三:在Docker中部署Hadoop集群

    同樣是參考了學長的幾篇博客,濤哥功德無量!在整合了各種信息之后,鄙人會盡量用更精煉、簡單的說明來完成這個實驗,當然不足一定是會有的,希望各位朋友可以斧正,同樣也希望后來的朋友可以再次為這篇博客進行升級迭代! 博客是面向?qū)嶒灥?,因此對完成實驗無關

    2024年02月05日
    瀏覽(22)
  • Docker安裝Hadoop

    docker exec -it hadoop bash進入容器 2.2.1 master節(jié)點 2.2.2 slave1節(jié)點 2.2.3 slave2節(jié)點 2.2.4 將三個容器中的authorized_keys拷貝到本地合并 2.2.5 將本地authorized_keys文件分別拷貝到3個容器中 2.3.1 查看容器IP 2.3.2 修改hosts映射IP 三個容器都要修改如下三個IP映射 2.3.3 映射設置和免密成功 find / -

    2023年04月08日
    瀏覽(55)
  • Docker安裝及Docker構建簡易版Hadoop生態(tài)

    Docker安裝及Docker構建簡易版Hadoop生態(tài)

    一、首先在VM創(chuàng)建一個新的虛擬機將Docker安裝好(Window系統(tǒng)可以安裝 Docker Desktop Installer) 更新系統(tǒng):首先打開終端,更新系統(tǒng)包列表。 下圖是更新系統(tǒng)包截圖 安裝Docker:使用以下命令在Linux上安裝Docker。 啟動Docker服務:使用以下命令啟動Docker服務,我們通過ps命令可以看到

    2024年02月11日
    瀏覽(14)
  • Hadoop完全分布式安裝基于Docker

    Hadoop完全分布式安裝基于Docker

    (都在root用戶下) 在Dockfile文件中添加以下內(nèi)容 基于centos鏡像,生成帶有spenssh-server、openssh-clients的鏡像,用戶為root,密碼為a123456,鏡像維護者(作者)為hadoop 建好Dockerfile文件后,生成鏡像,在終端輸入: 1、在主機下載ssh 2、把hadoop和jdk傳到/root 3、解壓hadoop和jdk 4、生成帶

    2024年04月29日
    瀏覽(20)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包