hostnamectl set-hostname hive-master

寫在前面
想練練Hive SQL，但是沒有hive shell環(huán)境。現(xiàn)在只有一臺空的CentOS 7機子，一想要弄jdk、hadoop、mysql、hive就頭疼。

于是在網(wǎng)上找了找，發(fā)現(xiàn)用docker部署hive會快很多，在此記錄一下部署過程。

以下過程每一步在文末都附有參考文檔，出錯的朋友可以去看對應的參考文檔。

步驟
安裝docker
安裝git，配置github。因為用的是github上大佬寫好的docker compose服務，所以要git clone下來。
部署hive
使用hive命令行
收尾工作

一、安裝docker

要用到docker和docker-compose，我們依次來安裝

安裝docker
如果你之前安裝過 docker，請先刪掉

yum remove docker docker-common docker-selinux docker-engine
1
安裝一些依賴

yum install -y yum-utils device-mapper-persistent-data lvm2
1
拉取docker-ce.repo

wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
1
把軟件倉庫地址替換為 TUNA:

sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
1
最后安裝（默認安裝的是最新版docker）:

yum makecache fast
yum install docker-ce

啟動docker，設為開機自啟，查看docker版本

systemctl start docker
systemctl enable ?docker
docker version

至此，不報錯的話，docker就安裝好了

• 安裝Docker Compose

  curl -L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
  

  
  chmod +x /usr/local/bin/docker-compose
  
  
  ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
  
  
  docker-compose --version

  配置docker國內(nèi)鏡像源（可選）https://www.cnblogs.com/reasonzzy/p/11127359.html

  我在后面pull docker鏡像時，速度很慢，所以又配了一下國內(nèi)鏡像加速源，可配可不配。

  
  # 添加Docker阿里云鏡像倉庫
  cat > /etc/docker/daemon.json << EOF
  {
  "registry-mirrors": ["https://xigtegnc.mirror.aliyuncs.com"]
  }
  EOF

  部署Hive
  準備工作都做完了，可以開始部署Hive了。

  docker-hive
  用的是大佬寫好的docker-hive。

  開始部署

  依次執(zhí)行以下命令

  git clone git@github.com:big-data-europe/docker-hive.git
  
  # 注：本文所有docker-compose都是在docker-hive目錄下執(zhí)行的
  cd docker-hive
  
  # 這步在后臺起一個hive，元數(shù)據(jù)庫用的是postgresql
  # 會費一點時間，需要耐心等待
  docker-compose up -d
  
  

  等上面命令運行完成后，可以執(zhí)行docker-compose ps命令查看正在運行的鏡像。

  下圖是我運行這個命令的截圖：

  

  可以看到有namenode、datanode、hive等，表示部署成功了。

  使用Hive命令行

  依次執(zhí)行以下步驟

  

  查詢結(jié)果：

  

  二、配置Docker編排工具docker-compose （最重要）

1，下載Docker-compose 下載Docker-Compose（下載完畢就是一個文件docker-compose-Linux-x86_64） 下載完成后將 docker-compose-Linux-x86_64 文件復制到Linux系統(tǒng)的root目錄下，執(zhí)行以下指令

下載鏈接傳送門：

鏈接：https://pan.baidu.com/s/124vfP_N1kzBeiDAnITWHYg
提取碼：xzq9
?

2，重命名、修改權(quán)限

mv docker-compose-Linux-x86_64 docker-compose

chmod 777 docker-compose

3，將docker-compose文件移動到$PATH中

echo $PATH

查看系統(tǒng)變量存放路徑
?

mv docker-compose /usr/bin/

4，在任意位置輸入docker-compose

這是最后一步，如下圖所示，則配置成功?。?！

docker-compose的使用

?docker-compose常用命令

后續(xù)就可以通過docker-compose.yml文本管理容器信息
通過docker-compose up -d 啟動容器
通過docker-compose down 停止并刪除容器
通過docker-compose logs -f 標識 查看容器啟動日志
通過docker-compose start/stop/rm/restart/up/down來啟動容器/關(guān)閉容器/刪除已經(jīng)關(guān)閉的容器/重啟容器/基于yml創(chuàng)建容器/停止并刪除容器

?遇到報錯重啟docker

文章來源地址http://www.zghlxwxcb.cn/news/detail-813482.html

到了這里，關(guān)于使用docker快速搭建hive環(huán)境的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！