国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

  1. Toy模板網(wǎng)首頁
  2. >Toy博客

hadoop本地化windows部署

2年前作者：陳舟的舟分類：Toy博客閱讀(32)違法舉報

這篇具有很好參考價值的文章主要介紹了hadoop本地化windows部署。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

前言

需求背景是java代碼提交服務器測試周期流程太慢，需要一種能直接在windows本地部署的相關組件。分析項目現(xiàn)有大數(shù)據(jù)技術棧，包括hadoop、hive和spark(sparksql)，存儲和計算都依賴windows系統(tǒng)。期中hive保存在本地的hadoop上，spark提交在hadoop的yarn上。

· hadoop on windows
· hive on windows
· spark on windows(提交方式是spark on yarn)

注意事項：
在spark官網(wǎng)選擇spark版本的時候確定對應支持的hadoop版本，然后選擇對應hadoop的winutils-master的版本。
Spark下載路徑：https://spark.apache.org/downloads.html
Hadoop下載路徑：https://archive.apache.org/dist/hadoop/common/
Scala下載路徑：https://www.scala-lang.org/download/all.html
Winutils-master下載路徑：https://github.com/cdarlint/winutils

1. hadoop on windows

1.1 安裝jdk

jdk安裝省略了
Win+R輸入cmd，再鍵入java -version，確認jdk安裝是否成功
hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

1.2 安裝hadoop

1.2.1 解壓

解壓下載的包到一個無中文無空格的路徑下

1.2.2 備用目錄

新建一個無中文無空格的文件夾，作為hadoop的namenode地址和datanode地址

1.2.3 修改配置

分別修改解壓包下~\etc\hadoop的相關配置文件

  • hdfs-site.xml
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • yan-site.xml
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • mapred-site.xml
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • core-site.xml
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • hadoop-env.cmd
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

1.2.4 安裝winutils-master

解壓winutils-master包，找到對應hadoop依賴版本的并進入bin目錄將這個文件夾里面的文件整體復制到hadoop的安裝路徑~/bin下

1.2.5 格式化namenode

以管理員啟動cmd.exe，鍵入hdfs namenode -formet，再確認Y

1.2.6 啟動hadoop

以管理員啟動cmd.exe，進入到hadoop加壓路徑~/sbin，執(zhí)行start-all，當再彈出四個窗口并無報錯的時候即啟動成功

  • namenode
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • datanode
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • nodemanager
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

  • resourcemanager
    hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

1.2.7 web-ui登陸hadoop hdfs

我安裝的是3.0版本的hadoop，所以登陸頁面是https://localhost:9870，如果是2.0版本的hadoop，登陸頁面是https://localhost:50070
hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

2. spark on windows

2.1 安裝scala

spark是scala語言開發(fā)的，依賴語言環(huán)境。類似于安裝jdk，Win+R輸入cmd，再鍵入scala -version，確認scala安裝是否成功
hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

2.2 安裝spark

2.2.1 解壓

解壓spark安裝包到一個無中文無空格的路徑下

2.2.2 環(huán)境變量

配置spark環(huán)境變量，類似于配置jdk變量。需要配置SPARK_HOME和Path
SPARK_HOME=spark解壓安裝路徑
Path新增一個%SPARK_HOME%\bin

2.2.3 spark配置

修改spark-env.sh添加以下配置，這一步修改的意義是為了讓spark的提交走hadoop的yarn
YARN_CONF_DIR=hadoop安裝路徑/etc/hadoop

2.3 啟動spark-shell

執(zhí)行spark-shell啟動
hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

2.4 登陸web-ui

管理頁面，https://localhost:4040
hadoop windows部署,大數(shù)據(jù),hadoop,windows,大數(shù)據(jù)

3. hive on windows

hive on windows 需要安裝本地化mysql 忒麻煩了。但是hive on windows 其實很好實現(xiàn)，這里就偷個懶省略了。文章來源地址http://www.zghlxwxcb.cn/news/detail-605182.html

到了這里，關于hadoop本地化windows部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處： 如若內(nèi)容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

領支付寶紅包贊助服務器費用

相關文章

  • 【新手教程】Windows本地化安裝、運行，部署Auto-GPT

    【新手教程】Windows本地化安裝、運行，部署Auto-GPT

    OpenAI Key，請登錄官網(wǎng)獲取 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 2.1安裝python(3.8以上版本) a、下載Python安裝包 在 Download Python | 官網(wǎng)選擇Python版本并下載，本教程用的 Python3.10 安裝python b、驗證是否安裝成功？ 按快捷鍵win+R，打開運行面板，輸入\\\"cmd\\\",然后點擊\\\"確定\\\" 進入wind

    2024年02月09日
    瀏覽(22)
  • Excalidraw本地化部署

    Excalidraw本地化部署

    1 - Excalidraw介紹 Excalidraw是一個開源、小巧易用的手寫風格的框圖畫板軟件。 ?excalidraw官網(wǎng)地址：https://excalidraw.com/? 2 - Excalidraw本地化安裝（git方式） 2-1安裝部署 在terminal中，輸入： 安裝完成后，在terminal中，進入項目文件 2-2 安裝依賴環(huán)境 - nodeJS NodeJS下載地址： nodejs下載

    2024年02月14日
    瀏覽(67)
  • Remix 完全本地化部署

    Remix 完全本地化部署

    1.簡介 Remix 是我們開發(fā) Solidity 智能合約的常用工具，有時候我們會直接訪問在線版的 Remix-IDE。 https://remix.ethereum.org/ 但是，如何將在線Remix鏈接本地文件系統(tǒng)呢，下面則是部署步驟 2、部署 Remixd Remixd 的安裝使用步驟如下： 安裝 Remixd：? npm install -g @remix-project/remixd 啟動 Rem

    2024年02月17日
    瀏覽(32)
  • 本地化部署stable diffusion

    本地化部署stable diffusion

    本文是根據(jù)https://zhuanlan.zhihu.com/p/606825889 和 https://blog.csdn.net/cycyc123/article/details/129165844兩個教程進行的部署測試，終端是windows 前期需要安裝python與git環(huán)境，這里不贅敘了，首先是幾個下載包，可以提前下載： stable diffusion的web界面環(huán)境 https://pan.xunlei.com/s/VNQ4LqoKBidPdqSj2xMioVhs

    2023年04月09日
    瀏覽(43)
  • 本地化部署大語言模型 ChatGLM

    本地化部署大語言模型 ChatGLM

    ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型，基于 General Language Model (GLM) 架構，具有 62 億參數(shù)。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4 量化級別下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術，針對中文問答和對話進行了優(yōu)

    2023年04月20日
    瀏覽(32)
  • 實戰(zhàn)whisper：本地化部署通用語音識別模型

    實戰(zhàn)whisper：本地化部署通用語音識別模型

    ????????Whisper 是一種通用語音識別模型。它是在大量不同音頻數(shù)據(jù)集上進行訓練的，也是一個多任務模型，可以執(zhí)行多語言語音識別、語音翻譯和語言識別。 ? ? ? ? 這里呢，我將給出我的一些代碼，來幫助你盡快實現(xiàn)【語音轉文字】的服務部署。 ? ? ? ? 以下是該A

    2024年01月18日
    瀏覽(29)
  • 【AI工具】-Stable Diffusion本地化部署教程

    【AI工具】-Stable Diffusion本地化部署教程

    今天我們要介紹的是時下最流行的AI繪圖軟件Stable Diffusion，雖然Diffusion.ai已經(jīng)開放api，但是長時間的商業(yè)化調用我們需要購買很多的金幣。所以我們需要找一個平替的AI繪圖平臺，現(xiàn)在主流市場中AI繪圖軟件主要就是OpenAI的DALLE、midjourney以及今天要學習的Stable Diffusion，而前兩

    2024年02月13日
    瀏覽(29)
  • 使用nextjs本地化部署AI大模型gemma

    使用nextjs本地化部署AI大模型gemma

    博主是AI新手，如有不對還請評論區(qū)指教～ 這里介紹mac的部署方式，win也可以實現(xiàn)。 本案例使用到：ollama + nextjs + langchain.js + milvus 來實現(xiàn)知識庫問答和聊天。 ollama： 本地運行模型服務 nextjs： 前端框架項目 langchain.js： 調用模型服務并對話 milvus： 向量數(shù)據(jù)庫 開源代碼：G

    2024年04月13日
    瀏覽(26)
  • 自建類ChatGPT服務：本地化部署與遠程訪問教程

    自建類ChatGPT服務：本地化部署與遠程訪問教程

    ???? 博主貓頭虎 帶您 Go to New World.??? ?? 博客首頁——貓頭虎的博客?? ??《面試題大全專欄》 文章圖文并茂??生動形象??簡單易學！歡迎大家來踩踩~?? ?? 《IDEA開發(fā)秘籍專欄》學會IDEA常用操作，工作效率翻倍~?? ?? 《100天精通Golang(基礎入門篇）》學會Golang語言

    2024年02月14日
    瀏覽(24)

  • FastChat 本地化安裝部署-擁有屬于私人的ChatGPT

    寫在前面：第一發(fā)稿把自己熬夜幾天的一些經(jīng)歷寫下來，希望能給AI愛好者一個前車之鑒，自從看到斯坦福-ALPACA項目就想著能否能否本地化部署一套AI CHAT，所以找了很多網(wǎng)站，都沒有FastChat部署能很完整的寫下來，所以有了本文： 1 前期準備：? N卡（24G以上顯存），16G內(nèi)存

    2024年02月02日
    瀏覽(33)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包，優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包