国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

  1. Toy模板網(wǎng)首頁
  2. >Toy博客

分布式內(nèi)存計算Spark環(huán)境部署與分布式內(nèi)存計算Flink環(huán)境部署

2年前作者：時光の塵分類：Toy博客閱讀(126)違法舉報

這篇具有很好參考價值的文章主要介紹了分布式內(nèi)存計算Spark環(huán)境部署與分布式內(nèi)存計算Flink環(huán)境部署。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

目錄

分布式內(nèi)存計算Spark環(huán)境部署

1.? 簡介

2.? 安裝

2.1【node1執(zhí)行】下載并解壓

2.2【node1執(zhí)行】修改配置文件名稱

2.3【node1執(zhí)行】修改配置文件，spark-env.sh

2.4 【node1執(zhí)行】修改配置文件，slaves

2.5【node1執(zhí)行】分發(fā)

2.6【node2、node3執(zhí)行】設置軟鏈接

2.7【node1執(zhí)行】啟動Spark集群

2.8? 打開Spark監(jiān)控頁面，瀏覽器打開：

2.9【node1執(zhí)行】提交測試任務

分布式內(nèi)存計算Flink環(huán)境部署

1.? 簡介

2.? 安裝

2.1【node1操作】下載安裝包

2. 2【node1操作】修改配置文件，conf/flink-conf.yaml

2.3 【node1操作】，修改配置文件，conf/slaves

2.4【node1操作】分發(fā)Flink安裝包到其它機器

2.5 【node2、node3操作】

2.6 【node1操作】，啟動Flink

2.7? ?驗證Flink啟動

2.8? ?提交測試任務

注意：

本小節(jié)的操作，基于：大數(shù)據(jù)集群（Hadoop生態(tài)）安裝部署環(huán)節(jié)中所構建的Hadoop集群，如果沒有Hadoop集群，請參閱前置內(nèi)容，部署好環(huán)境。

大數(shù)據(jù)集群（Hadoop生態(tài)）安裝部署：

大數(shù)據(jù)集群（Hadoop生態(tài)）安裝部署_時光の塵的博客-CSDN博客

大數(shù)據(jù)NoSQL數(shù)據(jù)庫HBase集群部署：

大數(shù)據(jù)NoSQL數(shù)據(jù)庫HBase集群部署-CSDN博客

分布式內(nèi)存計算Spark環(huán)境部署

1.? 簡介

Spark是一款分布式內(nèi)存計算引擎，可以支撐海量數(shù)據(jù)的分布式計算。

Spark在大數(shù)據(jù)體系是明星產(chǎn)品，作為最新一代的綜合計算引擎，支持離線計算和實時計算。

在大數(shù)據(jù)領域廣泛應用，是目前世界上使用最多的大數(shù)據(jù)分布式計算引擎。

我們將基于前面構建的Hadoop集群，部署Spark Standalone集群。

2.? 安裝

2.1【node1執(zhí)行】下載并解壓

wget https: / archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

# 解壓
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server/

# 軟鏈接
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2.2【node1執(zhí)行】修改配置文件名稱

# 改名
cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

2.3【node1執(zhí)行】修改配置文件，spark-env.sh

#設置JAVA安裝目錄
JAVA_HOME=/export/server/jdk

#HADOOP軟件配置文件目錄，讀取HDFS上文件和運行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

#指定spark老大Master的IP和提交任務的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

2.4 【node1執(zhí)行】修改配置文件，slaves

node1
node2
node3

2.5【node1執(zhí)行】分發(fā)

scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD

2.6【node2、node3執(zhí)行】設置軟鏈接

 ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2.7【node1執(zhí)行】啟動Spark集群

/export/server/spark/sbin/start-all.sh

# 如需停止，可以
/export/server/spark/sbin/stop-all.sh

2.8? 打開Spark監(jiān)控頁面，瀏覽器打開：

http://node1:8081

2.9【node1執(zhí)行】提交測試任務

/export/server/spark/bin/spark-submit --master
spark: / node1:7077 - class
org.apache.spark.examples.SparkPi
/export/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar

分布式內(nèi)存計算Spark環(huán)境部署與分布式內(nèi)存計算Flink環(huán)境部署,Linux學習,分布式,spark,大數(shù)據(jù),flink,StringBuilder,constructor

分布式內(nèi)存計算Flink環(huán)境部署

1.? 簡介

Flink同Spark一樣，是一款分布式內(nèi)存計算引擎，可以支撐海量數(shù)據(jù)的分布式計算。

Flink在大數(shù)據(jù)體系同樣是明星產(chǎn)品，作為最新一代的綜合計算引擎，支持離線計算和實時計算。

在大數(shù)據(jù)領域廣泛應用，是目前世界上除去Spark以外，應用最為廣泛的分布式計算引擎。

我們將基于前面構建的Hadoop集群，部署Flink Standalone集群

Spark更加偏向于離線計算而Flink更加偏向于實時計算。

2.? 安裝

2.1【node1操作】下載安裝包

wget https: / archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz

# 解壓
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C
/export/server/

# 軟鏈接
ln -s /export/server/flink-1.10.0
/export/server/flink

2. 2【node1操作】修改配置文件，conf/flink-conf.yaml

# jobManager 的IP地址
jobmanager.rpc.address: node1
# JobManager 的端口號
jobmanager.rpc.port: 6123
# JobManager JVM heap 內(nèi)存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 內(nèi)存大小
taskmanager.heap.size: 1024m
# 每個 TaskManager 提供的任務 slots 數(shù)量大小
taskmanager.numberOfTaskSlots: 2

#是否進行預分配內(nèi)存，默認不進行預分配，這樣在我們不使用flink集群時候不會占用集群資源
taskmanager.memory.preallocate: false
# 程序默認并行計算的個數(shù)
parallelism.default: 1
#JobManager的Web界面的端口（默認：8081）
jobmanager.web.port: 8081

分布式內(nèi)存計算Spark環(huán)境部署與分布式內(nèi)存計算Flink環(huán)境部署,Linux學習,分布式,spark,大數(shù)據(jù),flink,StringBuilder,constructor

2.3 【node1操作】，修改配置文件，conf/slaves

node1
node2
node3

2.4【node1操作】分發(fā)Flink安裝包到其它機器

cd /export/server
scp -r flink-1.10.0 node2:`pwd`/
scp -r flink-1.10.0 node3:`pwd`/

2.5 【node2、node3操作】

# 配置軟鏈接
ln -s /export/server/flink-1.10.0
/export/server/flink

2.6 【node1操作】，啟動Flink

/export/server/flink/bin/start-cluster.sh

2.7? ?驗證Flink啟動

# 瀏覽器打開
http://node1:8081

2.8? ?提交測試任務

【node1執(zhí)行】

/export/server/flink/bin/flink run
/export/server/flink-1.10.0/examples/batch/WordCount.jar

更多環(huán)境部署：

分布式內(nèi)存計算Spark環(huán)境部署與分布式內(nèi)存計算Flink環(huán)境部署,Linux學習,分布式,spark,大數(shù)據(jù),flink,StringBuilder,constructor

MySQL5.7版本與8.0版本在CentOS系統(tǒng)安裝：

MySQL5.7版本與8.0版本在CentOS系統(tǒng)安裝_時光の塵的博客-CSDN博客

MySQL5.7版本與8.0版本在Ubuntu（WSL環(huán)境）系統(tǒng)安裝：

MySQL5.7版本與8.0版本在Ubuntu（WSL環(huán)境）系統(tǒng)安裝-CSDN博客

Tomcat在CentOS上的安裝部署：

Tomcat在CentOS上的安裝部署-CSDN博客

Nginx在CentOS上的安裝部署、RabbitMQ在CentOS上安裝部署：

Nginx在CentOS上的安裝部署、RabbitMQ在CentOS上安裝部署-CSDN博客

集群化環(huán)境前置準備：

集群化環(huán)境前置準備_時光の塵的博客-CSDN博客

Zookeeper集群安裝部署、Kafka集群安裝部署：

Zookeeper集群安裝部署、Kafka集群安裝部署_時光の塵的博客-CSDN博客文章來源地址http://www.zghlxwxcb.cn/news/detail-714686.html

到了這里，關于分布式內(nèi)存計算Spark環(huán)境部署與分布式內(nèi)存計算Flink環(huán)境部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處： 如若內(nèi)容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

領支付寶紅包贊助服務器費用

相關文章

  • 如何使用Spark/Flink等分布式計算引擎做網(wǎng)絡入侵檢測

    如何使用Spark/Flink等分布式計算引擎做網(wǎng)絡入侵檢測

    ?申明： 未經(jīng)許可，禁止以任何形式轉載，若要引用，請標注鏈接地址。 全文共計3077字，閱讀大概需要3分鐘 ??更多學習內(nèi)容， 歡迎??關注??【文末】我的個人微信公眾號：不懂開發(fā)的程序猿 個人網(wǎng)站：https://jerry-jy.co/ 本篇博客是我在做 基于Spark/Flink大數(shù)據(jù)環(huán)境下網(wǎng)絡入

    2024年02月11日
    瀏覽(22)

  • 數(shù)據(jù)存儲和分布式計算的實際應用：如何使用Spark和Flink進行數(shù)據(jù)處理和分析

    作為一名人工智能專家，程序員和軟件架構師，我經(jīng)常涉及到數(shù)據(jù)處理和分析。在當前大數(shù)據(jù)和云計算的時代，分布式計算已經(jīng)成為了一個重要的技術方向。Spark和Flink是當前比較流行的分布式計算框架，它們提供了強大的分布式計算和數(shù)據(jù)分析功能，為數(shù)據(jù)處理和分析提供了

    2024年02月16日
    瀏覽(92)
  • 大數(shù)據(jù)開源框架環(huán)境搭建(七)——Spark完全分布式集群的安裝部署

    大數(shù)據(jù)開源框架環(huán)境搭建(七)——Spark完全分布式集群的安裝部署

    前言：七八九用于Spark的編程實驗 大數(shù)據(jù)開源框架之基于Spark的氣象數(shù)據(jù)處理與分析_木子一個Lee的博客-CSDN博客_spark輿情分析 目錄 實驗環(huán)境： 實驗步驟： 一、解壓 二、配置環(huán)境變量：? 三、修改配置文件? 1.修改spark-env.sh配置文件： 2.修改配置文件slaves: 3.分發(fā)配置文件：

    2024年02月11日
    瀏覽(94)
  • Spark單機偽分布式環(huán)境搭建、完全分布式環(huán)境搭建、Spark-on-yarn模式搭建

    Spark單機偽分布式環(huán)境搭建、完全分布式環(huán)境搭建、Spark-on-yarn模式搭建

    搭建Spark需要先配置好scala環(huán)境。三種Spark環(huán)境搭建互不關聯(lián)，都是從零開始搭建。 如果將文章中的配置文件修改內(nèi)容復制粘貼的話，所有配置文件添加的內(nèi)容后面的注釋記得刪除，可能會報錯。保險一點刪除最好。 上傳安裝包解壓并重命名 rz上傳 如果沒有安裝rz可以使用命

    2024年02月06日
    瀏覽(106)
  • 分布式計算框架：Spark、Dask、Ray 分布式計算哪家強：Spark、Dask、Ray

    分布式計算框架：Spark、Dask、Ray 分布式計算哪家強：Spark、Dask、Ray

    目錄 什么是分布式計算 分布式計算哪家強：Spark、Dask、Ray 2 選擇正確的框架 2.1 Spark 2.2 Dask 2.3 Ray 分布式計算是一種計算方法，和集中式計算是相對的。 隨著計算技術的發(fā)展， 有些應用需要非常巨大的計算能力才能完成，如果采用集中式計算，需要耗費相當長的時間來完成

    2024年02月11日
    瀏覽(102)
  • 分布式計算MapReduce | Spark實驗

    分布式計算MapReduce | Spark實驗

    題目1 輸入文件為學生成績信息，包含了必修課與選修課成績，格式如下： 班級1, 姓名1, 科目1, 必修, 成績1 br （注： br 為換行符） 班級2, 姓名2, 科目1, 必修, 成績2 br 班級1, 姓名1, 科目2, 選修, 成績3 br ………., ………, ………, ………, ……… br 編寫兩個Hadoop平臺上的MapRed

    2024年02月08日
    瀏覽(91)
  • 大數(shù)據(jù)學習06-Spark分布式集群部署

    大數(shù)據(jù)學習06-Spark分布式集群部署

    配置好IP vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改主機名 vi /etc/hostname 做好IP映射 vim /etc/hosts 關閉防火墻 systemctl status firewalld systemctl stop firewalld systemctl disable firewalld 配置SSH免密登錄 ssh-keygen -t rsa 下載Scala安裝包 配置環(huán)境變量 添加如下配置 使環(huán)境生效 驗證 Spark官網(wǎng) 解壓 上

    2024年02月10日
    瀏覽(98)
  • 分布式計算框架：Spark、Dask、Ray

    分布式計算框架：Spark、Dask、Ray

    目錄 什么是分布式計算 分布式計算哪家強：Spark、Dask、Ray 2 選擇正確的框架 2.1 Spark 2.2 Dask 2.3 Ray 分布式計算是一種計算方法，和集中式計算是相對的。 隨著計算技術的發(fā)展， 有些應用需要非常巨大的計算能力才能完成，如果采用集中式計算，需要耗費相當長的時間來完成

    2024年02月06日
    瀏覽(26)

  • 【頭歌實訓】Spark 完全分布式的安裝和部署

    掌握 Standalone 分布式集群搭建。 我們已經(jīng)掌握了 Spark 單機版安裝，那么分布式集群怎么搭建呢？ 接下來我們學習 Standalone 分布式集群搭建。 課程視頻 如果你需要在本地配置 Spark 完全分布式環(huán)境，可以通過查看課程視頻來學習。 課程視頻《克隆虛擬機與配置網(wǎng)絡》 課程視

    2024年02月04日
    瀏覽(27)
  • 【頭歌實訓】Spark 完全分布式的安裝和部署（新）

    【頭歌實訓】Spark 完全分布式的安裝和部署（新）

    第1關： Standalone 分布式集群搭建 任務描述 掌握 Standalone 分布式集群搭建。 相關知識 我們已經(jīng)掌握了 Spark 單機版安裝，那么分布式集群怎么搭建呢？ 接下來我們學習 Standalone 分布式集群搭建。 課程視頻 如果你需要在本地配置 Spark 完全分布式環(huán)境，可以通過查看課程視頻來

    2024年02月03日
    瀏覽(132)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包，優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包