国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用

這篇具有很好參考價(jià)值的文章主要介紹了【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1)框架介紹與引入

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

1.1.?? 什么是 StreamPark

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

1.2.?? Features

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

1.3.????? 組成部分

StreamPark 核心由 streampark-corestreampark-console 組成

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

1.4.引入 StreamPark

之前我們寫(xiě) Flink SQL 基本上都是使用 Java 包裝 SQL,打 jar 包,提交到服務(wù)器上。通過(guò)命令行方式提交代碼,但這種方式始終不友好,流程繁瑣,開(kāi)發(fā)和運(yùn)維成本太大。我們希望能夠進(jìn)一步簡(jiǎn)化流程,將 Flink TableEnvironment 抽象出來(lái),有平臺(tái)負(fù)責(zé)初始化、打包運(yùn)行 Flink 任務(wù),實(shí)現(xiàn) Flink 應(yīng)用程序的構(gòu)建、測(cè)試和部署自動(dòng)化。StreamPark 對(duì) Flink 的支持比較完善且強(qiáng)大。

2)安裝部署

StreamPark 總體組件棧架構(gòu)如下, 由 streampark-corestreampark-console 兩個(gè)大的部分組成 , streampark-console 是一個(gè)非常重要的模塊, 定位是一個(gè)綜合實(shí)時(shí)數(shù)據(jù)平臺(tái),流式數(shù)倉(cāng)平臺(tái), 低代碼 ( Low Code ),F(xiàn)link & Spark 任務(wù)托管平臺(tái),可以較好的管理 Flink 任務(wù),集成了項(xiàng)目編譯、發(fā)布、參數(shù)配置、啟動(dòng)、savepoint,火焰圖 ( flame graph ),F(xiàn)link SQL,監(jiān)控等諸多功能于一體,大大簡(jiǎn)化了 Flink 任務(wù)的日常操作和維護(hù),融合了諸多最佳實(shí)踐。其最終目標(biāo)是打造成一個(gè)實(shí)時(shí)數(shù)倉(cāng),流批一體的一站式大數(shù)據(jù)解決方案

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

2.1.環(huán)境要求

streampark-console 提供了開(kāi)箱即用的安裝包,安裝之前對(duì)環(huán)境有些要求,具體要求如下:

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

目前 StreamPark 對(duì) Flink 的任務(wù)發(fā)布,同時(shí)支持 Flink on YARNFlink on Kubernetes 兩種模式。

2.2.Hadoop

使用 Flink on YARN,需要部署的集群安裝并配置 Hadoop 的相關(guān)環(huán)境變量,如你是基于CDH 安裝的 hadoop 環(huán)境, 相關(guān)環(huán)境變量可以參考如下配置:

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #hadoop 安裝目錄
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HIVE_HOME=$HADOOP_HOME/../hive
export HBASE_HOME=$HADOOP_HOME/../hbase
export HADOOP_HDFS_HOME=$HADOOP_HOME/../hadoop-hdfs
export HADOOP_MAPRED_HOME=$HADOOP_HOME/../hadoop-mapreduce
export HADOOP_YARN_HOME=$HADOOP_HOME/../hadoop-yarn

2.3.Kubernetes

使用 Flink on Kubernetes,需要額外部署/或使用已經(jīng)存在的 Kubernetes 集群,請(qǐng)參考條目: StreamPark Flink-K8s 集成支持。

2.4.安裝

1、下載 streampark 安裝包,解包后安裝目錄如下

.
streampark-console-service-1.2.1
├── bin
│    ├── startup.sh                           //啟動(dòng)腳本
│    ├── setclasspath.sh                      //java 環(huán)境變量相關(guān)的腳本 ( 內(nèi)部使用,用戶無(wú)需關(guān)注 )
│    ├── shutdown.sh                          //停止腳本
│    ├── yaml.sh                              //內(nèi)部使用解析 yaml 參數(shù)的腳本 ( 內(nèi)部使用,用戶無(wú)需關(guān)注 )
├── conf
│    ├── application.yaml                     //項(xiàng)目的配置文件 ( 注意不要改動(dòng)名稱 )
│    ├── flink-application.template           //flink 配置模板 ( 內(nèi)部使用,用戶無(wú)需關(guān)注 )
│    ├── logback-spring.xml                   //logback
│    └── ...
├── lib
│    └── *.jar                                //項(xiàng)目的 jar 包
├── client
│    └── streampark-flink-sqlclient-1.0.0.jar    //Flink SQl 提交相關(guān)功能 ( 內(nèi)部使用,用戶無(wú)需關(guān)注 )
├── script
│     ├── schema                             
│     │      ├── mysql-schema.sql            // mysql的ddl建表sql
│     │      └── pgsql-schema.sql            // pgsql的ddl建表sql
│     ├── data                             
│     │      ├── mysql-data.sql              // mysql的完整初始化數(shù)據(jù)
│     │      └── pgsql-data.sql              // pgsql的完整初始化數(shù)據(jù)
│     ├── upgrade                            
│     │      ├── 1.2.3.sql                   //升級(jí)到 1.2.3版本需要執(zhí)行的升級(jí)sql      
│     │      └── 2.0.0.sql                   //升級(jí)到 2.0.0版本需要執(zhí)行的升級(jí)sql   
│     │      ... 
├── logs                                     //程序 log 目錄
├── temp                                     //內(nèi)部使用到的臨時(shí)路徑,不要?jiǎng)h除

2、初始化表結(jié)構(gòu)

目前支持 mysql、pgsql、h2(默認(rèn),不需要執(zhí)行任何操作),sql 腳本目錄如下:

├── script
│     ├── schema                             
│     │      ├── mysql-schema.sql            // mysql的ddl建表sql
│     │      └── pgsql-schema.sql            // pgsql的ddl建表sql
│     ├── data                             
│     │      ├── mysql-data.sql              // mysql的完整初始化數(shù)據(jù)
│     │      └── pgsql-data.sql              // pgsql的完整初始化數(shù)據(jù)
│     ├── upgrade                            
│     │      ├── 1.2.3.sql                   //升級(jí)到 1.2.3版本需要執(zhí)行的升級(jí)sql      
│     │      └── 2.0.0.sql                   //升級(jí)到 2.0.0版本需要執(zhí)行的升級(jí)sql   

如果是初次安裝,需要連接對(duì)應(yīng)的數(shù)據(jù)庫(kù)客戶端依次執(zhí)行 schemadata 目錄下對(duì)應(yīng)數(shù)據(jù)庫(kù)的腳本文件即可,如果是升級(jí),則執(zhí)行對(duì)應(yīng)的版本號(hào)的sql即可。

3、修改配置

安裝解包已完成,接下來(lái)準(zhǔn)備數(shù)據(jù)相關(guān)的工作

  • 修改連接信息

進(jìn)入到 conf 下,修改 conf/application.yml,找到 spring 這一項(xiàng),找到 profiles.active 的配置,修改成對(duì)應(yīng)的信息即可,如下:

spring:
  profiles.active: mysql #[h2,pgsql,mysql]
  application.name: StreamPark
  devtools.restart.enabled: false
  mvc.pathmatch.matching-strategy: ant_path_matcher
  servlet:
    multipart:
      enabled: true
      max-file-size: 500MB
      max-request-size: 500MB
  aop.proxy-target-class: true
  messages.encoding: utf-8
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
  main:
    allow-circular-references: true
    banner-mode: off

在修改完 conf/application.yml 后, 還需要修改 config/application-mysql.yml 中的數(shù)據(jù)庫(kù)連接信息:

Tips: 由于Apache 2.0許可與Mysql Jdbc驅(qū)動(dòng)許可的不兼容,用戶需要自行下載驅(qū)動(dòng)jar包并放在 $STREAMPARK_HOME/lib 中,推薦使用8.x版本,下載地址 apache maven repository

spring:
  datasource:
    username: root
    password: xxxx
    driver-class-name: com.mysql.cj.jdbc.Driver   # 請(qǐng)根據(jù)mysql-connector-java版本確定具體的路徑,例如:使用5.x則此處的驅(qū)動(dòng)名稱應(yīng)該是:com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/streampark?useSSL=false&useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=false&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2B8
  • 修改workspace

進(jìn)入到 conf 下,修改 conf/application.yml,找到 streampark 這一項(xiàng),找到 workspace 的配置,修改成一個(gè)用戶有權(quán)限的目錄

streampark:
  # HADOOP_USER_NAME 如果是on yarn模式( yarn-prejob | yarn-application | yarn-session)則需要配置 hadoop-user-name
  hadoop-user-name: hdfs
  # 本地的工作空間,用于存放項(xiàng)目源碼,構(gòu)建的目錄等.
  workspace:
    local: /opt/streampark_workspace # 本地的一個(gè)工作空間目錄(很重要),用戶可自行更改目錄,建議單獨(dú)放到其他地方,用于存放項(xiàng)目源碼,構(gòu)建的目錄等.
    remote: hdfs:///streampark   # support hdfs:///streampark/ 、 /streampark 、hdfs://host:ip/streampark/

2.5.啟動(dòng)

進(jìn)入到 bin 下直接執(zhí)行 startup.sh 即可啟動(dòng)項(xiàng)目,默認(rèn)端口是10000,如果沒(méi)啥意外則會(huì)啟動(dòng)成功,打開(kāi)瀏覽器 輸入http://$host:10000 即可登錄

cd streampark-console-service-1.0.0/bin
bash startup.sh

相關(guān)的日志會(huì)輸出到 streampark-console-service-1.0.0/logs/streampark.out

2.6.系統(tǒng)登錄

經(jīng)過(guò)以上步驟,即可部署完成,可以直接登錄系統(tǒng)

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

提示:
默認(rèn)密碼: admin / streampark

2.7.系統(tǒng)配置

進(jìn)入系統(tǒng)之后,第一件要做的事情就是修改系統(tǒng)配置,在菜單**/StreamPark/Setting** 下,操作界面如下:

【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用,其他,apache,flink,大數(shù)據(jù)

主要配置項(xiàng)分為以下幾類:

System Setting

Alert Setting

Flink Home

Flink Cluster

2.7.1.System Setting

當(dāng)前系統(tǒng)配置包括:

  • Maven配置

  • Docker環(huán)境配置

  • 警告郵箱配置

  • k8s Ingress 配置

2.7.2.Alert Setting

Alert Email 相關(guān)的配置是配置發(fā)送者郵件的信息,具體配置請(qǐng)查閱相關(guān)郵箱資料和文檔進(jìn)行配置

2.7.3.Flink Home

這里配置全局的 Flink Home,此處是系統(tǒng)唯一指定 Flink 環(huán)境的地方,會(huì)作用于所有的作業(yè)

提示:
特別提示: 最低支持的 Flink 版本為 1.12.0, 之后的版本都支持

2.7.4.Flink Cluster

Flink 當(dāng)前支持的集群模式包括:

  • Standalone 集群

  • Yarn 集群

  • Kubernetes 集群

3)StreamPark 使用

詳細(xì)使用請(qǐng)參考 StreamPark 中文官網(wǎng)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-784919.html

到了這里,關(guān)于【Apache-StreamPark】Flink 開(kāi)發(fā)利器 StreamPark 的介紹、安裝、使用的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 使用 Apache Flink 開(kāi)發(fā)實(shí)時(shí) ETL

    使用 Apache Flink 開(kāi)發(fā)實(shí)時(shí) ETL

    Apache Flink 是大數(shù)據(jù)領(lǐng)域又一新興框架。它與 Spark 的不同之處在于,它是使用流式處理來(lái)模擬批量處理的,因此能夠提供亞秒級(jí)的、符合 Exactly-once 語(yǔ)義的實(shí)時(shí)處理能力。Flink 的使用場(chǎng)景之一是構(gòu)建實(shí)時(shí)的數(shù)據(jù)通道,在不同的存儲(chǔ)之間搬運(yùn)和轉(zhuǎn)換數(shù)據(jù)。本文將介紹如何使用 F

    2024年02月05日
    瀏覽(25)
  • 流計(jì)算開(kāi)發(fā)平臺(tái)StreamPark安裝

    StreamPark(原StreamX)是一個(gè)流處理應(yīng)用程序開(kāi)發(fā)管理框架。初衷是讓流處理更簡(jiǎn)單,旨在輕松構(gòu)建和管理流處理應(yīng)用程序,提供使用 Apache Flink 和 Apache Spark 編寫(xiě)流處理應(yīng)用程序的開(kāi)發(fā)框架,未來(lái)將支持更多其他引擎。同時(shí),StreamPark 提供了一個(gè)流處理應(yīng)用管理平臺(tái),核心能力

    2024年02月04日
    瀏覽(22)
  • 【大數(shù)據(jù)】Flink 測(cè)試?yán)鳎篋ataGen

    【大數(shù)據(jù)】Flink 測(cè)試?yán)鳎篋ataGen

    Flink SQL 是基于 Apache Calcite 的 SQL 解析器和優(yōu)化器構(gòu)建的,支持 ANSI SQL 標(biāo)準(zhǔn),允許使用標(biāo)準(zhǔn)的 SQL 語(yǔ)句來(lái)處理流式和批處理數(shù)據(jù)。通過(guò) Flink SQL,可以以聲明式的方式描述數(shù)據(jù)處理邏輯,而無(wú)需編寫(xiě)顯式的代碼。使用 Flink SQL,可以執(zhí)行各種數(shù)據(jù)操作,如 過(guò)濾 、 聚合 、 連接 和

    2024年01月19日
    瀏覽(20)
  • Flink測(cè)試?yán)髦瓺ataGen初探

    Flink SQL 是基于 Apache Calcite 的 SQL 解析器和優(yōu)化器構(gòu)建的,支持ANSI SQL 標(biāo)準(zhǔn),允許使用標(biāo)準(zhǔn)的 SQL 語(yǔ)句來(lái)處理流式和批處理數(shù)據(jù)。通過(guò) Flink SQL,可以以聲明式的方式描述數(shù)據(jù)處理邏輯,而無(wú)需編寫(xiě)顯式的代碼。使用 Flink SQL,可以執(zhí)行各種數(shù)據(jù)操作,如過(guò)濾、聚合、連接和轉(zhuǎn)換

    2024年02月08日
    瀏覽(20)
  • calcite在flink中的二次開(kāi)發(fā),介紹解析器與優(yōu)化器

    calcite在flink中的二次開(kāi)發(fā),介紹解析器與優(yōu)化器

    關(guān)于calcite的概念相關(guān)的內(nèi)容,在我另一篇帖子 深入理解flinksql執(zhí)行流程,擴(kuò)展解析器實(shí)現(xiàn)語(yǔ)法的擴(kuò)展 首先闡述一下 codegen: Codegen是基于ObjectWeb ASM的低開(kāi)銷的java代碼生成器,他可以根據(jù)預(yù)先填好的規(guī)則與條件,通過(guò)編譯代碼,自動(dòng)生成java類 在遞歸調(diào)用各個(gè)節(jié)點(diǎn) DataStreamRel 的

    2024年02月22日
    瀏覽(129)
  • 【實(shí)戰(zhàn)-01】flink cdc 實(shí)時(shí)數(shù)據(jù)同步利器

    【實(shí)戰(zhàn)-01】flink cdc 實(shí)時(shí)數(shù)據(jù)同步利器

    cdc github源碼地址 cdc官方文檔 對(duì)很多初入門(mén)的人來(lái)說(shuō)是無(wú)法理解cdc到底是什么個(gè)東西。 有這樣一個(gè)需求,比如在mysql數(shù)據(jù)庫(kù)中存在很多數(shù)據(jù),但是公司要把mysql中的數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)(starrocks), 數(shù)據(jù)倉(cāng)庫(kù)你可以理解為存儲(chǔ)了各種各樣來(lái)自不同數(shù)據(jù)庫(kù)中表。 數(shù)據(jù)的同步目前對(duì)

    2023年04月08日
    瀏覽(94)
  • Flink測(cè)試?yán)髦瓺ataGen初探 | 京東云技術(shù)團(tuán)隊(duì)

    Flink測(cè)試?yán)髦瓺ataGen初探 | 京東云技術(shù)團(tuán)隊(duì)

    Flink SQL 是基于 Apache Calcite 的 SQL 解析器和優(yōu)化器構(gòu)建的,支持ANSI SQL 標(biāo)準(zhǔn),允許使用標(biāo)準(zhǔn)的 SQL 語(yǔ)句來(lái)處理流式和批處理數(shù)據(jù)。通過(guò) Flink SQL,可以以聲明式的方式描述數(shù)據(jù)處理邏輯,而無(wú)需編寫(xiě)顯式的代碼。使用 Flink SQL,可以執(zhí)行各種數(shù)據(jù)操作,如過(guò)濾、聚合、連接和轉(zhuǎn)換

    2024年02月07日
    瀏覽(19)
  • Apache Flink 和 Apache Kafka 兩者之間的集成架構(gòu) Flink and Apache Kafka: A Winning Partnership

    作者:禪與計(jì)算機(jī)程序設(shè)計(jì)藝術(shù) Apache Flink 和 Apache Kafka 是構(gòu)建可靠、高吞吐量和低延遲的數(shù)據(jù)管道(data pipeline)的兩個(gè)著名的開(kāi)源項(xiàng)目。2019年4月,兩者宣布合作共贏。在這次合作中,Apache Kafka 將提供強(qiáng)大的消息存儲(chǔ)能力、Flink 將作為一個(gè)分布式數(shù)據(jù)流處理平臺(tái)來(lái)對(duì)其進(jìn)行

    2024年02月11日
    瀏覽(22)
  • 【跟小嘉學(xué) Apache Flink】二、Flink 快速上手

    【跟小嘉學(xué) Apache Flink】二、Flink 快速上手

    【跟小嘉學(xué) Apache Flink】一、Apache Flink 介紹 【跟小嘉學(xué) Apache Flink】二、Flink 快速上手 創(chuàng)建 maven 工程 并且添加如下依賴 在 resource 目錄下創(chuàng)建 log4j.properties 文件,寫(xiě)入如下內(nèi)容 實(shí)際上在 Flink 里面已經(jīng)做到流批處理統(tǒng)一,官方推薦使用 DateStream API,在跳任務(wù)時(shí)通過(guò)執(zhí)行模式設(shè)

    2024年02月09日
    瀏覽(23)
  • Apache Flink從入門(mén)到放棄——Flink簡(jiǎn)介(一)

    Apache Flink從入門(mén)到放棄——Flink簡(jiǎn)介(一)

    ? ?隨著大數(shù)據(jù)的發(fā)展,大數(shù)據(jù)的存儲(chǔ)、計(jì)算、運(yùn)用百花齊放;而大數(shù)據(jù)的計(jì)算中最重要的就是計(jì)算引擎,時(shí)至今日,很多人將大數(shù)據(jù)引擎分為四代,分別是: 第一代,Hadoop承載的MapReduce,將計(jì)算分為Map和Reduce兩個(gè)階段,同時(shí)采用Hadoop集群的分布式計(jì)算原理來(lái)實(shí)現(xiàn)數(shù)據(jù)的計(jì)

    2024年02月05日
    瀏覽(21)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包