?? 個(gè)人主頁(yè)——??個(gè)人主頁(yè) ?????
???????????????? 感謝點(diǎn)贊和關(guān)注 ,每天進(jìn)步一點(diǎn)點(diǎn)!加油!????????????????
目錄
?? 個(gè)人主頁(yè)——??個(gè)人主頁(yè) ?????
一、問題說(shuō)明
二、操作步驟
2.1 idea創(chuàng)建遠(yuǎn)程調(diào)試
一、問題說(shuō)明
Flume 自定義 HDFS-Sink,遠(yuǎn)程服務(wù)器進(jìn)行部署flume打包好后的代碼,本地監(jiān)控遠(yuǎn)程flume程序端口,進(jìn)行本地debug和學(xué)習(xí)Flume 整個(gè)運(yùn)行流程和Event 數(shù)據(jù)結(jié)構(gòu)學(xué)習(xí)。
二、操作步驟
2.1 bin/flume-ng 啟動(dòng)腳本配置
[root@hdp105 apache-flume-1.9.0-bin]# cat bin/flume-ng | grep JAVA_OPT
$EXEC $JAVA_HOME/bin/java $JAVA_OPTS $FLUME_JAVA_OPTS "${arr_java_props[@]}" -cp "$FLUME_CLASSPATH" \
#JAVA_OPTS="-Xmx20m"
JAVA_OPTS="-Xmx1000m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"
2.2?idea創(chuàng)建遠(yuǎn)程調(diào)試
新增遠(yuǎn)程debug模式
選擇 Remote 配置選項(xiàng)
填寫flume 啟動(dòng)的服務(wù)器IP 和端口
遠(yuǎn)程啟動(dòng)flume程序,本地也啟動(dòng)該flume程序,打上斷點(diǎn)。就可以了
bin/flume-ng agent -n ipva_flume --conf ./conf/ -f ./conf/traffic_ipva_DSCToHBase/traffic_ipva_DSCToHBase.conf -property "flume.monitoring.type=http;flume.monitoring.port=37242"
遠(yuǎn)程的flume 啟動(dòng)
文件放到source監(jiān)控的路徑
打上斷點(diǎn), 本地的flume 也啟動(dòng),進(jìn)入debug 模式,我們可以看到 如下 :headers和body中的數(shù)據(jù)文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-716018.html
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-716018.html
到了這里,關(guān)于【ETL工具】本地環(huán)境IDEA遠(yuǎn)程DEBUG調(diào)試Flume代碼的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!