国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

TDengine Kafka Connector將 Kafka 中指定 topic 的數(shù)據(jù)(批量或?qū)崟r)同步到 TDengine

這篇具有很好參考價值的文章主要介紹了TDengine Kafka Connector將 Kafka 中指定 topic 的數(shù)據(jù)(批量或?qū)崟r)同步到 TDengine。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報違法"按鈕提交疑問。

教程放在這里:TDengine Java Connector,官方文檔已經(jīng)寫的很清晰了,不再贅述。
TDengine Kafka Connector將 Kafka 中指定 topic 的數(shù)據(jù)(批量或?qū)崟r)同步到 TDengine,數(shù)據(jù)庫,tdengine,kafka,大數(shù)據(jù)

這里記錄一下踩坑:

1.報錯
java.lang.UnsatisfiedLinkError: no taos in java.library.path
	at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1860)
	at java.lang.Runtime.loadLibrary0(Runtime.java:843)
	at java.lang.System.loadLibrary(System.java:1136)
	at com.taosdata.jdbc.TSDBJNIConnector.<clinit>(TSDBJNIConnector.java:30)
	at com.taosdata.jdbc.TSDBDriver.connect(TSDBDriver.java:159)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at com.taosdata.kafka.connect.db.TSDBConnectionProvider.getConnection(TSDBConnectionProvider.java:35)
	at com.taosdata.kafka.connect.db.CacheProcessor.getConnection(CacheProcessor.java:40)
	at com.taosdata.kafka.connect.db.CacheProcessor.execute(CacheProcessor.java:66)
	at com.taosdata.kafka.connect.db.CacheProcessor.initDB(CacheProcessor.java:55)
	at com.taosdata.kafka.connect.db.CacheProcessor.setDbName(CacheProcessor.java:33)
	...

這是由于沒有按照taos客戶端,連機(jī)器內(nèi)部調(diào)用了taos客戶端程序去連接TDengine服務(wù),只要安裝TDengine Client即可。安裝TDengine Client教程

2.報錯
Caused by: java.lang.NoClassDefFoundError: Could not initialize class com.taosdata.jdbc.TSDBJNIConnector
	at com.taosdata.jdbc.TSDBDriver.connect(TSDBDriver.java:159)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at com.taosdata.kafka.connect.db.TSDBConnectionProvider.getConnection(TSDBConnectionProvider.java:35)
	at com.taosdata.kafka.connect.db.CacheProcessor.getConnection(CacheProcessor.java:40)
	at com.taosdata.kafka.connect.db.CacheProcessor.execute(CacheProcessor.java:66)
	at com.taosdata.kafka.connect.db.CacheProcessor.initDB(CacheProcessor.java:55)
	at com.taosdata.kafka.connect.db.CacheProcessor.setDbName(CacheProcessor.java:33)
	at com.taosdata.kafka.connect.sink.TDengineSinkTask.bulkWriteBatch(TDengineSinkTask.java:94)
	at com.taosdata.kafka.connect.sink.TDengineSinkTask.put(TDengineSinkTask.java:85)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:601)
	... 11 more

這個報錯是因?yàn)槲也渴餞Dengine服務(wù)的時候用的是docker的方式部署,用原生連接的方式連接TDengine,很多依賴庫本地訪問不了導(dǎo)致的報錯。我們可以改用TestFul的方式去連接。

下面是官方教程中創(chuàng)建 Sink Connector 實(shí)例用到的配置文件

{
  "name": "TDengineSinkConnector",
  "config": {
    "connection.database": "power",
    "connection.password": "taosdata",
    "connection.url": "jdbc:TAOS://127.0.0.1:6030",
    "connection.user": "root",
    "connector.class": "com.taosdata.kafka.connect.sink.TDengineSinkConnector",
    "data.precision": "ns",
    "db.schemaless": "line",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "tasks.max": "1",
    "topics": "meters",
    "value.converter": "org.apache.kafka.connect.storage.StringConverter",
    "name": "TDengineSinkConnector",
    "errors.tolerance": "all",
    "errors.deadletterqueue.topic.name": "dead_letter_topic",
    "errors.deadletterqueue.topic.replication.factor": "1",    
  },
  "tasks": [],
  "type": "sink"
}

閱讀源碼后,我們將其中的"connection.url": "jdbc:TAOS://127.0.0.1:6030"修改為"connection.url": "jdbc:TAOS-RS://127.0.0.1:6041?user=root&password=taosdata"。

解釋一下:文章來源地址http://www.zghlxwxcb.cn/news/detail-758713.html

  • jdbc:TAOS:代表使用原生連接,jdbc:TAOS-RS代表使用REST連接。
  • 加上?user=root&password=taosdata是因?yàn)槲野l(fā)現(xiàn)改成REST連接后,connection.user配置項(xiàng)不生效,只好在url上直接拼接了。

到了這里,關(guān)于TDengine Kafka Connector將 Kafka 中指定 topic 的數(shù)據(jù)(批量或?qū)崟r)同步到 TDengine的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Debezium vs OGG vs Tapdata:如何實(shí)時同步 Oracle 數(shù)據(jù)到 Kafka 消息隊(duì)列?

    Debezium vs OGG vs Tapdata:如何實(shí)時同步 Oracle 數(shù)據(jù)到 Kafka 消息隊(duì)列?

    隨著信息時代的蓬勃發(fā)展,企業(yè)對實(shí)時數(shù)據(jù)處理的需求逐漸成為推動業(yè)務(wù)創(chuàng)新和發(fā)展的重要驅(qū)動力。在這個快速變化的環(huán)境中,許多企業(yè)選擇將 Oracle 數(shù)據(jù)庫同步到 Kafka,以滿足日益增長的實(shí)時數(shù)據(jù)處理需求。本文將深入探討這一趨勢的背后原因,并通過一個真實(shí)的客戶案例

    2024年04月10日
    瀏覽(23)
  • Enterprise:使用 MySQL connector 同步 MySQL 數(shù)據(jù)到 Elasticsearch

    Enterprise:使用 MySQL connector 同步 MySQL 數(shù)據(jù)到 Elasticsearch

    Elastic MySQL 連接器是 MySQL 數(shù)據(jù)源的連接器。它可以幫我們把 MySQL 里的數(shù)據(jù)同步到 Elasticsearch 中去。在今天的文章里,我來詳細(xì)地描述如何一步一步地實(shí)現(xiàn)。 在下面的展示中,我將使用 Elastic Stack 8.8.2 來進(jìn)行展示。 無縫集成:將 Elasticsearch 連接到 MongoDB Enterprise:使用 MySQL c

    2024年02月16日
    瀏覽(19)
  • 第3.4章:StarRocks數(shù)據(jù)導(dǎo)入--Flink Connector與CDC秒級數(shù)據(jù)同步

    Flink作為當(dāng)前流行的流式計(jì)算框架,在對接StarRocks時,若直接使用JDBC的方式“流式”寫入數(shù)據(jù),對StarRocks是不友好的,StarRocks作為一款MVCC的數(shù)據(jù)庫,其導(dǎo)入的核心思想還是“攢微批+降頻率”。為此,StarRocks單獨(dú)開發(fā)了flink-connector-starrocks,其內(nèi)部實(shí)現(xiàn)仍是通過對數(shù)據(jù)緩存攢批

    2023年04月15日
    瀏覽(51)
  • 生態(tài)短訊 | Tapdata 與 TDengine 完成產(chǎn)品兼容性互認(rèn)證,打造物聯(lián)網(wǎng)實(shí)時數(shù)據(jù)生態(tài)

    生態(tài)短訊 | Tapdata 與 TDengine 完成產(chǎn)品兼容性互認(rèn)證,打造物聯(lián)網(wǎng)實(shí)時數(shù)據(jù)生態(tài)

    近月,深圳鈦鉑數(shù)據(jù)有限公司(以下簡稱鈦鉑數(shù)據(jù))自主研發(fā)的 實(shí)時數(shù)據(jù)平臺 ( Tapdata Live Data Platform )與北京濤思數(shù)據(jù)科技有限公司(以下簡稱濤思數(shù)據(jù))自主研發(fā)的大數(shù)據(jù)平臺 TDengine ,已經(jīng)完成了產(chǎn)品兼容性互認(rèn)證。 經(jīng)雙方團(tuán)隊(duì)共同嚴(yán)格測試,Tapdata Live Data Platform 與

    2024年04月25日
    瀏覽(18)
  • Kafka如何徹底刪除topic及數(shù)據(jù)

    我的kafka是CDH安裝的默認(rèn)目錄 ?/opt/cloudera/parcels/KAFKA-4.1.0-1.4.1.0.p0.4 1、停止生產(chǎn)和消費(fèi)程序。否則topic的offset信息會一直在broker更新。調(diào)用kafka delete命令則無法刪除該topic。取消自動創(chuàng)建topic,設(shè)置 auto.create.topics.enable = false。 2、server.properties 設(shè)置 delete.topic.enable=true,否則調(diào)用

    2023年04月19日
    瀏覽(13)
  • 【ArcGIS遇上Python】ArcGIS Python批量篩選多個shp中指定字段值的圖斑(以土地利用數(shù)據(jù)為例)

    【ArcGIS遇上Python】ArcGIS Python批量篩選多個shp中指定字段值的圖斑(以土地利用數(shù)據(jù)為例)

    以土地利用數(shù)據(jù)為例,提取多個shp數(shù)據(jù)中的旱地。 原始土地利用數(shù)據(jù): 屬性表: 提取的旱地:(以圖層名稱+地類名稱命名)

    2024年01月17日
    瀏覽(22)
  • Kafka - 獲取 Topic 生產(chǎn)者發(fā)布數(shù)據(jù)命令

    從頭開始獲取 20 條數(shù)據(jù)(等價于時間升序) ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic your-topic --from-beginning --max-messages 20 獲取最新 20 條數(shù)據(jù)(等價于時間降序)去掉 --from-beginning 即可(默認(rèn)) ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic your-topic?--max-me

    2024年02月14日
    瀏覽(24)
  • 怎樣查看kafka寫數(shù)據(jù)送到topic是否成功

    要查看 Kafka 寫數(shù)據(jù)是否成功送到主題(topic),可以通過以下幾種方法來進(jìn)行確認(rèn): Kafka 生產(chǎn)者確認(rèn)機(jī)制 :Kafka 提供了生產(chǎn)者的確認(rèn)機(jī)制,您可以在創(chuàng)建生產(chǎn)者時設(shè)置 acks 屬性來控制確認(rèn)級別。常見的確認(rèn)級別包括 0、1 和 all。當(dāng)設(shè)置為 1 或 all 時,生產(chǎn)者會等待主題的 le

    2024年01月18日
    瀏覽(30)
  • 大數(shù)據(jù)之使用Flink消費(fèi)Kafka中topic為ods_mall_log的數(shù)據(jù),根據(jù)不同的表前綴區(qū)分在存入Kafka的topic當(dāng)中

    前言 題目: 一、讀題分析 二、處理過程 ? 1.數(shù)據(jù)處理部分: 2.HBaseSink(未經(jīng)測試,不能證明其正確性,僅供參考?。?三、重難點(diǎn)分析 總結(jié)? 什么是HBase? 本題來源于全國職業(yè)技能大賽之大數(shù)據(jù)技術(shù)賽項(xiàng)賽題 - 電商數(shù)據(jù)處理 - 實(shí)時數(shù)據(jù)處理 注:由于設(shè)備問題,代碼執(zhí)行結(jié)果

    2024年02月03日
    瀏覽(24)
  • MySQL FlinkCDC 通過Kafka實(shí)時同步到ClickHouse(自定義Debezium格式支持增加刪除修改)

    MySQL FlinkCDC 通過Kafka實(shí)時同步到ClickHouse(自定義Debezium格式支持增加刪除修改) 把MySQL多庫多表的數(shù)據(jù)通過FlinkCDC DataStream的方式實(shí)時同步到同一個Kafka的Topic中,然后下游再寫Flink SQL拆分把數(shù)據(jù)寫入到ClickHouse,F(xiàn)linkCDC DataStream通過自定義Debezium格式的序列化器,除了增加,還能進(jìn)行

    2024年02月15日
    瀏覽(23)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包