DB2是IBM的一款關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，JDBC DB2 Source Connector是一個用于通過JDBC讀取外部數(shù)據(jù)源數(shù)據(jù)的連接器。Apache SeaTunnel如何支持JDBC DB2 Sink Connector？請參考本文檔。

支持引擎

Spark

Flink

SeaTunnel Zeta

主要功能

• 精確一次性
• CDC（變更數(shù)據(jù)捕獲）

使用 Xa 事務(wù) 來確保 精確一次性。因此，只支持對支持 Xa 事務(wù) 的數(shù)據(jù)庫進行 精確一次性 操作。您可以設(shè)置 is_exactly_once=true 來啟用它。

描述

通過 JDBC 寫入數(shù)據(jù)。支持批處理模式和流式模式，支持并發(fā)寫入，支持精確一次性語義（使用 XA 事務(wù)保證）。

支持的數(shù)據(jù)源信息

數(shù)據(jù)庫依賴

請下載與 'Maven' 相對應(yīng)的支持列表，并將其復(fù)制到 '$SEATNUNNEL_HOME/plugins/jdbc/lib/' 工作目錄中

例如，對于 DB2 數(shù)據(jù)源：cp db2-connector-java-xxx.jar $SEATNUNNEL_HOME/plugins/jdbc/lib/

數(shù)據(jù)類型映射

Sink 選項

提示

如果未設(shè)置 partition_column，則將以單一并發(fā)方式運行；如果設(shè)置了 partition_column，則根據(jù)任務(wù)的并發(fā)度并行執(zhí)行。

任務(wù)示例

簡單示例：

該示例定義了一個 SeaTunnel 同步任務(wù)，通過 FakeSource 自動生成數(shù)據(jù)并發(fā)送到 JDBC Sink。FakeSource 生成總共 16 行數(shù)據(jù)（row.num=16），每行有兩個字段，name（字符串類型）和 age（整數(shù)類型）。最終的目標(biāo)表是 test_table，在表中也將有 16 行數(shù)據(jù)。在運行此作業(yè)之前，您需要在您的 DB2 中創(chuàng)建數(shù)據(jù)庫 test 和表 test_table。如果您尚未安裝和部署 SeaTunnel，請按照 安裝 SeaTunnel 中的說明安裝和部署 SeaTunnel。然后按照 使用 SeaTunnel 引擎快速入門 中的說明運行此作業(yè)。

# 定義運行時環(huán)境
env {
  # 您可以在這里設(shè)置 Flink 配置
  execution.parallelism = 1
  job.mode = "BATCH"
}

source {
  # 這是一個示例源插件，僅用于測試和演示源插件功能
  FakeSource {
    parallelism = 1
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }
  # 如果您想要獲取更多關(guān)于如何配置 SeaTunnel 并查看完整的源插件列表的信息，
  # 請訪問 https://seatunnel.apache.org/docs/category/source-v2
}

transform {
  # 如果您想要獲取更多關(guān)于如何配置 SeaTunnel 并查看完整的轉(zhuǎn)換插件列表的信息，
  # 請訪問 https://seatunnel.apache.org/docs/category/transform-v2
}

生成 Sink SQL

該示例不需要編寫復(fù)雜的 SQL 語句，您可以配置數(shù)據(jù)庫名稱和表名稱，以自動生成要插入的語句。

sink {
    jdbc {
        url = "jdbc:db2://127.0.0.1:50000/dbname"
        driver = "com.ibm.db2.jdbc.app.DB2Driver"
        user = "root"
        password = "123456"
        query = "insert into test_table(name,age) values(?,?)"
        }
  #  如果您想要獲取更多關(guān)于如何配置 SeaTunnel 并查看完整的接收插件列表的信息，
  #  請訪問 https://seatunnel.apache.org/docs/category/sink-v2
}

sink {
    jdbc {
        url = "jdbc:db2://127.0.0.1:50000/dbname"
        driver = "com.ibm.db2.jdbc.app.DB2Driver"
        user = "root"
        password = "123456"
        # 根據(jù)數(shù)據(jù)庫表名自動生成 SQL 語句
        generate_sink_sql = true
        database = test
        table = test_table
    }
}

精確一次性：

為了確保精確寫入場景，我們保證精確一次性。
sink {
jdbc {
url = "jdbc:db2://127.0.0.1:50000/dbname"
driver = "com.ibm.db2.jdbc.app.DB2Driver"

    max_retries = 0
    user = "root"
    password = "123456"
    query = "insert into test_table(name,age) values(?,?)"

    is_exactly_once = "true"

    xa_data_source_class_name = "com.db2.cj.jdbc.Db2XADataSource"
}

}

本文由 白鯨開源 提供發(fā)布支持！文章來源地址http://www.zghlxwxcb.cn/news/detail-855112.html

到了這里，關(guān)于SeaTunnel JDBC DB2 Sink Connector支持的工作原理，快來學(xué)習(xí)吧！的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！