国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

flink CDC-SqlServerCDC 開啟代理及SQL Server開啟CDC的完整操作過程

這篇具有很好參考價(jià)值的文章主要介紹了flink CDC-SqlServerCDC 開啟代理及SQL Server開啟CDC的完整操作過程。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

  • 寫在前面
  • SQL Server開啟CDC
    • 1. 將指定庫的實(shí)例先開啟CDC
    • 2. 開啟需要開啟CDC的表
    • 3. 關(guān)閉CDC功能
  • 更詳細(xì)信息參照官網(wǎng)

寫在前面

鑒于老舊數(shù)據(jù)的結(jié)構(gòu)和項(xiàng)目都在sqlserver上存儲,且遷移成本巨大,當(dāng)下要為sqlserver的存儲過程減負(fù)。要將一部分流式的動態(tài)數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)查詢并存儲數(shù)倉。那在現(xiàn)有的數(shù)據(jù)環(huán)境下, 將sqlserver的數(shù)據(jù)通過flink 接管實(shí)現(xiàn)數(shù)據(jù)輸出和倉庫存儲。

SQL Server開啟CDC

數(shù)據(jù)同步的開啟方式對于sqlserver來說有點(diǎn)特殊,集成在現(xiàn)有的環(huán)境中,我們的sqlserver是2012版本的
具體操作如下:

1. 將指定庫的實(shí)例先開啟CDC

命令:

USE database;
GO
EXEC sys.sp_cdc_enable_db

必須指定庫名先開啟CDC不然會報(bào)類似以下的錯(cuò):
請確保已設(shè)置正確的數(shù)據(jù)庫上下文,然后重試該操作。若要報(bào)告數(shù)據(jù)庫已啟用變更數(shù)據(jù)

執(zhí)行成功之后會在sys下創(chuàng)建以下幾張表,通過客戶端,可以在系統(tǒng)表的目錄下看到

cdc.captured_columns
cdc.change_tables
cdc.ddl_history
cdc.index_columns
cdc.lsn_time_mapping
dbo.systranschemas

sqlserver 關(guān)閉cdc,flink,數(shù)據(jù)庫,sqlserver

執(zhí)行之后查看對應(yīng)的數(shù)據(jù)庫是否已經(jīng)開啟,可以查看已經(jīng)開啟CDC的庫都有那些:
命令:

select * 
from sys.databases where is_cdc_enabled = 1

2. 開啟需要開啟CDC的表

指定的庫開啟了CDC之后,可以單獨(dú)指定具體某一個(gè)表來開啟CDC功能,可以通過命令來實(shí)現(xiàn)具體某個(gè)表啟用CDC
命令:

EXEC sys.sp_cdc_enable_table @source_schema = 'dbo', @source_name = 't1', @role_name = null;

為第一個(gè)表啟用CDC后,SQLServer生成兩個(gè)Agent作業(yè)
cdc.dbname_capture
cdc.dbname_cleanup

具體的命令可以通過找到官網(wǎng)相關(guān)介紹來查看更多的關(guān)于sqlserver CDC的東西

查看剛剛開啟CDC的表是否啟用了CDC

select name, is_tracked_by_cdc 
from sys.tables where object_id = OBJECT_ID('dbo.t1')

當(dāng)然,也可以查看哪些表開啟了CDC

select name, is_tracked_by_cdc 
from sys.tables where is_tracked_by_cdc = '1'

3. 關(guān)閉CDC功能

關(guān)閉表(“dbo.t1”)的CDC

EXEC sys.sp_cdc_disable_table @source_schema = 'dbo', @source_name = 't1', @capture_instance = 'all';

禁用數(shù)據(jù)庫所有實(shí)例CDC

EXEC sys.sp_cdc_disable_db; 

?另外如果SqlServer沒有開啟SqlServer代理請看:

2021-09-06 docker中SqlServer開啟代理服務(wù),并配置cdc_docker安裝sqlserver2007并啟用cdc_KX-UP的博客-CSDN博客


?

補(bǔ)充一句,如果操作提示沒權(quán)限

docker exec -it -u root sql1 /bin/bash文章來源地址http://www.zghlxwxcb.cn/news/detail-675581.html

到了這里,關(guān)于flink CDC-SqlServerCDC 開啟代理及SQL Server開啟CDC的完整操作過程的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • FLINK CDC postgresql (Stream與SQL)

    FLINK CDC postgresql (Stream與SQL)

    Postgres CDC Connector — CDC Connectors for Apache Flink? documentation flink cdc捕獲postgresql數(shù)據(jù) 1)更改配置文件 需要更改 # 更改wal日志方式為logical # 更改solts最大數(shù)量(默認(rèn)值為10),flink-cdc默認(rèn)一張表占用一個(gè) # 更改wal發(fā)送最大進(jìn)程數(shù)(默認(rèn)值為10),這個(gè)值和上面的solts設(shè)置一樣 # 中斷

    2023年04月27日
    瀏覽(20)
  • Flink CDC和Flink SQL構(gòu)建實(shí)時(shí)數(shù)倉Flink寫入Doris

    Flink CDC和Flink SQL構(gòu)建實(shí)時(shí)數(shù)倉Flink寫入Doris

    軟件環(huán)境 Flink1.13.3 Scala 2.12 doris 0.14 一、MySQL 開啟binlog日志、創(chuàng)建用戶 1.開啟bin log MySQL 8.0默認(rèn)開啟了binlog,可以通過代碼show variables like \\\"%log_bin%\\\";查詢是否開啟了,show variables like \\\"%server_id%\\\";查詢服務(wù)器ID。 上圖分別顯示了bin long是否開啟以及bin log所在的位置。 2.創(chuàng)建用戶 C

    2024年02月02日
    瀏覽(17)
  • 基于 Flink SQL CDC 數(shù)據(jù)處理的終極武器

    基于 Flink SQL CDC 數(shù)據(jù)處理的終極武器

    來源互聯(lián)網(wǎng)多篇文章總結(jié) 業(yè)務(wù)系統(tǒng)經(jīng)常會遇到需要更新數(shù)據(jù)到多個(gè)存儲的需求。例如:一個(gè)訂單系統(tǒng)剛剛開始只需要寫入數(shù)據(jù)庫即可完成業(yè)務(wù)使用。某天 BI 團(tuán)隊(duì)期望對數(shù)據(jù)庫做全文索引,于是我們同時(shí)要寫多一份數(shù)據(jù)到 ES 中,改造后一段時(shí)間,又有需求需要寫入到 Redis 緩存

    2024年02月16日
    瀏覽(17)
  • 深入淺出 SQL Server CDC 數(shù)據(jù)同步

    深入淺出 SQL Server CDC 數(shù)據(jù)同步

    SQL Server 是一款老牌關(guān)系型數(shù)據(jù)庫,自 1988 年由 Microsoft、Sybase 和 Ashton-Tate 三家公司共同推出,不斷迭代更新至今,擁有相當(dāng)廣泛的用戶群體。 如今,我們提到 SQL Server 通常指 Microsoft SQL Server 2000 之后的版本。 SQL Server 2008 是一個(gè)里程碑版本,加入了大量新特性,包括 新的語法

    2024年02月12日
    瀏覽(39)
  • 基于Flink SQL CDC Mysql to Mysql數(shù)據(jù)同步

    基于Flink SQL CDC Mysql to Mysql數(shù)據(jù)同步

    Flink CDC有兩種方式同步數(shù)據(jù)庫: 一種是通過FlinkSQL直接輸入兩表數(shù)據(jù)庫映射進(jìn)行數(shù)據(jù)同步,缺點(diǎn)是只能單表進(jìn)行同步; 一種是通過DataStream開發(fā)一個(gè)maven項(xiàng)目,打成jar包上傳到服務(wù)器運(yùn)行。 本方案使用FlinkSQL方法,同步兩表中的數(shù)據(jù)。 其中Flink應(yīng)用可以部署在具有公網(wǎng)IP的服務(wù)

    2023年04月11日
    瀏覽(27)
  • flink cdc數(shù)據(jù)同步,DataStream方式和SQL方式的簡單使用

    flink cdc數(shù)據(jù)同步,DataStream方式和SQL方式的簡單使用

    目錄 一、flink cdc介紹 1、什么是flink cdc 2、flink cdc能用來做什么 3、flink cdc的優(yōu)點(diǎn) 二、flink cdc基礎(chǔ)使用 1、使用flink cdc讀取txt文本數(shù)據(jù) 2、DataStream的使用方式 3、SQL的方式 總結(jié) flink cdc是一個(gè)由阿里研發(fā)的,一個(gè)可以直接從MySQL、PostgreSQL等數(shù)據(jù)庫直接讀取全量數(shù)據(jù)和增量變更數(shù)

    2024年02月13日
    瀏覽(25)
  • 基于Flink CDC實(shí)時(shí)同步PostgreSQL與Tidb【Flink SQL Client模式下親測可行,詳細(xì)教程】

    操作系統(tǒng):ubuntu-22.04,運(yùn)行于wsl 2【 注意,請務(wù)必使用wsl 2 ;wsl 1會出現(xiàn)各種各樣的問題】 軟件版本:PostgreSQL 14.9,TiDB v7.3.0,flink 1.7.1,flink cdc 2.4.0 已有postgre的跳過此步 (1)pg安裝 https://zhuanlan.zhihu.com/p/143156636 (2)pg配置 可能出現(xiàn)的問題 sudo -u postgres psql 報(bào)錯(cuò): psql: err

    2024年02月11日
    瀏覽(29)
  • Flink CDC SQL Oracle to Postgresql與jdbc連接oracle報(bào)錯(cuò)處理

    Flink CDC SQL Oracle to Postgresql與jdbc連接oracle報(bào)錯(cuò)處理

    flink-cdc官網(wǎng):Oracle CDC Connector — CDC Connectors for Apache Flink? documentation Flink環(huán)境依賴: (3)啟用日志歸檔 (4)檢查是否啟用了日志歸檔 (5)創(chuàng)建具有權(quán)限的 Oracle 用戶 (5.1)。創(chuàng)建表空間 (5.2)。創(chuàng)建用戶并授予權(quán)限 Flink SQL 客戶端連接器測試: 創(chuàng)建 Oracle 鏈接器 返回內(nèi)容 以上代

    2024年02月11日
    瀏覽(22)
  • 11 flink-sql 中基于 mysql-cdc 連接 mysql-pxc 集群無法獲取增量數(shù)據(jù)問題

    11 flink-sql 中基于 mysql-cdc 連接 mysql-pxc 集群無法獲取增量數(shù)據(jù)問題

    問題是來自于 群友, 2024.03.29, 也是花了一些時(shí)間 來排查這個(gè)問題? 大致的問題是用 mysql-cdc 連接了一個(gè) mysql-pxc 集群, 然后創(chuàng)建了一個(gè) test_user 表? 使用 \\\"select * from test_user\\\" 獲取數(shù)據(jù)表的數(shù)據(jù), 可以拿到 查詢時(shí)的快照, 但是 無法獲取到后續(xù)對于 test_user 表的增量操作的數(shù)據(jù), 比如

    2024年04月15日
    瀏覽(43)
  • Windows開啟SQL Server服及1433端口

    Windows開啟SQL Server服及1433端口

    需求:Windows開啟SQL Server服務(wù)及1433端口 目前端口沒有啟動 解決: 打開SQL Server配置管理器(win+R) 各個(gè)sqlserver版本在textbox中輸入對應(yīng)的命令如下: SQLServerManager15.msc(對于 SQL Server 2019 ) SQLServerManager14.msc(對于 SQL Server 2017 ) SQLServerManager13.msc(對于 SQL Server 2016 ) SQLServer

    2024年01月25日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包