国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(上)

這篇具有很好參考價(jià)值的文章主要介紹了【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(上)。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

系列文章目錄

【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(上)
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(中)
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(下)



前言

博主所在單位目前使用Oracle GoldenGate將各個(gè)業(yè)務(wù)生產(chǎn)庫匯聚到一起做數(shù)倉實(shí)時(shí)ODS平臺,源端庫可能涉及Oracle、Mysql、達(dá)夢、Guassdb庫。
之前寫過一系列關(guān)于GoldenGate異構(gòu)同步Mysql、Kafka、Kylin、Flink做實(shí)時(shí)計(jì)算的場景文章。但是突然發(fā)現(xiàn),臥槽最最最應(yīng)該第一個(gè)做的Oracle->Oracle的實(shí)時(shí)異構(gòu)同步文檔竟然沒寫!
來彌補(bǔ)一下這個(gè)空白?。?!
好了,扯遠(yuǎn)了,回歸技術(shù)!
下面是我給大家的生產(chǎn)環(huán)境下,如何部署GoldenGate12C及異構(gòu)實(shí)時(shí)同步數(shù)據(jù)的解決方案。本文主要介紹如何實(shí)現(xiàn)實(shí)時(shí)異構(gòu)的進(jìn)行Oracle->Oracle的數(shù)據(jù)同步,這種數(shù)據(jù)同步適用于災(zāi)備、升級、實(shí)時(shí)ODS等場景使用。我這里給大家了三個(gè)GoldenGate部署方式,看大家喜歡用哪種吧??!
注意:本部署方案分為三章節(jié),三章節(jié)的重點(diǎn)分別是:

  • GoldenGate12C安裝前,數(shù)據(jù)庫層面的準(zhǔn)備工作!??!
  • 給你GoldenGate12C的三種部署方式,看你喜歡哪種部署方式?。?!
  • 配置支持DDL操作的實(shí)時(shí)數(shù)據(jù)同步!??!

一、數(shù)據(jù)庫配置信息

此架構(gòu)為ALO模式的數(shù)據(jù)同步,系統(tǒng)均為:OracleLinux6.8,數(shù)據(jù)庫安裝可以參考另一篇數(shù)據(jù)庫安裝文檔:
【大數(shù)據(jù)開發(fā)運(yùn)維解決方案】linux5 安裝 oracle 11g(11.2.0.4)實(shí)驗(yàn)。
源端數(shù)據(jù)庫配置信息:
主機(jī)名:source
IP:192.168.1.6
歸檔位置:/u01/arch
字符集:AMERICAN_AMERICA.AL32UTF8
目的端數(shù)據(jù)庫配置信息:
主機(jī)名:ogg
IP:192.168.1.10
歸檔位置:/u01/arch
字符集:AMERICAN_AMERICA.ZHS16GBK
UTF8是GBK的超集,有可能有些utf8中有但是gbk沒有的字符,就會(huì)報(bào)錯(cuò),比如之前生產(chǎn)遇到的不間斷空格(c2a0),文章連接:
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】GoldenGate實(shí)時(shí)同步異常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available報(bào)錯(cuò)解決

二、下載OGG12C

GoldenGate公司成立于1995年的美國加州舊金山, 它的名稱源自舊金山聞名于世的金門大橋。
該公司于2009年9月被Oracle公司收購,在此之前Oracle和GoldGate公司就有了長達(dá)超過10年的合作關(guān)系。
GoldenGate幾乎支持市面上流行的所有主流的操作系統(tǒng)平臺和數(shù)據(jù)庫。
點(diǎn)擊此處跳轉(zhuǎn)Oracle官網(wǎng)下載

三、上傳安裝包到主備庫并解壓

我是通過xmanager的ftp上傳的,解壓命令

[oracle@source u01]$ unzip V861007-01.zip

goldengate oracle12c 同步,GoldenGate,GoldenGate異構(gòu),GoldenGate部署,GoldenGate數(shù)據(jù)同步,ogg12部署,hadoop

四、配置環(huán)境變量

源端環(huán)境變量設(shè)置如下:

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置這個(gè),會(huì)爆缺少libnnz11.so等庫文件的錯(cuò)。所以這里制定這些庫文件,可以和后面安裝過程用ldd命令驗(yàn)證的步驟搭配看
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'

目的端環(huán)境變量配置:

# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=ogg
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'

環(huán)境變量配置完要source .bash_profile一下生效

五、創(chuàng)建安裝目錄

因?yàn)閮啥硕贾付╫gg安裝目錄為/u01/app/oracle/ogg12,所以兩邊都做下面操作:

mkdir /u01/app/oracle/ogg12

六、數(shù)據(jù)庫配置

源端庫配置

1、開啟數(shù)據(jù)庫歸檔

驗(yàn)證是否開啟

SQL> archive log list

2、開啟強(qiáng)制使用日志模式

alter database force logging;

驗(yàn)證是否開啟

select force_logging from v$database;

3、開啟日志追加

alter database add supplemental log data;

驗(yàn)證是否開啟

select supplemental_log_data_min,
supplemental_log_data_pk,
supplemental_log_data_ui,
supplemental_log_data_fk
from v$database;

4、創(chuàng)建ogg管理用戶

創(chuàng)建表空間oggdata,用來存放ogg賬戶的相關(guān)數(shù)據(jù)

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;

5、授予ogg賬戶權(quán)限

GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;

6、修改數(shù)據(jù)庫參數(shù)

查看數(shù)據(jù)庫版本:

select*from v$version;

Oracle 11.2.0.4需要配置參數(shù),之前的版本不需要配置
修改參數(shù):

alter system set enable_goldengate_replication=true scope=both; 

目標(biāo)端庫配置

1、創(chuàng)建ogg管理用戶

創(chuàng)建表空間oggdata,用來存放ogg賬戶的相關(guān)數(shù)據(jù)

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;

2、授予ogg賬戶權(quán)限

GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;

3、修改數(shù)據(jù)庫參數(shù)

查看數(shù)據(jù)庫版本:

select*from v$version;

Oracle 11.2.0.4需要配置參數(shù),之前的版本不需要配置
修改參數(shù):

alter system set enable_goldengate_replication=true scope=both; 

總結(jié)

本篇博客主要介紹了在安裝OGG12C之前,數(shù)據(jù)庫層面應(yīng)該做哪些變化!文章來源地址http://www.zghlxwxcb.cn/news/detail-778333.html

到了這里,關(guān)于【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(上)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 看這篇就明白大數(shù)據(jù)實(shí)時(shí)數(shù)倉、離線數(shù)倉、數(shù)據(jù)湖之間的關(guān)系

    看這篇就明白大數(shù)據(jù)實(shí)時(shí)數(shù)倉、離線數(shù)倉、數(shù)據(jù)湖之間的關(guān)系

    ??20世紀(jì)70年代,MIT(麻省理工)的研究員致力于研究一種優(yōu)化的技術(shù)架構(gòu),該架構(gòu)試圖將業(yè)務(wù)處理系統(tǒng)和分析系統(tǒng)分開,即將業(yè)務(wù)處理和分析處理分為不同層次,針對各自的特點(diǎn)采取不同的架構(gòu)設(shè)計(jì)原則,MIT的研究員認(rèn)為這兩種信息處理的方式具有顯著差別,以至于必須采取完

    2024年02月08日
    瀏覽(21)
  • 【大數(shù)據(jù)實(shí)訓(xùn)】基于當(dāng)當(dāng)網(wǎng)圖書信息的數(shù)據(jù)分析與可視化(八)

    【大數(shù)據(jù)實(shí)訓(xùn)】基于當(dāng)當(dāng)網(wǎng)圖書信息的數(shù)據(jù)分析與可視化(八)

    溫馨提示:文末有 CSDN 平臺官方提供的博主 的聯(lián)系方式,有償幫忙部署 一、實(shí)驗(yàn)環(huán)境 (1)Linux: Ubuntu 16.04 (2)Python: 3.5 (3)Hadoop:3.1.3(4)Spark: 2.4.0(5)Web框架:flask 1.0.3 (6)可視化工具:Echarts (7)開發(fā)工具:Visual Studio Code 二、小組成員及分工 (1)成員:林海瀅,

    2024年02月04日
    瀏覽(27)
  • 【大數(shù)據(jù)實(shí)訓(xùn)】基于Hadoop的2019年11月至2020年2月寧波天氣數(shù)據(jù)分析(五)

    【大數(shù)據(jù)實(shí)訓(xùn)】基于Hadoop的2019年11月至2020年2月寧波天氣數(shù)據(jù)分析(五)

    博主介紹 : ? 全網(wǎng)粉絲6W+,csdn特邀作者、博客專家、Java領(lǐng)域優(yōu)質(zhì)創(chuàng)作者,博客之星、掘金/華為云/阿里云/InfoQ等平臺優(yōu)質(zhì)作者、專注于大數(shù)據(jù)技術(shù)領(lǐng)域和畢業(yè)項(xiàng)目實(shí)戰(zhàn) ? ?? 文末獲取項(xiàng)目聯(lián)系 ?? 2019—2020 學(xué)年第二學(xué)期《分布式系統(tǒng)原理與技術(shù)》期末大作業(yè)評分表 評價(jià)內(nèi)容

    2024年02月06日
    瀏覽(48)
  • 【大數(shù)據(jù)實(shí)驗(yàn)系列】一文輕松搞定云服務(wù)器Centos8.x下安裝MySQL5.x版本,以阿里云服務(wù)器為例?。ǔ敿?xì)安裝流程)

    【大數(shù)據(jù)實(shí)驗(yàn)系列】一文輕松搞定云服務(wù)器Centos8.x下安裝MySQL5.x版本,以阿里云服務(wù)器為例?。ǔ敿?xì)安裝流程)

    ? ? ? ?本篇博客主要涉及云服務(wù)器(以阿里云服務(wù)器為例子)Centos8.x下安裝MySQL軟件。( 通讀本篇博客需要10分鐘左右的時(shí)間) 。 ? ? ? ? 本篇博客內(nèi)容參考于:centOS8安裝MySql5.7 2.1 MySQL rpm源包下載 ? ? ? ?我們首先點(diǎn)擊官網(wǎng)MySQL下載地址,如下圖所示: ? ? ? ?博主這里選擇上

    2024年02月03日
    瀏覽(33)
  • 大數(shù)據(jù)實(shí)訓(xùn)

    大數(shù)據(jù)實(shí)訓(xùn)

    1、Hadoop集群框架搭建(學(xué)過,但是沒有現(xiàn)成的) 2、python(機(jī)器學(xué)習(xí)) 3、Spark(沒有) 4、Flume(沒有) 5、Sqoop(沒有接觸) 6、編程語言: SpringBoot(有)+echarts(數(shù)據(jù)可視化框架) 1.1?百度百科:大數(shù)據(jù),短期無法運(yùn)用常規(guī)一些手段去及時(shí)處理海量數(shù)據(jù),需要使用新型的技術(shù)

    2024年02月02日
    瀏覽(27)
  • 泰迪大數(shù)據(jù)實(shí)訓(xùn)平臺產(chǎn)品介紹

    泰迪大數(shù)據(jù)實(shí)訓(xùn)平臺產(chǎn)品介紹

    ? ? ? 大數(shù)據(jù)產(chǎn)品包括: 大數(shù)據(jù)實(shí)訓(xùn)管理平臺、大數(shù)據(jù)開發(fā)實(shí)訓(xùn)平臺、大數(shù)據(jù)編程實(shí)訓(xùn)平臺 等 ? ? ?大數(shù)據(jù)實(shí)訓(xùn)管理平臺 ? ? ?泰迪大數(shù)據(jù)實(shí)訓(xùn)平臺從課程管理、資源管理、實(shí)訓(xùn)管理等方面出發(fā),主要解決現(xiàn)有實(shí)驗(yàn)室無法滿足教學(xué)需求、傳統(tǒng)教學(xué)流程和工具低效耗時(shí)和內(nèi)部

    2024年02月11日
    瀏覽(26)
  • 大數(shù)據(jù)實(shí)驗(yàn)三-HBase編程實(shí)踐

    大數(shù)據(jù)實(shí)驗(yàn)三-HBase編程實(shí)踐

    目錄 一.實(shí)驗(yàn)內(nèi)容 二.實(shí)驗(yàn)?zāi)康?三.實(shí)驗(yàn)過程截圖及說明 1、安裝HBase 2、配置偽分布式模式: 3、使用hbase的shell命令來操作表: 4、使用hbase提供的javaAPI來編程實(shí)現(xiàn)類似操作: 5、實(shí)驗(yàn)總結(jié)及心得體會(huì) 6、完整報(bào)告在文章開頭,掛載。 HBase編程實(shí)踐: 1)在Hadoop基礎(chǔ)上安裝H

    2024年04月12日
    瀏覽(34)
  • 【大數(shù)據(jù)實(shí)驗(yàn)五】 MapReduce初級編程實(shí)踐

    【大數(shù)據(jù)實(shí)驗(yàn)五】 MapReduce初級編程實(shí)踐

    1實(shí)驗(yàn)?zāi)康?1.通過實(shí)驗(yàn)掌握基本的MapReduce編程方法; 2.掌握用MapReduce解決一些常見的數(shù)據(jù)處理問題,包括數(shù)據(jù)去重、數(shù)據(jù)排序和數(shù)據(jù)挖掘等。 2實(shí)驗(yàn)平臺 已經(jīng)配置完成的Hadoop偽分布式環(huán)境。 (1)操作系統(tǒng):Linux(Ubuntu18.04) (2)Hadoop版本:3.1.3 3實(shí)驗(yàn)內(nèi)容和要求 1.編程實(shí)現(xiàn)文件

    2024年02月03日
    瀏覽(156)
  • 云計(jì)算與大數(shù)據(jù)實(shí)驗(yàn)五 MapReduce編程

    云計(jì)算與大數(shù)據(jù)實(shí)驗(yàn)五 MapReduce編程

    一、實(shí)驗(yàn)?zāi)康?了解Mapper類,Reducer類和Job類 掌握什么是MapReduce及使用MapReduce進(jìn)行運(yùn)算 掌握挖掘父子輩關(guān)系,給出祖孫輩關(guān)系的表格 二、實(shí)驗(yàn)內(nèi)容 使用Map/Reduce計(jì)算班級中年齡最大的學(xué)生 使用Map/Reduce編程實(shí)現(xiàn)文件合并和去重操作 對給定的表格進(jìn)行信息挖掘 編寫實(shí)現(xiàn)日期操作

    2023年04月24日
    瀏覽(39)
  • 大數(shù)據(jù)實(shí)驗(yàn) 實(shí)驗(yàn)六:Spark初級編程實(shí)踐

    大數(shù)據(jù)實(shí)驗(yàn) 實(shí)驗(yàn)六:Spark初級編程實(shí)踐

    實(shí)驗(yàn)環(huán)境:Windows 10 Oracle VM VirtualBox 虛擬機(jī):cnetos 7 Hadoop 3.3 因?yàn)镠adoop版本為3.3所以在官網(wǎng)選擇支持3.3的spark安裝包 解壓安裝包到指定文件夾 配置spark-env.sh 啟動(dòng)成功 (1) 在spark-shell中讀取Linux系統(tǒng)本地文件“/home/hadoop/test.txt”,然后統(tǒng)計(jì)出文件的行數(shù); (2) 在spark-shell中讀

    2024年02月04日
    瀏覽(174)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包