系列文章目錄
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(上)
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(中)
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(下)
前言
博主所在單位目前使用Oracle GoldenGate將各個(gè)業(yè)務(wù)生產(chǎn)庫匯聚到一起做數(shù)倉實(shí)時(shí)ODS平臺,源端庫可能涉及Oracle、Mysql、達(dá)夢、Guassdb庫。
之前寫過一系列關(guān)于GoldenGate異構(gòu)同步Mysql、Kafka、Kylin、Flink做實(shí)時(shí)計(jì)算的場景文章。但是突然發(fā)現(xiàn),臥槽最最最應(yīng)該第一個(gè)做的Oracle->Oracle的實(shí)時(shí)異構(gòu)同步文檔竟然沒寫!
來彌補(bǔ)一下這個(gè)空白?。?!
好了,扯遠(yuǎn)了,回歸技術(shù)!
下面是我給大家的生產(chǎn)環(huán)境下,如何部署GoldenGate12C及異構(gòu)實(shí)時(shí)同步數(shù)據(jù)的解決方案。本文主要介紹如何實(shí)現(xiàn)實(shí)時(shí)異構(gòu)的進(jìn)行Oracle->Oracle的數(shù)據(jù)同步,這種數(shù)據(jù)同步適用于災(zāi)備、升級、實(shí)時(shí)ODS等場景使用。我這里給大家了三個(gè)GoldenGate部署方式,看大家喜歡用哪種吧??!
注意:本部署方案分為三章節(jié),三章節(jié)的重點(diǎn)分別是:
- GoldenGate12C安裝前,數(shù)據(jù)庫層面的準(zhǔn)備工作!??!
- 給你GoldenGate12C的三種部署方式,看你喜歡哪種部署方式?。?!
- 配置支持DDL操作的實(shí)時(shí)數(shù)據(jù)同步!??!
一、數(shù)據(jù)庫配置信息
此架構(gòu)為ALO模式的數(shù)據(jù)同步,系統(tǒng)均為:OracleLinux6.8,數(shù)據(jù)庫安裝可以參考另一篇數(shù)據(jù)庫安裝文檔:
【大數(shù)據(jù)開發(fā)運(yùn)維解決方案】linux5 安裝 oracle 11g(11.2.0.4)實(shí)驗(yàn)。
源端數(shù)據(jù)庫配置信息:
主機(jī)名:source
IP:192.168.1.6
歸檔位置:/u01/arch
字符集:AMERICAN_AMERICA.AL32UTF8
目的端數(shù)據(jù)庫配置信息:
主機(jī)名:ogg
IP:192.168.1.10
歸檔位置:/u01/arch
字符集:AMERICAN_AMERICA.ZHS16GBK
UTF8是GBK的超集,有可能有些utf8中有但是gbk沒有的字符,就會(huì)報(bào)錯(cuò),比如之前生產(chǎn)遇到的不間斷空格(c2a0),文章連接:
【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】GoldenGate實(shí)時(shí)同步異常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available報(bào)錯(cuò)解決
二、下載OGG12C
GoldenGate公司成立于1995年的美國加州舊金山, 它的名稱源自舊金山聞名于世的金門大橋。
該公司于2009年9月被Oracle公司收購,在此之前Oracle和GoldGate公司就有了長達(dá)超過10年的合作關(guān)系。
GoldenGate幾乎支持市面上流行的所有主流的操作系統(tǒng)平臺和數(shù)據(jù)庫。
點(diǎn)擊此處跳轉(zhuǎn)Oracle官網(wǎng)下載
三、上傳安裝包到主備庫并解壓
我是通過xmanager的ftp上傳的,解壓命令
[oracle@source u01]$ unzip V861007-01.zip
四、配置環(huán)境變量
源端環(huán)境變量設(shè)置如下:
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置這個(gè),會(huì)爆缺少libnnz11.so等庫文件的錯(cuò)。所以這里制定這些庫文件,可以和后面安裝過程用ldd命令驗(yàn)證的步驟搭配看
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'
目的端環(huán)境變量配置:
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=ogg
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'
環(huán)境變量配置完要source .bash_profile
一下生效
五、創(chuàng)建安裝目錄
因?yàn)閮啥硕贾付╫gg安裝目錄為/u01/app/oracle/ogg12
,所以兩邊都做下面操作:
mkdir /u01/app/oracle/ogg12
六、數(shù)據(jù)庫配置
源端庫配置
1、開啟數(shù)據(jù)庫歸檔
驗(yàn)證是否開啟
SQL> archive log list
2、開啟強(qiáng)制使用日志模式
alter database force logging;
驗(yàn)證是否開啟
select force_logging from v$database;
3、開啟日志追加
alter database add supplemental log data;
驗(yàn)證是否開啟
select supplemental_log_data_min,
supplemental_log_data_pk,
supplemental_log_data_ui,
supplemental_log_data_fk
from v$database;
4、創(chuàng)建ogg管理用戶
創(chuàng)建表空間oggdata,用來存放ogg賬戶的相關(guān)數(shù)據(jù)
CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;
5、授予ogg賬戶權(quán)限
GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;
6、修改數(shù)據(jù)庫參數(shù)
查看數(shù)據(jù)庫版本:
select*from v$version;
Oracle 11.2.0.4需要配置參數(shù),之前的版本不需要配置
修改參數(shù):文章來源:http://www.zghlxwxcb.cn/news/detail-778333.html
alter system set enable_goldengate_replication=true scope=both;
目標(biāo)端庫配置
1、創(chuàng)建ogg管理用戶
創(chuàng)建表空間oggdata,用來存放ogg賬戶的相關(guān)數(shù)據(jù)
CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;
2、授予ogg賬戶權(quán)限
GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;
3、修改數(shù)據(jù)庫參數(shù)
查看數(shù)據(jù)庫版本:
select*from v$version;
Oracle 11.2.0.4需要配置參數(shù),之前的版本不需要配置
修改參數(shù):
alter system set enable_goldengate_replication=true scope=both;
總結(jié)
本篇博客主要介紹了在安裝OGG12C之前,數(shù)據(jù)庫層面應(yīng)該做哪些變化!文章來源地址http://www.zghlxwxcb.cn/news/detail-778333.html
到了這里,關(guān)于【大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步】超級詳細(xì)的生產(chǎn)環(huán)境OGG(GoldenGate)12.2實(shí)時(shí)異構(gòu)同步Oracle數(shù)據(jù)部署方案(上)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!