之前的遷移系列中我們介紹了Mysql到openGauss的遷移方法,本篇介紹使用Ora2og工具從Oracle到openGauss數(shù)據(jù)庫(kù)的遷移。
簡(jiǎn)介
ora2pg 可以將 Oracle 或者 MySQL 數(shù)據(jù)庫(kù)遷移到 PostgreSQL,應(yīng)用場(chǎng)景小到 Oracle 數(shù)據(jù)庫(kù)的反向工程,大到大型企業(yè)數(shù)據(jù)庫(kù)遷移,或者簡(jiǎn)單地將一些 Oracle 數(shù)據(jù)復(fù)制到 PostgreSQL 數(shù)據(jù)庫(kù)。Ora2Pg 由一個(gè) Perl 腳本(ora2pg)以及一個(gè) Perl 模塊(Ora2Pg.pm)組成,唯一需要做的事情就是修改它的配置文件 ora2pg.conf,設(shè)置連接 Oracle 數(shù)據(jù)庫(kù)的 DSN 和一個(gè)可選的模式名稱。完成之后,只需要設(shè)置導(dǎo)出的類型:TABLE(包括約束)、VIEW、TABLESPACE、SEQUENCE、INDEXES、TRIGGER、FUNCTION、PROCEDURE、PACKAGE等等。
ora2og是一個(gè)將Oracle數(shù)據(jù)庫(kù)遷移至openGauss的工具,ora2og初始代碼源自ora2pg release v21.1,在原基礎(chǔ)上適配了openGauss的相關(guān)內(nèi)容。
特點(diǎn):
- 支持導(dǎo)出數(shù)據(jù)庫(kù)絕大多數(shù)對(duì)象類型,包括表、視圖、序列、索引、外鍵、約束、函數(shù)、存儲(chǔ)過(guò)程等。
- 提供PL/SQL到PL/PGSQL語(yǔ)法的自動(dòng)轉(zhuǎn)換,一定程度避免了人工修正。
- 可生成遷移報(bào)告,包括遷移難度評(píng)估、人天估算。
- 可選對(duì)導(dǎo)出數(shù)據(jù)進(jìn)行壓縮,節(jié)約磁盤開銷。
- 配置選項(xiàng)豐富,可自定義遷移行為。
遷移前準(zhǔn)備
環(huán)境
本篇使用環(huán)境:
Oracle : 華為云服務(wù)器2核4G + CentoOS 7.6 +Oracle 11.2
openGauss:華為云服務(wù)器2核4G + CentoOS 7.6 +openGauss 3.1.0極簡(jiǎn)版
兩臺(tái)節(jié)點(diǎn)網(wǎng)絡(luò)互通
遷移前準(zhǔn)備
Ora2og工具既可以安裝在Oracle服務(wù)器上,也可以安裝在openGauss服務(wù)器上。本篇中將工具部署在Oracle服務(wù)器上。
注意,如果安裝在openGauss上時(shí),需要在服務(wù)器上安裝Oracle客戶端。
軟件安裝
Ora2Pg語(yǔ)言為perl,故需安裝所需perl模塊,版本5.8及以上。
root用戶下操作,安裝DBI、JSON、DBD:Pg、DBD:Oracle,Ora2Pg依賴這些軟件去連接數(shù)據(jù)庫(kù)。
yum install -y perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker
yum install perl-CPAN
perl -MCPAN -e 'install DBI'
perl -MCPAN -e 'install JSON'
perl -MCPAN -e 'install DBD::Pg'
設(shè)置root 用戶的環(huán)境變量,可以寫入/etc/profile,然后source生效。根據(jù)實(shí)際情況修改。
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/
export LD_LIBRARY_PATH=/u01/app/oracle/product/11.2.0/lib
使用 perl -MCPAN -e ‘install DBD::Oracle’ 安裝報(bào)錯(cuò)了,換了另一種自己編譯的方式。
[root@oraclehost ora2pg-master]# perl -MCPAN -e shell
......
cpan[1]> get DBD::Oracle
........
Checksum for /root/.cpan/sources/authors/id/Z/ZA/ZARQUON/DBD-Oracle-1.83.tar.gz ok
......
cpan[2]> quit
[root@oraclehost ora2pg-master]# cd /root/.cpan/sources/authors/id/Z/ZA/ZARQUON/
[root@oraclehost ZARQUON]# tar -zxvf DBD-Oracle-1.83.tar.gz
[root@oraclehost ZARQUON]# cd DBD-Oracle-1.83
[root@oraclehost DBD-Oracle-1.83]# perl Makefile.PL
[root@oraclehost DBD-Oracle-1.83]# make && make install
ora2og工具安裝
安裝Ora2Pg <you_install_dir>為目標(biāo)安裝路徑,<source_code_dir>為下載的代碼路徑。 如果服務(wù)器上沒有g(shù)it的話,可以從網(wǎng)站把源碼包下載再解壓。
mkdir -p /opt/software/ora2pg
git clone https://toscode.gitee.com/opengauss/openGauss-tools-ora2og.git
進(jìn)到代碼目錄下
perl Makefile.PL PREFIX=<your_install_dir>
make && make install
設(shè)置環(huán)境變量,查看是否安裝成功
export PERL5LIB=<source_code_dir>/lib
export PATH=$PATH:<your_install_dir>/usr/local/bin
需要確保bin路徑下有ora2pg這個(gè)文件,否則命令找不到。
執(zhí)行ora2pg --help
創(chuàng)建遷移項(xiàng)目
ora2pg --init_project oramig
創(chuàng)建遷移項(xiàng)目后會(huì)在當(dāng)前目錄下生成oramig目錄模板,如下所示。其中主要包含兩個(gè)腳本export_schema.sh和import_all.sh,后續(xù)導(dǎo)出和導(dǎo)入即使用這兩個(gè)腳本。schema和sources目錄存放各對(duì)象的DDL語(yǔ)句,區(qū)別在于schema存放PL/SQL語(yǔ)法轉(zhuǎn)化為PL/PGSQL后的語(yǔ)句, sources目錄存放轉(zhuǎn)化前PL/SQL的語(yǔ)句,data目錄存放表數(shù)據(jù)文件,config目錄包含配置文件ora2pg.conf,reports目錄存放遷移報(bào)告。
建用戶和表
Oracle建個(gè)表,用來(lái)做測(cè)試數(shù)據(jù)
create table customerchat.test(name char(10));
insert into customerchat.test values('opengauss');
create table customerchat.xxx(name char(20));
insert into customerchat.xxx values('yy');
openGauss側(cè)新建數(shù)據(jù)庫(kù)mydb和用戶tuser ,遷移時(shí)會(huì)用到。
mydb=#create database mydb;
mydb=# CREATE USER tuser WITH PASSWORD '自己定義';
mydb=# GRANT ALL PRIVILEGES TO tuser;
mydb=# alter database mydb owner to tuser;
配置ora2pg.conf
拷貝配置文件,注意路徑,后面執(zhí)行sh的時(shí)候會(huì)找config/ora2pg.conf。
cp <your_install_dir>/etc/ora2pg/ora2pg.conf.dist <source_code_dir>/config/ora2pg.conf
ORACLE相關(guān)參數(shù):
ORACLE_HOME /u01/app/oracle/product/11.2.0/
ORACLE_DSN dbi:Oracle:host=oracleIP;sid=orcl;port=1521
ORACLE_USER customerchat // 這里用的oracle普通用戶和密碼
ORACLE_PWD XXXXX
SCHEMA customerchat //一般和用戶名一樣
openGauss相關(guān)參數(shù):
PG_DSN dbi:Pg:dbname=mydb;host=localhost;port=5432
PG_USER tuser
PG_PWD 自己定義的密碼
工具自身參數(shù):
DATA_LIMIT 默認(rèn)是10000,如果oracle服務(wù)器內(nèi)存較小,比如4G以下,可以修改為2500或5000,否則可能會(huì)報(bào)內(nèi)存不足。
更多更詳細(xì)的配置項(xiàng)說(shuō)明,可查看ora2pg.darold.net官網(wǎng).
測(cè)試一下配置:
執(zhí)行如下命令會(huì)返回連接的Oracle版本號(hào)。
ora2pg -t SHOW_VERSION -c config/ora2pg.conf
測(cè)試遷移
修改遷移工具oramig目錄下export_schema.sh中導(dǎo)出類型EXPORT_TYPE和SOURCE_TYPE,本次遷移導(dǎo)出TABLE。
導(dǎo)出
在oramig目錄下執(zhí)行
sh export_schema.sh
執(zhí)行完成后 在schema/tables生成 table.sql ,里面是建表腳本。
reports/目錄下生成的report報(bào)告report.html
導(dǎo)入
還是在oramig目錄下執(zhí)行導(dǎo)入
為了使用openGauss命令行工具gsql,需要將數(shù)據(jù)庫(kù)的bin和lib加在操作系統(tǒng)的環(huán)境變量PATH和LD_LIBRARY_PATH中。可以通過(guò)直接root用戶執(zhí)行g(shù)sql測(cè)試。
3. 將import_all.sh里的psql修改為gsql。
執(zhí)行導(dǎo)入腳本,表示使用用戶tuser登錄openGauss中mydb的數(shù)據(jù)庫(kù),ip和端口,-f選項(xiàng)表示跳過(guò)用戶和數(shù)據(jù)庫(kù)是否需要?jiǎng)?chuàng)建的檢查。
sh import_all.sh -d mydb -o tuser -h openGaussIP -p 5432 -f
執(zhí)行成功。
可以看到表和數(shù)據(jù)都已經(jīng)遷移過(guò)來(lái)。
Ora2Pg不足
Ora2Pg對(duì)PL/SQL和PL/PGSQL的語(yǔ)法轉(zhuǎn)換處理采用正則表達(dá)式和文本替換的方式,先天設(shè)計(jì)不足,很難覆蓋所有的語(yǔ)法,目前僅支持部分轉(zhuǎn)換。因此,Ora2Pg可以滿足SQL簡(jiǎn)單的應(yīng)用遷移,對(duì)于復(fù)雜的語(yǔ)法,并不能完全保證轉(zhuǎn)換的正確性,需要對(duì)生成的SQL語(yǔ)句進(jìn)行核對(duì),必要時(shí)需要人工修正。
FAQ
1.報(bào)錯(cuò):Path to pg_config? /opt/software/openGauss/bin/pg_config
/opt/software/openGauss/bin/pg_config: error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory
環(huán)境自帶的是1.0.2,得升級(jí)libssl.so。
[root@oraclehost ~]# openssl version -a
OpenSSL 1.0.2k-fips 26 Jan 2017
yum remove openssl
獲取新的版本并安裝
wget https://www.openssl.org/source/openssl-1.1.1c.tar.gz
tar -zxvf openssl-1.1.1c.tar.gz
cd openssl-1.1.1c
./config --prefix=/usr/local/openssl #如果此步驟報(bào)錯(cuò),需要安裝perl以及gcc包
make && make install
ln -s /usr/local/openssl/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1
ln -s /usr/local/openssl/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1
ln -s /usr/local/openssl/bin/openssl /usr/bin/openssl
ln -s /usr/local/openssl/include/openssl /usr/include/openssl
echo "/usr/local/openssl/lib" >> /etc/ld.so.conf
ldconfig -v
sudo yum install postgresql-devel
再重新執(zhí)行 perl -MCPAN -e 'install DBD::Pg'
2、perl 報(bào)錯(cuò) Can’t locate JSON.pm in @INC
解決:
sudo perl -MCPAN -e ‘install JSON’
3、如何查看Oracle 的SID ?
SQL> select instance_name from V$instance;
4、執(zhí)行 ora2pg -t SHOW_VERSION -c ora2pg.conf 報(bào)錯(cuò)
FATAL: -1 … ERROR OCIEnvNlsCreate. Check ORACLE_HOME (Linux) env var or PATH (Windows) and or NLS settings, permissions, etc.
Aborting export…
Export $ORACLE_HOME了半天,發(fā)現(xiàn)原來(lái)是 ora2pg.conf 里面配置的ORACLE_HOME 不對(duì)
5、執(zhí)行ora2pg -t SHOW_VERSION -c ora2pg.conf報(bào)錯(cuò)
FATAL: 12505 … ORA-12505: TNS:listener does not currently know of SID given in connect descriptor (DBD ERROR: OCIServerAttach)
Aborting export…
解決辦法 SID配置有問(wèn)題 或者 /etc/hosts有問(wèn)題。參考下面連接解決
https://www.shuzhiduo.com/A/6pdDw0bl5w/
6、執(zhí)行 ora2pg -t SHOW_VERSION -c config/ora2pg.conf 報(bào)錯(cuò)
install_driver(Oracle) failed: Can’t load ‘/usr/local/lib64/perl5/auto/DBD/Oracle/Oracle.so’ for module DBD::Oracle: libclntsh.so.11.1: cannot open shared object file: No such file or directory at /usr/lib64/perl5/DynaLoader.pm line 190.
解決辦法
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
7、執(zhí)行 ora2pg -t SHOW_VERSION -c ora2pg.conf報(bào)錯(cuò)
FATAL: ORA-08178: illegal SERIALIZABLE clause specified for user INTERNAL (DBD ERROR: OCIStmtExecute)
解決辦法:
不要使用sys用戶,使用普通oracle用戶(沒有可新建),然后修改 ora2pg.conf中的用戶名和密碼
8、執(zhí)行sh import_all.sh -d mydb -o tuser -h IP -p 5432 -f 提示Out of memory , 但是top顯示還有1G多。
解決辦法:
Opened ./config/ora2pg.conf and modfied set DATA_LIMIT 5000 or 2500 solved the issue.
9、報(bào)錯(cuò):DBD::Pg::db do failed: ERROR: permission denied for relation xxx
解決辦法:
需要給openGauss的角色賦權(quán)限
mydb=# grant all privileges to tuser;
10、報(bào)錯(cuò):
DBI connect(‘dbname=mydb;host=openGaussIP;port=5432’,‘testuser’,…) failed: connection to server at “openGaussIP”, port 5432 failed: none of the server’s SASL authentication mechanisms are supported at /opt/software/ora2pg/lib
解決辦法:
這個(gè)錯(cuò)是openGauss返回的。需要把openGauss的pg_hba.conf & postgres.conf再搞下。
修改 data/single_node/postgresql.conf 中password_encryption_type = 1 。
修改pg_hba.conf 中
然后重啟openGauss:gs_ctl restart -D /opt/software/openGauss/data/single_node文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-405172.html
??如果您覺得博主的文章還不錯(cuò)或者有幫助的話,請(qǐng)關(guān)注一下博主,如果三連點(diǎn)贊評(píng)論收藏就更好啦!謝謝各位大佬給予的支持!文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-405172.html
到了這里,關(guān)于【數(shù)據(jù)庫(kù)遷移系列】從Oracle遷移到openGauss實(shí)戰(zhàn)分享的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!