Informatica10.2與GaussDB A8.0對接

Informatica10.2與GaussDB A8.0對接方法

1. Informatica 通過插件與GaussDB對接

1.1 了解 PowerExchange for GaussDB A

PowerExchange for GaussDB A是由GaussDB A 提供的可在ETL工具PowerCenter上使用的插件，可實現數據的快速導入。

本插件可以將PowerCenter處理好的數據快速導入GaussDB A 8.0數據庫。主要原理是把 PowerCenter處理數據寫入本地管道，通過調用gaussload工具啟動GDS服務，然后將管 道數據傳輸至GaussDB A數據庫DN端，實現了數據快速導入。

本文檔主要介紹Informatica PowerCenter安裝和使用。此文檔適用于具備數據裝載權限 的數據庫管理和開發人員，且假設您已掌握以下基本知識：數據庫基本理論、 GaussDB A 8.0和PowerCenter使用方法。

1.2 安裝 PowerExchange for GaussDB A 8.0

1.2.1 安裝準備

插件名稱：

GaussDB-8.0.0-REDHAT-x86_64bit-Informatica-plugin.tar.gz

GaussDB-8.0.0-REDHAT-x86_64bit-gauss-loader.tar.gz

插件位置：

FusionInsight_MPPDB_8.0.0_RHEL.tar.gz安裝包中，FusionInsight_MPPDB/software/components/package/package路徑下。

軟件環境要求：

Linux操作系統：支持SUSE Linux Enterprise Server 11 SP1/SP2, x86_64，Redhat，centos。

PowerCenter版本：10.2。 工具：必須為系統自帶Python2.6版本。

前提條件

本地已成功安裝PowerCenter server組件。

PowerCenter client端已配置GaussDB A 8.0 ODBC驅動（配置方法見后面章節）。

用戶對/server/bin目錄具有讀寫執行權限。

需要提前安裝gaussload工具，安裝步驟如下：

步驟1：進入gaussload解壓目錄，執行bash install_gaussload.sh。

步驟2：配置環境變量GAUSS_LOADERS，將$GAUSS_LOADERS/bin加到PATH環境變量中，export PATH=$GAUSS_LOADERS/bin:$PATH。

1.2.2安裝步驟

步驟1 在Informatica Server主機上，解壓GaussDB-8.0.0-REDHAT-x86_64bit-Informatica-plugin.tar.gz文件，執行bash install.sh命令，提示安裝成功。

步驟2 打開Informatica的B/S管理端"Informatica Administrator"，使用域口令登錄。

說明 該管理端的入口在Informatica Server的安裝過程中會有提示。一般的URL為： http://10.119.31.38:6008，其中IP地址為Informatica Server所在IP，端口默認為6008。如果在安裝 過程中使用的是自定義端口，這里請做相應修改。

步驟3 找到需要配置的PowerCenter存儲庫服務，在屬性頁面找到“存儲庫屬性”，點擊修 改，如下圖。

步驟4 將PowerCenter的存儲庫操作模式調整為“獨占”模式，這將會重啟存儲庫，請注意。

步驟5 待存儲庫重啟完成后，轉到插件頁面，點擊添加插件圖標，如下圖：

步驟6 在彈出的“PowerCenter存儲庫服務注冊插件”頁面，選擇步驟1中GaussDB-8.0.0-REDHAT-x86_64bit-Informatica-plugin.tar.gz解壓出的插件文件 GaussDB_Kernel_Connector.xml

說明：如果之前注冊過該插件，請勾選“更新現有插件注冊”，并請同步更新Informatica Server的插件安裝包，執行install.sh腳本，見步驟1。

步驟7 按照之前的步驟，重新將存儲庫服務的操作模式，調整為“普通”，重啟存儲庫服務，完成。

----結束

1.2.3 使用 PowerExchange for GaussDB A

當需要通過PowerCenter向GaussDB A 8.0導入數據時，可以利用PowerExchange for GaussDB A組件實現數據快速導入。

操作步驟

步驟1 導入GaussDB A 8.0目標表。

用戶可以在設計階段從GaussDB A 8.0數據庫導入目標表，PowerCenter會做數據類型轉換，將原始數據類型轉換為ODBC數據類型。

1、點擊源或目標，選擇從數據庫導入，添加GaussDB A 8.0與數據庫的DSN連接。

2、選擇"PostgreSQL Unicode"選項，點擊完成進入"PostgreSQL ANSI ODBC Driver(psqlODBC) Setup"窗口，填寫用戶名、密碼，連接GaussDB A 8.0

3、配置好數據源后，選擇相應ODBC數據源，輸入用戶名、密碼等信息，點擊連接，空白窗口顯示表信息，選擇要導入的源表或目標表

步驟2? 配置PowerExchange for GaussDB A 8.0連接

1、單擊連接，選擇關系，顯示關系連接瀏覽器窗口

2、單擊“新建”，選擇PWX GaussMPP，選中確定進入連接對象定義窗口，將跳轉至鏈接配置信息頁面

3、輸入連接配置信息，詳細內容請參見表1-1

表 1-1 PowerExchange for GaussDB A 8.0 連接屬性

步驟3? 配置PowerExchange for GaussDB A 8.0會話(Session)屬性。 用戶可以在映射(Mapping)窗口設置Session屬性，配置信息如表1-2所示

表 1-2 PowerExchange for GaussDB A 8.0 會話(Session)屬性

----結束 參數配置成功后，可以執行導入操作，具體使用方法參考參照《PowerCenter用戶指 南》文檔。

2. Informatica通過ODBC方式連接GaussMPP

2.1 Informatica版本

Informatica Server版本：

2.2? 配置ODBC驅動

Informatica利用ODBC方式連接GaussMPP，需要分別配置server端及client端。

2.2.1 server端配置GaussMPP odbc驅動

步驟1? 從unixODBC官方網站下載unixODBC-2.3.0.tar.gz，解壓、編譯、安裝；

tar zxvf unixODBC-2.3.0.tar.gz

./configure

make && make install

步驟2? 從FusionInsight_MPPDB_8.0.0_RHEL.tar.gz安裝包的解壓文件的路徑FusionInsight_MPPDB/software/components/package/package下。得到GaussDB-8.0.0-REDHAT-x86_64bit-Odbc.tar.gz驅動包，解壓得到psqlodbcw.la, psqlodbcw.so兩個文件；

步驟3? 以上package路徑下解壓GaussDB-8.0.0-REDHAT-x86_64bit-Libpq.tar.gz得到libpq的lib文件；

步驟4? 將$Informatica_intall/ODBC7.1/lib/備份為$Informatica_intall/ODBC7.1/lib.bak，重新建立$Informatica_intall/9.6.1/ODBC7.1/lib/目錄，將unixODBC安裝得到的/usr/local/lib/libodbc.so.1.0.0、so.1.0.0及libpq.so拷貝到$Informatica_install/ODBC7.1/lib/目錄中，將步驟2解壓得到的psqlodbcw.la、psqlodbcw.so拷貝到$Informatica_install/ODBC7.1/lib/目錄中。(其實無需備份，直接拷貝到ODBC7.1/lib目錄即可)。

將/usr/local/lib目錄下的libodbc.so.2.0.0和libodbcinst.so.2.0.0拷貝到$Informatica_intall/9.6.1/ODBC7.1/lib/目錄中。（/usr/local/lib目錄下若沒有可搜索系統中其他位置是否有）。

步驟5? 修改$Informatica_intall /ODBC7.1/ini文件，添加如下（按照實際填寫）：

2.2.2? 客戶端配置GaussMPP odbc驅動

步驟1? 從FusionInsight_MPPDB_8.0.0_RHEL.tar.gz安裝包的解壓文件的路徑FusionInsight_MPPDB/software/components/package/package下。得到GaussDB-8.0.0-Windows-Odbc.tar.gz驅動包，解壓后安裝psqlodbc.msi文件和psqlodbc_x64.msi文件，安裝psqlODBC成功

步驟2? 配置驅動，win64位系統需配置C:\Windows\SysWOW64\odbcad32.exe文件，系統32位系統需配置C:\Windows\System32\odbcad32.exe文件，添加mppdb驅動。

點擊Test測試連接是否成功。

步驟3? PowerCenter 客戶端工具在通過ODBC方式連接到GaussMPP數據庫時，可以連接，但是出現以下兩處警告，如下圖所示：

消除以下兩處警告；修改D:\Informatica.6.1\clients\PowerCenterClient\client\bin\powrmart.ini，在[ODBCDLL]中添加條目：PostgreSQL=extodbc.dll

2.3? 從oracle向gaussmpp中導入數據

步驟1 repository manager中創建ORACLE_TO_MPP文件夾；

步驟2? 在designer中創建源、目標和Mapping

源使用oracle數據庫中的bi_source的emp表

目標指定到mpp中的tmp表

需要提前在mpp中創建空白表

步驟3? workflow中指定目標emp的關系連接編輯器，連接字符串連接為gaussdb，與ini文件中名稱一致；

步驟4? 執行會話，結果顯示成功, workflow monitor顯示如圖：

步驟5? 確認oracle中dept表的數據

步驟6? 查看MPP中tmp表的數據

步驟7? 使用Informatica的測試工具，一直是等待狀態，沒有其他提示

補充：

客戶端如果與服務端不在同一機器上時，客戶端(windows)需要安裝msi文件，win64位系統需配置C:\Windows\SysWOW64\odbcad32.exe文件，系統32位系統需配置C:\Windows\System32\odbcad32.exe文件，添加mppdb驅動。

服務端需配置mpp odbc驅動，所需文件，其中libpq必須，不能缺少；

指定源和目標時，目標無需從數據庫導入，只要從源數據創建就可以。源使用oracle數據庫中的scott的dept表，目標指定到mpp中的dept表，需要提前在mpp中創建空白表。

3. 遇到過的問題：

1、1.2.3中步驟2中無法看到PWX GaussMPP的插件。

解決方法：1.2.2中，卸載其他插件，只安裝Gauss的插件后，可以在1.2.3的步驟2中看到該插件。

附件： Informatica10.2與GaussDB A8.0對接_20210101.docx 3.80MB 下載次數：0次

EI企業智能 Gauss AP 數據倉庫服務 GaussDB(DWS)

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。