利用中間件技術(shù)進行數(shù)據(jù)集成

feiyang10086

利用中間件技術(shù)進行數(shù)據(jù)集成

1. 數(shù)據(jù)集成的需求

繼系統(tǒng)集成、應(yīng)用集成、業(yè)務(wù)集成之后，最頭痛的數(shù)據(jù)集成（Data Integration 簡稱DI）已漸被各大企業(yè)（政府機關(guān)）紛紛觸及。業(yè)務(wù)增長迫使企業(yè)必須提高其自身的 IT 能力，以滿足變化的業(yè)務(wù)需求。引入一些新的應(yīng)用程序以支持這種新型的需求。以新的方式對現(xiàn)有的信息進行處理和分析，以便更好地把握關(guān)鍵性的業(yè)務(wù)挑戰(zhàn)。有些企業(yè)并購了其他的企業(yè)，進一步地加速了它們在新的領(lǐng)域中的增長。遺憾的是，信息/數(shù)據(jù)方面卻不能始終以一種受到嚴(yán)格控制和有組織的方式發(fā)展，以支持這種增長。因此出現(xiàn)了冗余和不一致的信息孤島。

為了能夠在特定的領(lǐng)域中實現(xiàn)最高的效率，對于相同的數(shù)據(jù)，不同的應(yīng)用程序以不同的方式進行表示。例如，大多數(shù)企業(yè)不會只將客戶信息存儲在某一個地方。如果不清楚應(yīng)該從何處獲取相應(yīng)的信息，以及哪個系統(tǒng)中保存著最新的并且最精確的信息，那么這就會成為一個很大的問題。如果不清楚這些問題的答案，就不可能實現(xiàn)返回一致的用戶相關(guān)信息的服務(wù)。我們從客戶關(guān)系系統(tǒng)中取得的聯(lián)系電話與銷售系統(tǒng)中的不一致，而實際上呼叫中心存放的才是最新的、正確的聯(lián)系電話，這是許多企業(yè)經(jīng)常遇到的問題。

不同行業(yè)企業(yè)的業(yè)務(wù)需求會表現(xiàn)出來具有很大的差異，但是潛在的信息需求卻是基本相同的—-都需要集成的、最近的、詳細的數(shù)據(jù)以及進行即時的存取操作。我們企業(yè)信息化過程中，常常面臨著下面的情景：

我們所在的企業(yè)并購了其它企業(yè)，那么就會產(chǎn)生數(shù)據(jù)合并的問題，如兩個企業(yè)的HR系統(tǒng)的合并、財務(wù)系統(tǒng)的合并、其它業(yè)務(wù)系統(tǒng)的合并，當(dāng)系統(tǒng)需要合并必然產(chǎn)生數(shù)據(jù)的合并，因此對企業(yè)數(shù)據(jù)進行統(tǒng)一標(biāo)準(zhǔn)化、規(guī)范化、數(shù)據(jù)的補缺、數(shù)據(jù)的一致性都將導(dǎo)致數(shù)據(jù)合并。這就是數(shù)據(jù)合并應(yīng)用問題，需要利用數(shù)據(jù)集成技術(shù)去解決。

當(dāng)企業(yè)一個系統(tǒng)的業(yè)務(wù)活動會影響其它多個系統(tǒng)的進程時，數(shù)據(jù)的實時性、準(zhǔn)確性就尤顯重要。如航空公司與航空機場之間的數(shù)據(jù)同步、證券交易所與證券公司之間的股票信息同步、金融業(yè)的匯率信息同步等等。影響數(shù)據(jù)同步的實時性與可靠性的因素會有網(wǎng)絡(luò)的連通性、傳輸效率、數(shù)據(jù)接口、數(shù)據(jù)格式等，這些諸多因素都屬于數(shù)據(jù)集成中的數(shù)據(jù)同步要解決的問題。這是數(shù)據(jù)同步應(yīng)用問題，也需要利用數(shù)據(jù)集成技術(shù)去解決。

一般來講，構(gòu)成企業(yè)主要的基礎(chǔ)數(shù)據(jù)分別是客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、員工信息數(shù)據(jù)、供應(yīng)商數(shù)據(jù)等等，要從企業(yè)多個系統(tǒng)中快速、可靠地建立唯一、完整的企業(yè)主數(shù)據(jù)視圖。要實現(xiàn)企業(yè)主數(shù)據(jù)管理應(yīng)用的數(shù)據(jù)集成平臺，必須具備有良好的數(shù)據(jù)連通性、良好的數(shù)據(jù)質(zhì)量探查與分析、良好的數(shù)據(jù)轉(zhuǎn)換能力等。利用數(shù)據(jù)集成技術(shù)同樣可以解決這里所講的數(shù)據(jù)交換應(yīng)用問題。

那么采取怎樣的技術(shù)框架和產(chǎn)品去解決我們上述問題呢？這正是我們下面要重點討論的問題。

2. 數(shù)據(jù)集成技術(shù)分類

數(shù)據(jù)集成是把不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。在企業(yè)數(shù)據(jù)集成領(lǐng)域，已經(jīng)有了很多成熟的框架可以利用。目前通常采用聯(lián)邦式、數(shù)據(jù)倉庫和基于中間件模型等方法來構(gòu)造數(shù)據(jù)集成的系統(tǒng)，這些技術(shù)在不同的著重點和應(yīng)用上解決數(shù)據(jù)共享問題。

聯(lián)邦數(shù)據(jù)庫系統(tǒng)(FDBS)由半自治數(shù)據(jù)庫系統(tǒng)構(gòu)成，相互之間分享數(shù)據(jù)，聯(lián)盟各數(shù)據(jù)源之間相互提供訪問接口，同時聯(lián)盟數(shù)據(jù)庫系統(tǒng)可以是集中數(shù)據(jù)庫系統(tǒng)或分布式數(shù)據(jù)庫系統(tǒng)及其他聯(lián)邦式系統(tǒng)。在這種模式下又分為緊耦合和松耦合兩種情況，緊耦合提供統(tǒng)一的訪問模式，一般是靜態(tài)的，在增加數(shù)據(jù)源上比較困難;而松耦合則不提供統(tǒng)一的接口，但可以通過統(tǒng)一的語言訪問數(shù)據(jù)源，其中核心的是必須解決所有數(shù)據(jù)源語義上的問題。

數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的和不可修改的數(shù)據(jù)集合。其中，數(shù)據(jù)被歸類為廣義的、功能上獨立的、沒有重疊的主題。這幾種方法在一定程度上解決了應(yīng)用之間的數(shù)據(jù)共享和互通的問題，但也存在以下的異同:聯(lián)邦數(shù)據(jù)庫系統(tǒng)主要面向多個數(shù)據(jù)庫系統(tǒng)的集成，其中數(shù)據(jù)源有可能要映射到每一個數(shù)據(jù)模式，當(dāng)集成的系統(tǒng)很大時，對實際開發(fā)將帶來巨大的困難。

中間件模式通過統(tǒng)一的全局?jǐn)?shù)據(jù)模型來訪問異構(gòu)的數(shù)據(jù)庫、遺留系統(tǒng)、Web 資源等。中間件位于異構(gòu)數(shù)據(jù)源系統(tǒng)(數(shù)據(jù)層) 和應(yīng)用程序(應(yīng)用層) 之間，向下協(xié)調(diào)各數(shù)據(jù)源系統(tǒng)，向上為訪問集成數(shù)據(jù)的應(yīng)用提供統(tǒng)一數(shù)據(jù)模式和數(shù)據(jù)訪問的通用接口。各數(shù)據(jù)源的應(yīng)用仍然完成它們的任務(wù)，中間件系統(tǒng)則主要集中為異構(gòu)數(shù)據(jù)源提供一個高層次檢索服務(wù)。

3. 基于中間件模型進行數(shù)據(jù)集成

中間件模式是目前比較流行的數(shù)據(jù)集成方法，它通過在中間層提供一個統(tǒng)一的數(shù)據(jù)邏輯視圖來隱藏底層的數(shù)據(jù)細節(jié)，使得用戶可以把集成數(shù)據(jù)源看為一個統(tǒng)一的整體。這種模型下的關(guān)鍵問題是如何構(gòu)造這個邏輯視圖并使得不同數(shù)據(jù)源之間能映射到這個中間層。

面向服務(wù)的體系結(jié)構(gòu)(SOA)目前應(yīng)該是一個很受歡迎的名詞，中間件技術(shù)人員幾乎到了言必稱SOA的程度，數(shù)據(jù)集成當(dāng)然也不例外。許多企業(yè)正采用面向服務(wù)的體系結(jié)構(gòu) (SOA) 來處理各種各樣的問題，如減少數(shù)據(jù)集成的成本、優(yōu)化現(xiàn)有信息的重用和功能。常見的做法是，在中間件層上進行數(shù)據(jù)的加工整合，同時通過中間件層的標(biāo)準(zhǔn)接口將整合后的數(shù)據(jù)以標(biāo)準(zhǔn)接口發(fā)布，如下圖所示。



在中間層上存在一個虛擬的在中間層上存在一個虛擬的數(shù)據(jù)服務(wù)層，該層通過JDBC，F(xiàn)ILE適配器、應(yīng)用適配器等與數(shù)據(jù)層的各種數(shù)據(jù)源實現(xiàn)連接，將數(shù)據(jù)源中的各種數(shù)據(jù)實體映射成中間件的虛擬數(shù)據(jù)層的表，虛擬數(shù)據(jù)層中的表都只有元數(shù)據(jù)，而不存儲實際的生產(chǎn)數(shù)據(jù)。用戶可以在虛擬數(shù)據(jù)層上采用可視化圖形界面定義數(shù)據(jù)映射關(guān)系，進行數(shù)據(jù)加工整合，這些數(shù)據(jù)加工邏輯一般會以文件或者數(shù)據(jù)庫方式存儲。定義好的數(shù)據(jù)可以通過web service，JDBC,數(shù)據(jù)對象等多種方式發(fā)布出去。當(dāng)用戶通過中間件訪問虛擬數(shù)據(jù)層的數(shù)據(jù)時，虛擬數(shù)據(jù)層會根據(jù)系統(tǒng)定義的邏輯首先將需要加工的細節(jié)數(shù)據(jù)從各個數(shù)據(jù)源抽取到虛擬數(shù)據(jù)層，然后中間件根據(jù)設(shè)計時的數(shù)據(jù)加工邏輯對其進行加工，最后中間件將加工好的數(shù)據(jù)以調(diào)用接口要求的格式返回。

具體來講，在企業(yè)數(shù)據(jù)集成項目上如何利用中間件技術(shù)解決數(shù)據(jù)集成問題呢？在我經(jīng)歷過的項目中，我們采用Oracle的融合中間件來解決數(shù)據(jù)集成問題，效果良好。選用Oracle融合中間件而不是其它中間件的原因很多，幾個主要方面是：

（1）互操作性

即是否能使客戶能夠利用現(xiàn)有應(yīng)用程序或舊應(yīng)用程序并使其與新應(yīng)用程序交互，或?qū)⑹蛊錁I(yè)務(wù)與其他企業(yè)的業(yè)務(wù)進行交互，這是我們在具體項目中首要考慮的問題�；ゲ僮餍允窍� SOA 方向發(fā)展的推動力。Oracle 對行業(yè)和技術(shù)標(biāo)準(zhǔn)以及規(guī)范的支持實現(xiàn)了 Oracle 融合中間件的“可熱插撥”功能。

“可熱插撥”是指如何使 Oracle 融合中間件的組件與現(xiàn)有基礎(chǔ)架構(gòu)實現(xiàn)融合。例如，可以將 Oracle BPEL 流程管理器與 BEA WebLogic 或 IBM WebSphere 一起使用。此外，它還意味著可以輕松地將開放源代碼技術(shù)（如 Spring 或 Struts）與 Oracle 應(yīng)用服務(wù)器集成。我們可以通過設(shè)計一個獨特的類加載程序機制（使集成第三方技術(shù)變得更簡單）并使所有組件基于技術(shù)標(biāo)準(zhǔn)創(chuàng)建“可熱插撥”體系結(jié)構(gòu)。只有 Oracle 提供了此組合來創(chuàng)建一個真正的“可熱插撥”體系結(jié)構(gòu)。

（2）性能和可伸縮性

我覺得Oracle和其它中間件之間最大的區(qū)別之一就是Oracle的性能特別全面。你比較一下BEA，它就沒有身份管理、企業(yè)內(nèi)容管理這些功能，還有就是異購支持性，Oracle也是最全面的，比如融合中間件可以支持各種各樣的異購的環(huán)境。而有的中間件，你要用他們的中間件軟件的話，你必須要買他所有中間件的每一個產(chǎn)品，然后一個一個組裝起來。但是Oracle不是一樣的，Oracle中間件每一個產(chǎn)品都是可以應(yīng)用的，也可以用Oracle競爭對手的中間件。這樣就可以減少運行的成本并且為數(shù)據(jù)使用者確保最高的性能和可伸縮性。

（3）可重用性

在將數(shù)據(jù)整合模式應(yīng)用到特定集成場景（具體項目）后，可以將整合過程的結(jié)果作為服務(wù)提供給多個服務(wù)使用者。例如，在某個場景中可能需要集成來自多個區(qū)域的財務(wù)信息。在應(yīng)用了數(shù)據(jù)整合模式之后，可以將不同的數(shù)據(jù)整合到單個位置，然后通過財務(wù)儀表板對其進行公開。然后，信息服務(wù)可以利用相同的整合數(shù)據(jù)為其他使用者提供服務(wù)，如為標(biāo)準(zhǔn)申報應(yīng)用程序或面向客戶的 Web 應(yīng)用程序?qū)崿F(xiàn)自動化的過程。

對于這樣的應(yīng)用來說，Oracle融合中間件是理想選擇，它的熱插拔架構(gòu)和對行業(yè)標(biāo)準(zhǔn)的支持令客戶可以使用現(xiàn)有的、不同種類的資源來創(chuàng)建SOA。Oracle融合中間件的SOA組件包括Oracle SOA套件、Oracle服務(wù)總線、Oracle事件驅(qū)動的構(gòu)架套件、Oracle數(shù)據(jù)集成套件和Oracle業(yè)務(wù)流程管理套件；所有組件都提供了對Oracle與BEA技術(shù)的集成，展現(xiàn)了甲骨文在整合這兩家企業(yè)領(lǐng)先的軟件方面所獲得的迅速進展。

（4）ETL

數(shù)據(jù)集成視數(shù)據(jù)抽取、轉(zhuǎn)換和加載為最核心的三項技術(shù)，這三個執(zhí)行步驟可根據(jù)系統(tǒng)環(huán)境特點調(diào)整順序，典型的應(yīng)用有ELT的順序。如源與目標(biāo)為同種數(shù)據(jù)庫、或共用一個數(shù)據(jù)庫時，可將數(shù)據(jù)從源直接抽取到目標(biāo)然后再進行轉(zhuǎn)換，效率會大有提高，專注此類特點的產(chǎn)品以O(shè)racle的ODI為代表。

（5）數(shù)據(jù)連通

數(shù)據(jù)連通性是數(shù)據(jù)集成的能力體現(xiàn)，一般通用的關(guān)系型數(shù)據(jù)庫、ODBC、XML等數(shù)據(jù)連通為常見類型，還有一些就是大中型企業(yè)常用的ERP、CRM、BPM、OA等應(yīng)用軟件的數(shù)據(jù)連通，如SAP、Seibel、Lotus等系統(tǒng)的連通，因此良好的數(shù)據(jù)集成平臺需要提供來自更多企業(yè)的數(shù)據(jù)連通接口，抽取源與裝載目標(biāo)的范圍更廣闊。

Oracle融合中間件的SOA組件為Oracle電子商務(wù)套件、PeopleSoft、Siebel、J.D Edwards、Retek和iFlex等諸多產(chǎn)品提供了預(yù)先集成功能，有助于提高投資回報速度。

（6）數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量越來越被企業(yè)重視，通常實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理會包括源數(shù)據(jù)的探查、數(shù)據(jù)質(zhì)量的評估、數(shù)據(jù)集成、數(shù)據(jù)的完整和數(shù)據(jù)的監(jiān)控這五個步驟。在這里我們可以利用Oracle數(shù)據(jù)集成套件中提供的“Oracle數(shù)據(jù)質(zhì)量和剖析”功能（如數(shù)據(jù)剖析、基于規(guī)則的數(shù)據(jù)更正等）來實現(xiàn)。

（7）開發(fā)人員構(gòu)建應(yīng)用程序變得更簡單的標(biāo)準(zhǔn)

這是項目保質(zhì)按時完成的關(guān)鍵要素之一，而在這方面Oracle做了大量的工作。Oracle已經(jīng)成為 JCP、OASIS、WS-I、W3C、Liberty、OMG 以及其他標(biāo)準(zhǔn)組織的領(lǐng)導(dǎo)者，并制定了 50 多個新規(guī)范。Oracle正在 Eclipse （在我們的項目中開發(fā)人員采用的開發(fā)平臺）中領(lǐng)導(dǎo)開發(fā)項目，如 JavaServer Faces （JSF） Tooling、EntERPrise Java Beans （EJB） 3.0 Tooling 和 BPEL. “標(biāo)準(zhǔn)是 Oracle 針對 Oracle 融合中間件提出的構(gòu)想和產(chǎn)品策略的核心”

是否有標(biāo)準(zhǔn)能否使開發(fā)人員構(gòu)建應(yīng)用程序變得更簡單？以 Enterprise JavaBeans 為例。在該領(lǐng)域，通過 Oracle TopLink 提供了一些技術(shù)，這些技術(shù)最終可幫助定義一個標(biāo)準(zhǔn)方法以便用戶持久保存 Java 對象。其真正價值體現(xiàn)在它使構(gòu)建一個更高效的、支持?jǐn)?shù)據(jù)庫的 Java 應(yīng)用程序變得更簡單�，F(xiàn)在Oracle已經(jīng)將它作為一個專有特性，而將它放在 Oracle TopLink 中，就是為了向開發(fā)人員提供一個標(biāo)準(zhǔn)方法，以便他們可以通過使用這些服務(wù)來構(gòu)建 J2EE 應(yīng)用程序。

諸如以上ETL、數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、SOA等技術(shù)，這些都是保證數(shù)據(jù)集成平臺的可擴展性、安全性、高效性、簡便性的通用技術(shù)。也是我們在具體項目中選用Oracle融合中間一些重要因素，最終使我們的項目獲得圓滿成功。