隨著電信市場的開放，競爭將越來越激烈。利潤的降低使得必須從粗放的經(jīng)營轉(zhuǎn)變到集約的經(jīng)營，同時(shí)經(jīng)營決策需要盡可能多的定量的依據(jù)和盡可能快的速度。所有這些需要技術(shù)上的支持----數(shù)據(jù)倉庫和數(shù)據(jù)挖掘廣東省電信科學(xué)技術(shù)研究院是華南地區(qū)通信技術(shù)支持及科研開發(fā)的最高技術(shù)部門，圍繞保障通信大網(wǎng)運(yùn)行安全、高效和通信市場的需求而進(jìn)行系統(tǒng)維護(hù)支持、網(wǎng)管系統(tǒng)開發(fā)、多媒體研究、網(wǎng)絡(luò)技術(shù)與市場研究、計(jì)費(fèi)系統(tǒng)研究與開發(fā)、人員培訓(xùn)和計(jì)量檢測等七個(gè)方面的工作。研究院目前擁有一支900多人的年富力強(qiáng)、實(shí)力雄厚的研發(fā)隊(duì)伍。

　　　　研究院開發(fā)的Thinker-BC2000多媒體網(wǎng)綜合系統(tǒng)是一套統(tǒng)一的綜合業(yè)務(wù)管理系統(tǒng)。它為電信運(yùn)營商以及各級(jí)ISP提供一個(gè)穩(wěn)定而靈活的業(yè)務(wù)支撐平臺(tái)。該平臺(tái)能夠提供所有的多媒體數(shù)據(jù)通信基本業(yè)務(wù)及各種增值服務(wù)，該平臺(tái)具備極強(qiáng)的可擴(kuò)展性，具備快速的新業(yè)務(wù)生成、推廣能力。系統(tǒng)能夠靈活地定義各項(xiàng)服務(wù)的資費(fèi)政策，及各項(xiàng)業(yè)務(wù)的捆綁銷售優(yōu)惠策略，并對(duì)各項(xiàng)服務(wù)提供準(zhǔn)確、實(shí)時(shí)的計(jì)費(fèi)功能。其中的數(shù)據(jù)倉庫決策支持系統(tǒng)是基于Sybase的數(shù)據(jù)倉庫解決方案開發(fā)的。業(yè)務(wù)經(jīng)營決策者可以利用這個(gè)系統(tǒng)快速準(zhǔn)確地了解到各項(xiàng)業(yè)務(wù)的發(fā)展情況、為進(jìn)一步的決策支持工作提供堅(jiān)實(shí)的基礎(chǔ)。

　　　　2需求主要特點(diǎn)　

　數(shù)據(jù)量龐大目前，廣東公眾多媒體通信網(wǎng)撥號(hào)用戶總數(shù)已達(dá)到70萬。根據(jù)業(yè)務(wù)需求分析，廣東省163/169網(wǎng)到2002年底的用戶總數(shù)將達(dá)到800萬以上，其中撥號(hào)注冊(cè)用戶達(dá)400萬，主叫用戶300萬，卡用戶100萬，專線用戶也將達(dá)到1以上。在這些大量的數(shù)據(jù)背后隱藏著許多重要的信息。

　　業(yè)務(wù)結(jié)構(gòu)復(fù)雜系統(tǒng)的最終用戶是電信內(nèi)部的各個(gè)部門，因此最終用戶的需求不盡相同。經(jīng)常變化業(yè)務(wù)策略不斷變化。表現(xiàn)為資費(fèi)政策的不斷變化?！?/p>

　3方案介紹

　　Thinker-BC2000多媒體網(wǎng)綜合業(yè)務(wù)管理系統(tǒng)的數(shù)據(jù)倉庫系統(tǒng)模型如下圖所示：　

　　　　　3.1系統(tǒng)軟件平臺(tái)

　　數(shù)據(jù)倉庫的實(shí)施是一個(gè)相當(dāng)復(fù)雜的過程，主要包括五個(gè)部分的內(nèi)容：數(shù)據(jù)倉庫的設(shè)計(jì)建模、數(shù)據(jù)轉(zhuǎn)換與集成、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)的分析和展現(xiàn)和數(shù)據(jù)倉庫的維護(hù)和管理。

　　　　Sybase提供了覆蓋整個(gè)數(shù)據(jù)倉庫建立周期的一套完整的產(chǎn)品包：Warehouse Studio，它包括數(shù)據(jù)倉庫的建模、數(shù)據(jù)集成和轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)和管理、元數(shù)據(jù)管理和數(shù)據(jù)可視化分析等產(chǎn)品。以下說明了我們是如何結(jié)合Sybase的產(chǎn)品來做數(shù)據(jù)倉庫的設(shè)計(jì)與開發(fā)?！　?shù)據(jù)倉庫的設(shè)計(jì)、建?！　?shù)據(jù)倉庫的設(shè)計(jì)工作對(duì)于決策支持系統(tǒng)起著至關(guān)重要的作用，它需要根據(jù)決策需求確定主題，從數(shù)據(jù)源到數(shù)據(jù)提交，對(duì)數(shù)據(jù)倉庫的數(shù)據(jù)組織進(jìn)行邏輯結(jié)構(gòu)的設(shè)計(jì)，還要按照業(yè)務(wù)用戶最能理解的方式組織和提供信息。

　　　　在這個(gè)階段，我們使用了PowerDesigner WarehouseArchitect。WarehouseArchitect是個(gè)高度優(yōu)化的數(shù)據(jù)庫工具，廣泛用于數(shù)據(jù)源的逆向工程、建模、數(shù)據(jù)倉庫方案設(shè)計(jì)，以適應(yīng)每個(gè)業(yè)務(wù)需求。通過對(duì)邏輯設(shè)計(jì)、物理設(shè)計(jì)和應(yīng)用建模進(jìn)行集成，WarehouseArchitect方便了數(shù)據(jù)倉庫的開發(fā)和實(shí)現(xiàn)?！?/p>

　數(shù)據(jù)轉(zhuǎn)換與集成

　　在進(jìn)行數(shù)據(jù)倉庫的建立時(shí)，最大的挑戰(zhàn)之一是如何將原始業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為一致的格式，使之更好地為決策支持服務(wù)。這包括對(duì)已有數(shù)據(jù)的準(zhǔn)確性和一致性進(jìn)行檢驗(yàn)、凈化，將數(shù)據(jù)進(jìn)行轉(zhuǎn)化、提取、轉(zhuǎn)換、裝載到數(shù)據(jù)集市或數(shù)據(jù)倉庫以及對(duì)其進(jìn)行定期更新和管理。PowerMart作為數(shù)據(jù)抽取工具，從各種異夠的數(shù)據(jù)源中抽取數(shù)據(jù)，在數(shù)據(jù)抽取過程，用戶可以根據(jù)不同的抽取階段，靈活定制各種數(shù)據(jù)抽取流程，并定時(shí)地將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

　　　　PowerMart是一個(gè)集成的軟件產(chǎn)品套件,用于建造和管理數(shù)據(jù)集市和分析應(yīng)用。PowerMart交付了一個(gè)開放的可伸縮的解決方案，主要定位于數(shù)據(jù)集市完整的生命周期和分析應(yīng)用開發(fā)及產(chǎn)品化的管理，能夠支持多種平臺(tái)上快速變化的大量數(shù)據(jù)作為數(shù)據(jù)來源，進(jìn)行復(fù)雜的轉(zhuǎn)換處理以及支持高速的數(shù)據(jù)加載。其metadata repository能夠協(xié)調(diào)并驅(qū)動(dòng)一系列的核心功能，包括抽取、轉(zhuǎn)換、加載和管理等?！?/p>

　　　PowerMart的圖形化用戶接口幫助數(shù)據(jù)倉庫管理人員很容易的設(shè)計(jì)復(fù)雜的source-to-target的映射，然后可以由PowerMart強(qiáng)大的服務(wù)器來自動(dòng)地執(zhí)行。

　　數(shù)據(jù)存儲(chǔ)與管理

　　數(shù)據(jù)倉庫的存儲(chǔ)可以選用多維數(shù)據(jù)庫，也可以選用關(guān)系型數(shù)據(jù)庫或其它特殊的存儲(chǔ)方式。數(shù)據(jù)的存儲(chǔ)要保證數(shù)據(jù)的安全性、完整性、一致性，同時(shí)還要具有復(fù)雜的分析查詢的高效性。

　　　　我們選用了Sybase的數(shù)據(jù)倉庫產(chǎn)品Adaptive Server IQ。Adaptive Server IQ是一個(gè)關(guān)系型數(shù)據(jù)庫，為高性能決策支持和數(shù)據(jù)倉庫的建立而進(jìn)行了優(yōu)化。IQ中的關(guān)鍵技術(shù)是縱向數(shù)據(jù)存儲(chǔ)（通過列而不是通過行來進(jìn)行）、Bit-Wise查詢索引和數(shù)據(jù)壓縮。

　　數(shù)據(jù)分析和展現(xiàn)　

　聯(lián)機(jī)分析處理(OLAP)是一個(gè)分析處理技術(shù)，它從企業(yè)的數(shù)據(jù)集合中收集信息，并運(yùn)用數(shù)學(xué)運(yùn)算和數(shù)據(jù)處理技術(shù)，靈活、交互式地提供統(tǒng)計(jì)、趨勢分析和預(yù)測報(bào)告。通過多種OLAP工具對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維分析、匯總，形成圖表或報(bào)表的形式，使決策者可以清晰、直觀地看到分析結(jié)果，這正是數(shù)據(jù)倉庫系統(tǒng)所要達(dá)到的目的?！?/p>

　　　數(shù)據(jù)倉庫的開發(fā)應(yīng)用主要有結(jié)構(gòu)設(shè)計(jì)、數(shù)據(jù)集中組織和管理、數(shù)據(jù)的快速高效訪問等。其中數(shù)據(jù)的訪問一般都是由較為成熟的業(yè)務(wù)智能工具完成，因此不同于OLTP系統(tǒng)，數(shù)據(jù)倉庫系統(tǒng)的前端開發(fā)編程量是比較小的，但是其維護(hù)工作的時(shí)間跨度要大，因?yàn)闆Q策支持應(yīng)用的隨意性較強(qiáng)，不可能再象業(yè)務(wù)系統(tǒng)那樣固定一個(gè)統(tǒng)一的操作模式。

　　　　BusinessObjects作為較早進(jìn)入中國市場的業(yè)務(wù)智能提供商，其產(chǎn)品操作精簡、功能豐富，并且有直觀易懂的前端展現(xiàn)元數(shù)據(jù)管理部分，在這個(gè)解決方案中與IQ的高速查詢效率相得益彰。

　　數(shù)據(jù)倉庫的維護(hù)和管理

　　元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，能夠表示、定義數(shù)據(jù)的意義及系統(tǒng)各組成部件之間的關(guān)系的數(shù)據(jù)，它包括關(guān)鍵字、屬性、數(shù)據(jù)描述、物理數(shù)據(jù)結(jié)構(gòu)、源數(shù)據(jù)結(jié)構(gòu)、映射及轉(zhuǎn)換規(guī)則、綜合算法、代碼、缺省值、安全要求及數(shù)據(jù)時(shí)限等。管理好元數(shù)據(jù)是管理數(shù)據(jù)倉庫的關(guān)鍵。

　　　　Sybase的Warehouse Control Center通過對(duì)元數(shù)據(jù)倉庫的集中管理，提供了數(shù)據(jù)倉庫解決方案的保證技術(shù)。從設(shè)計(jì)和開發(fā)到實(shí)現(xiàn)到最終用戶訪問，由工具和數(shù)據(jù)庫產(chǎn)生的對(duì)元數(shù)據(jù)的密集型集成和管理保證了真正企業(yè)級(jí)數(shù)據(jù)倉庫的建立。Warehouse Control Center是基于Intellidex技術(shù)的為數(shù)據(jù)倉庫開發(fā)人員提供的數(shù)據(jù)倉庫元數(shù)據(jù)管理工具，能夠在數(shù)據(jù)倉庫環(huán)境下進(jìn)行數(shù)據(jù)采集、捕捉、存儲(chǔ)、管理和發(fā)布邏輯的、物理的以及上下文相關(guān)的信息，而不用去管它的物理存儲(chǔ)位置是在聯(lián)合數(shù)據(jù)倉庫上、分布式數(shù)據(jù)倉庫上還是二者兼有。業(yè)務(wù)用戶可以瀏覽根據(jù)其需求而生成的元數(shù)據(jù)對(duì)象，甚至可以使用發(fā)布和登記性能請(qǐng)求或選擇附加性能。

　　　　3.2系統(tǒng)硬件平臺(tái)　

　數(shù)據(jù)倉庫服務(wù)器：

　　sunE5500 / 8 cpu/4G RAM/18G硬盤運(yùn)行Sybase IQ?！?/p>

　數(shù)據(jù)遷移服務(wù)器：　　IBM Netfinity7600 intel PIII550