1數(shù)據(jù)倉庫技術(shù)

1.1數(shù)據(jù)倉庫產(chǎn)生背景

應(yīng)用和技術(shù)的發(fā)展是相互作用的，一方面，現(xiàn)代社會的廣泛電子化、數(shù)字化提供了前所未有的、有待加工和處理的原始數(shù)據(jù)。就一個企業(yè)而占，這些數(shù)據(jù)量大約五年就可以增加一倍，另外，數(shù)據(jù)的形式也突破了傳統(tǒng)的數(shù)字和符號，包括原始商業(yè)文檔、多種圖形、圖像數(shù)據(jù)等，故許多企業(yè)、部門并不是缺少數(shù)據(jù)，而是常常被過分重復(fù)和不一致的數(shù)據(jù)所困擾，從而越來越難以有效管理和存取這些數(shù)據(jù)，使之用于決策過程，這種局面自然導(dǎo)致一個強烈的要求，要求有一種系統(tǒng)能存取這些數(shù)據(jù)，并將它轉(zhuǎn)換成一種可信賴的、有用的信息。另一方面，現(xiàn)代企業(yè)經(jīng)常面臨各種挑戰(zhàn)，如何最大限度的挖掘各種有用信息，使企業(yè)在激烈的市場競爭中立于不敗之地，并獲得最大的商業(yè)利潤，也為計算機(jī)信息處理技術(shù)提出了新的要求。

由此導(dǎo)致了數(shù)據(jù)倉庫技術(shù)的提出。數(shù)據(jù)倉庫是計算機(jī)應(yīng)用領(lǐng)域里的一個嶄新方向，己成為90年代信息系統(tǒng)體系結(jié)構(gòu)新的技術(shù)焦點，它是來自多個數(shù)據(jù)源的數(shù)據(jù)拷貝和集成，從歷史的角度來組織和存儲數(shù)據(jù)，同時保證關(guān)鍵任務(wù)數(shù)據(jù)的完整性和安全性，為企業(yè)發(fā)展提供有效的技術(shù)支持。

1.2數(shù)據(jù)倉庫的基本概念

1998年剛剛發(fā)展起來的數(shù)據(jù)倉庫（DataWarehouse）技術(shù)的概念由美國著名工程學(xué)家W.H.lnmon博士于90年代在《建立數(shù)據(jù)倉庫》一防中提出：“數(shù)據(jù)倉庫是一個面向主題的、集成的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持經(jīng)營管理中的決策制定過程?！?P>

數(shù)據(jù)倉庫與傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)相比有著本質(zhì)的區(qū)別，數(shù)據(jù)庫是一種通用平臺，建立于嚴(yán)格的數(shù)學(xué)模刑之上，用來管理企業(yè)數(shù)據(jù)，進(jìn)行事務(wù)處理，完成相關(guān)業(yè)務(wù)；而數(shù)據(jù)倉庫沒有嚴(yán)格的數(shù)據(jù)理淪，更偏向工程，它不是花錢就可購買的成品，而是企業(yè)一個日積月累的建立過程。它的應(yīng)用對象是不同層次的管理者，它的數(shù)據(jù)源是多種數(shù)據(jù)源，庫中數(shù)據(jù)無須修改刪除，卞要是大規(guī)模查詢和分析。數(shù)據(jù)倉庫是來自多個源的數(shù)據(jù)的存儲庫，它可通過Internet將不同的數(shù)據(jù)庫連接起來，并將數(shù)據(jù)全部或部分復(fù)制到一個數(shù)據(jù)存儲中心。數(shù)據(jù)倉庫傾向于一個邏輯的概念，它建立在一定數(shù)量的數(shù)據(jù)庫之上，這些數(shù)據(jù)庫在物理上是可以分開的，甚至可以屬于不同的國家。數(shù)據(jù)倉庫通過Internet掃破地域界限，將它們合成一個邏輯整體，把一個海量的數(shù)據(jù)庫展現(xiàn)在用戶面前。

1.3數(shù)據(jù)倉庫基本體系結(jié)構(gòu)

為了能夠?qū)⒁延械臄?shù)據(jù)源提取出來，并組織成用于決策分析所需的綜合數(shù)據(jù)的形式，一個數(shù)據(jù)倉庫的基本體系結(jié)構(gòu)中應(yīng)有以卜幾個基本組成部分：

（1）數(shù)據(jù)源。指為數(shù)據(jù)倉庫提供最底層數(shù)據(jù)的運做數(shù)據(jù)庫系統(tǒng)及外部數(shù)據(jù)。

（2）監(jiān)視器。負(fù)責(zé)感知數(shù)據(jù)源發(fā)生的變化，并按數(shù)據(jù)倉庫的需求提取數(shù)據(jù)。

（3）集成器。將從運做數(shù)據(jù)庫中提取的數(shù)據(jù)經(jīng)過轉(zhuǎn)換、計算、綜合等操作，井集成到數(shù)據(jù)倉庫中。

（4）數(shù)據(jù)倉庫。存儲己經(jīng)按企業(yè)級視圖轉(zhuǎn)換的數(shù)據(jù)，供分析處理用。根據(jù)不同的分析要求，數(shù)據(jù)按不同的綜合程度存儲。數(shù)據(jù)倉庫中還應(yīng)存儲元數(shù)據(jù)，其中記錄了數(shù)據(jù)的結(jié)構(gòu)和數(shù)據(jù)倉庫的任務(wù)變化，以支持?jǐn)?shù)據(jù)倉庫的開發(fā)和使用。

（5）客戶應(yīng)用。提供用戶對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行訪問查詢，并以直觀的方法表示分析結(jié)果的工具。

圖1是斯扣福大學(xué)“WHPS”課題組提出的一個基本的數(shù)據(jù)倉庫模型。

圖1數(shù)據(jù)倉庫基本結(jié)構(gòu)

2基于數(shù)據(jù)倉庫的電信事業(yè)決策支持系統(tǒng)設(shè)計

2.1系統(tǒng)體系結(jié)構(gòu)

在系統(tǒng)日常運做過程中積累了大量的計費系統(tǒng)數(shù)據(jù)和其它的一些文本數(shù)據(jù)，數(shù)據(jù)倉庫首先從這些數(shù)據(jù)源中抽取相關(guān)的數(shù)據(jù)，進(jìn)行數(shù)據(jù)集成、轉(zhuǎn)換和綜合，將數(shù)據(jù)重新組合成面向全局的數(shù)據(jù)視圖，為DSS提供數(shù)據(jù)存儲和組織的基礎(chǔ)，解決了以往DSS中的數(shù)據(jù)不一致的問題。企業(yè)數(shù)據(jù)倉庫包括大量的業(yè)務(wù)處理系統(tǒng)的操作細(xì)節(jié)數(shù)據(jù)和其它的綜合數(shù)據(jù)，而在分析與決策中，人們所關(guān)心的大多是綜合性數(shù)據(jù)，需要從綜合性的、總的范圍來觀察數(shù)據(jù)。為此我們通過OLAP數(shù)據(jù)倉庫使用技術(shù)，可以把數(shù)據(jù)在一定層次上聚集，方便用戶的J陜速查詢，以及從多維的角度對數(shù)據(jù)進(jìn)行切片、切塊、旋轉(zhuǎn)等操作，進(jìn)一步增加用戶對數(shù)據(jù)的理解。此外，OLAP還可用于企業(yè)的報表分析，在日常的企業(yè)管理過程中，需要大量的報表，借助于OLAP工具可以便利的生成各種報表。

圖2系統(tǒng)體系結(jié)構(gòu)圖

數(shù)據(jù)挖掘可以在企業(yè)數(shù)據(jù)倉庫上直接進(jìn)行，數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供了集成的、一致的、經(jīng)過清理的數(shù)據(jù)，使數(shù)據(jù)挖掘免除了繁雜的數(shù)據(jù)準(zhǔn)各過程。數(shù)據(jù)挖掘也可在OLAP服務(wù)器平臺上進(jìn)行。在數(shù)據(jù)挖掘過程中，常常需要探測式的數(shù)據(jù)分析，從各種數(shù)據(jù)庫選擇相關(guān)數(shù)據(jù)，對各種數(shù)據(jù)選擇不同的粒度，以不同的形式提供知識和結(jié)果，而基于數(shù)據(jù)倉庫的OLAP完全可以為數(shù)據(jù)挖掘提供有關(guān)的數(shù)據(jù)操作支持。數(shù)據(jù)挖掘所得到的知識經(jīng)決策者的審核后決定是否用于指導(dǎo)企業(yè)的決策。

2.2系統(tǒng)數(shù)據(jù)倉庫設(shè)計

數(shù)據(jù)倉庫通常以星形模刑或雪花刑模刑組織和存儲數(shù)據(jù)，在這兩種模式中，都具有一個核心事實表。事實表是根據(jù)選定的卞題構(gòu)造，存儲用于分析數(shù)據(jù)的度量值和各個維的值。維是用戶觀察分析數(shù)據(jù)的角度，如時間、地理等。在這兩種模式中，維的層次、內(nèi)容等信息保存在維表中，并通過事實表中相應(yīng)維的碼值與事實表相連。在本系統(tǒng)中采用星刑模刑,即以代表一定卞題的事實表和能表示概念層次的維表來建數(shù)據(jù)倉庫。

以面向主題的原則分析電信系統(tǒng)，選取話務(wù)量、帳務(wù)、營業(yè)、企業(yè)話費收入及用戶開戶四個主題。以賬務(wù)主題為例，其物理模刑如圖3所示：

圖3賬務(wù)主題分析模型

其中賬務(wù)事實表包括與各個維度表相關(guān)聯(lián)的外鍵和分析數(shù)據(jù)的度量值，維度表包括出賬日期維度表、客戶年齡維度表、客戶群信息維度表、客戶所屬地理維度表和客戶付費方式維度表等。維度表的建立是為了從出賬日期、客戶年齡、客戶群信息、客戶所屬地理和客戶付費方式等角度分析花費和用戶的相關(guān)情況。

2.3系統(tǒng)實現(xiàn)方案

此系統(tǒng)采用基于客戶服務(wù)器的三層體系結(jié)構(gòu)（如圖4），前端客戶群、中間應(yīng)用層、后端的數(shù)據(jù)庫服務(wù)層。前端客戶端以Web瀏覽的形式負(fù)責(zé)處理和用戶的信息交互；中間應(yīng)用層支持大量應(yīng)用程序功能和實施業(yè)務(wù)規(guī)則，這一層的業(yè)務(wù)服務(wù)可以通過將基于服務(wù)器的Microsoft產(chǎn)品與定制的COM構(gòu)件運行環(huán)境集成在一塊來實現(xiàn)，主要實現(xiàn)Web服務(wù)和通用的數(shù)據(jù)訪問功能；后端數(shù)據(jù)庫服務(wù)器存放并管理各種系統(tǒng)數(shù)據(jù)，封裝對數(shù)據(jù)庫的訪問，是系統(tǒng)訪問其它數(shù)據(jù)源的統(tǒng)一接口，OLAP和數(shù)據(jù)挖掘的應(yīng)用，也通過這一層來訪問數(shù)據(jù)庫，它主要負(fù)責(zé)從業(yè)務(wù)處理源數(shù)據(jù)庫中抽取、轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉庫。元數(shù)據(jù)，是關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù)，是在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)，負(fù)責(zé)數(shù)據(jù)倉庫中數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)規(guī)則的管理。

圖4系統(tǒng)二層體系結(jié)構(gòu)圖

在實驗中采用SQLServer2000作后臺數(shù)據(jù)庫服務(wù)器，以SQLServer2000的數(shù)據(jù)轉(zhuǎn)換服務(wù)（DTS）從源數(shù)據(jù)庫中抽取和轉(zhuǎn)化數(shù)據(jù)，送到數(shù)據(jù)倉庫中。在分析系統(tǒng)中采用MicrosoftSQLServerAnalysisServices，AnalysisServices是用于聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘的中間層服務(wù)器，將數(shù)據(jù)倉庫中的數(shù)據(jù)組織成包含預(yù)先計算聚合數(shù)據(jù)的多維數(shù)據(jù)集，通過在多維結(jié)構(gòu)中對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行提取、匯總、組織和存儲，可以對最終擁護(hù)查詢做出快速響應(yīng)。同時在DTS的任務(wù)里將會出現(xiàn)數(shù)據(jù)挖掘預(yù)測查詢?nèi)蝿?wù)，實現(xiàn)決策支持系統(tǒng)的數(shù)據(jù)挖掘預(yù)測功能。應(yīng)用端采用VB開發(fā)應(yīng)用程序，以豐富數(shù)據(jù)挖掘功能和加強多維分析的可視化以及報表的制作。

2.4系統(tǒng)實現(xiàn)的決策功能

2.4.1電信數(shù)據(jù)的多維分析

電信數(shù)據(jù)本身具有多維性，如呼叫時間、持續(xù)時間、呼叫者位置、被呼叫者位置、呼叫類刑、客戶信息等，對此類數(shù)據(jù)的多維分析有助于識別和比較數(shù)據(jù)通信情況，系統(tǒng)負(fù)載，資源使用，用戶組行為，利潤等。將電信數(shù)據(jù)組織成數(shù)據(jù)倉庫有利于使用OLAP和可視化工具進(jìn)行多維分析。

2.4.2電信數(shù)據(jù)的數(shù)據(jù)挖掘

數(shù)據(jù)挖掘可幫助識別滌用模式和異常模式，通過多維分析、聚類分析和孤立點分析可以發(fā)現(xiàn)滌用模式，進(jìn)而采取相應(yīng)措施應(yīng)付這類模式。此外，多維分析中關(guān)聯(lián)和序列模式的發(fā)現(xiàn)有助于推動電信服務(wù)的發(fā)展，通過改進(jìn)服務(wù)增加用戶滿意度和忠誠度等。

3結(jié)束語

本系統(tǒng)采用數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘二者相結(jié)合的決策系統(tǒng)方案，從企業(yè)高度出發(fā)建立綜合、穩(wěn)定一致的數(shù)據(jù)倉庫，和基于數(shù)據(jù)倉庫的OLAP強大的多維分析相結(jié)合，并支持企業(yè)各種報表生成，同時在數(shù)據(jù)倉庫和OLAP的便利平臺上采用各類數(shù)據(jù)挖掘算法發(fā)現(xiàn)隱藏的知識以支持企業(yè)的深層次決策。這種決策支持系統(tǒng)解決方案具有通用性，可用于金融、零信業(yè)等領(lǐng)域。

隨著各種計算機(jī)技術(shù)，如數(shù)據(jù)模型、數(shù)據(jù)庫技術(shù)和應(yīng)用開發(fā)技術(shù)的不斷進(jìn)步，數(shù)據(jù)倉庫技術(shù)也在不斷發(fā)展，并在實際應(yīng)用中發(fā)揮巨大作用。（萬方數(shù)據(jù)）