大規(guī)模定制企業(yè)系統(tǒng)中數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用設(shè)計(jì)

一、大規(guī)模定制客戶智能數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

1、數(shù)據(jù)的抽取。由于數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，它需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量，轉(zhuǎn)換、調(diào)度和監(jiān)控等幾個(gè)方面。

2、數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉(cāng)庫(kù)遇到的第一個(gè)問(wèn)題是對(duì)大量數(shù)據(jù)的存儲(chǔ)和管理。這里所涉及的數(shù)據(jù)量比傳統(tǒng)事務(wù)處理大得多且隨時(shí)間的推移而累積。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)的特性，同時(shí)也決定了其對(duì)外部數(shù)據(jù)表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來(lái)建立數(shù)據(jù)倉(cāng)庫(kù)核心，則需要從數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)特點(diǎn)著手分析。從當(dāng)今的技術(shù)發(fā)展來(lái)看，面向決策支持?jǐn)U充的并行關(guān)系數(shù)據(jù)庫(kù)將是數(shù)據(jù)倉(cāng)庫(kù)的核心。

3、數(shù)據(jù)的表現(xiàn)。實(shí)際的應(yīng)用中，客戶需要通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)來(lái)驗(yàn)證他們對(duì)某些事物的假設(shè)，以進(jìn)行決策。與數(shù)理統(tǒng)計(jì)相似，數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)也沒(méi)有直接的聯(lián)系，而且這個(gè)概念在現(xiàn)實(shí)中有些含混。數(shù)據(jù)挖掘強(qiáng)調(diào)的不僅僅是驗(yàn)證人們對(duì)數(shù)據(jù)特性的假設(shè)，而且它更要主動(dòng)地尋找并發(fā)現(xiàn)蘊(yùn)藏在數(shù)據(jù)之中的規(guī)律。市場(chǎng)上許多數(shù)據(jù)挖掘工具并不是真正尋找出數(shù)據(jù)的規(guī)律，而是驗(yàn)證盡可能多的假設(shè)，最后由人來(lái)判斷其合理性。因此在當(dāng)前的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用中有效地利用數(shù)理統(tǒng)計(jì)就已經(jīng)能夠獲得可觀的效益。

二、客戶數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)

1、數(shù)據(jù)結(jié)構(gòu)圖。星型和雪花結(jié)構(gòu)是在數(shù)據(jù)倉(cāng)庫(kù)中最為廣泛的數(shù)據(jù)結(jié)構(gòu)，它們的主要優(yōu)點(diǎn)是能提供多維的模式，并能實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速查詢和連接。星型結(jié)構(gòu)是非范式、以查詢?yōu)橹行牡哪Ｐ?，這種模型的最大優(yōu)點(diǎn)是能夠提供所謂的星連接，通過(guò)一步連接就可以獲取大部分所需要的信息，并能很快得到輸出結(jié)果，這種模型里信息可分為兩大類：事實(shí)表和維表。

2、概念模型設(shè)計(jì)。概念模型設(shè)計(jì)是建立數(shù)據(jù)倉(cāng)庫(kù)的第一步，是主客觀之間的一個(gè)橋梁，是客觀世界到機(jī)器世界的一個(gè)中間層次。描述概念模型最常用的方法是E-R圖法，運(yùn)用E-R圖可以清晰的表示客戶、訂單和產(chǎn)品之間的關(guān)系。

3、數(shù)據(jù)結(jié)構(gòu)圖。星型和雪花結(jié)構(gòu)是在數(shù)據(jù)倉(cāng)庫(kù)中應(yīng)用最為廣泛的數(shù)據(jù)結(jié)構(gòu)，它們的主要優(yōu)點(diǎn)是能夠提供多為的模式，并能實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速查詢和連接。星型結(jié)構(gòu)勢(shì)非范式的，以查詢?yōu)橹行牡哪Ｐ停@種模型的最大優(yōu)點(diǎn)是能夠提供所謂的星連接，通過(guò)一步連接就可以獲取大部分所需要的信息，并能很快得到輸出結(jié)果，這種模型里信息可分為兩大類：事實(shí)表和維表。

4、邏輯數(shù)據(jù)模型設(shè)計(jì)。邏輯模型式通用化的數(shù)據(jù)模型它的典型產(chǎn)品是實(shí)體關(guān)系圖，用于描述現(xiàn)實(shí)世界中實(shí)體和實(shí)體間的關(guān)系。

(1)客戶數(shù)據(jù)。少量的客戶數(shù)據(jù)不足以提供有關(guān)客戶偏好和消費(fèi)的真實(shí)、實(shí)時(shí)的信息。從客戶數(shù)據(jù)的來(lái)源來(lái)看，客戶數(shù)據(jù)有一部分可以從企業(yè)現(xiàn)有的操作型系統(tǒng)獲取，如ERP、SCM、HR系統(tǒng)但這對(duì)有效的客戶智能實(shí)現(xiàn)是遠(yuǎn)遠(yuǎn)不夠的。大多客戶知識(shí)的發(fā)現(xiàn)需要集成至少5年甚至更長(zhǎng)時(shí)間的客戶數(shù)據(jù)。因此，能對(duì)客戶智能起到全面支持作用的數(shù)據(jù)環(huán)境必須包括集成的客戶數(shù)據(jù)和該客戶的歷史數(shù)據(jù)。

(2)產(chǎn)品數(shù)據(jù)。產(chǎn)品數(shù)據(jù)包括下面幾個(gè)方面：產(chǎn)品類別信息：包括類別ID和名稱;產(chǎn)品價(jià)格信息：產(chǎn)品ID、單價(jià)等;產(chǎn)品材料信息：材料ID、名稱;信息：供應(yīng)商ID、名稱、供應(yīng)價(jià)、供應(yīng)日期。

(3)訂單信息數(shù)據(jù)。訂單信息包括下面幾個(gè)方面：訂單固有信息：包括訂單ID、日期等;客戶信息：包括客戶ID、名稱等;產(chǎn)品信息：包括產(chǎn)品名稱、設(shè)計(jì)屬性等。

5、數(shù)據(jù)倉(cāng)庫(kù)的物理設(shè)計(jì)

(1)表空間設(shè)計(jì)。表空間設(shè)計(jì)主要是為了把邏輯意義的區(qū)分開，也為性能考慮，所以可以在表名前加前綴作為區(qū)分表所在的區(qū)。

(2)歸檔設(shè)計(jì)。由于數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中的頻繁加載、刪除，以及插入的操作，如果選用歸檔模式會(huì)使數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生大量日志。如果歸檔將嚴(yán)重影響性能，而且數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)恢復(fù)的要求不高，所以采用非歸檔模式。

(3)安全性設(shè)計(jì)。數(shù)據(jù)庫(kù)中所有法人用任務(wù)表全部放在一個(gè)用戶下，以方便在各個(gè)區(qū)之間加載轉(zhuǎn)換，再建一個(gè)用戶用于展現(xiàn)，對(duì)所有的業(yè)務(wù)表只有只讀權(quán)限。

(4)參數(shù)設(shè)計(jì)。由于數(shù)據(jù)倉(cāng)庫(kù)經(jīng)常刪除、插入，很少更新的特點(diǎn)，相對(duì)一般業(yè)務(wù)系統(tǒng)，加大塊的大小，增加preused和減少prefree。

(5)備份恢復(fù)。這里采用每2天一次冷備份和一周一次邏輯備份?？梢越邮芑謴?fù)兩天前的數(shù)據(jù)，然后通過(guò)ETL重新從源數(shù)據(jù)庫(kù)中獲取最新數(shù)據(jù)。（萬(wàn)方數(shù)據(jù)）