350GB的歷史數(shù)據(jù) 濟(jì)鋼作為山東省最大的鋼鐵制造企業(yè)和中國(guó)最大的板材制造及出口基地，近10年來，一直在大力推進(jìn)信息化建設(shè)，陸續(xù)建設(shè)了公司內(nèi)部骨干網(wǎng)絡(luò)、OA、ERP、BI等核心應(yīng)用信息系統(tǒng)。 目前，ERP系統(tǒng)已成為濟(jì)鋼不可或缺的管理工具。但隨著ERP的深化應(yīng)用，問題也逐漸產(chǎn)生——數(shù)據(jù)量的急速增長(zhǎng)，極大地制約著信息系統(tǒng)的深化應(yīng)用。隨著時(shí)間的推移，系統(tǒng)壓力越來越大，僅僅增加硬件投資，無法從根本上解決問題，只會(huì)讓ERP系統(tǒng)成為一個(gè)燒錢的無底洞。歸檔原理圖數(shù)據(jù)庫(kù)中各模塊數(shù)據(jù)量占百分比 截至2010年4月，濟(jì)鋼ERP系統(tǒng)的數(shù)據(jù)已增長(zhǎng)到760GB。經(jīng)過系統(tǒng)分析，我們發(fā)現(xiàn)濟(jì)鋼ERP數(shù)據(jù)庫(kù)現(xiàn)有的760GB的數(shù)據(jù)中，接近一半的數(shù)據(jù)為歷史數(shù)據(jù)，訪問頻率非常低。近350GB的歷史數(shù)據(jù)，對(duì)現(xiàn)有ERP系統(tǒng)性能造成了嚴(yán)重影響，特別是對(duì)數(shù)據(jù)量大、交互性非常強(qiáng)的庫(kù)存、成本管理、生產(chǎn)、銷售四個(gè)模塊。 以生產(chǎn)制造模塊（WIP）為例，濟(jì)鋼ERP系統(tǒng)生產(chǎn)制造模塊上線運(yùn)行至今已有6年時(shí)間，隨著集團(tuán)公司規(guī)模的不斷擴(kuò)大以及信息系統(tǒng)不斷深入應(yīng)用，其實(shí)施范圍已經(jīng)覆蓋煉鋼、板材、熱軋廠、冷軋廠等所有主體生產(chǎn)廠，業(yè)務(wù)數(shù)據(jù)已涵蓋計(jì)劃編制、工單下達(dá)、產(chǎn)線管理、成品庫(kù)存、物資調(diào)撥等各項(xiàng)流程。 自上線以來，系統(tǒng)內(nèi)共下達(dá)了60多萬條生產(chǎn)工單?，F(xiàn)在，濟(jì)鋼每月大約產(chǎn)生業(yè)務(wù)數(shù)據(jù)100余萬條，產(chǎn)生批次信息60余萬條，與之相關(guān)的業(yè)務(wù)數(shù)據(jù)達(dá)到2億條以上。急劇增長(zhǎng)的數(shù)據(jù)給系統(tǒng)的運(yùn)行和信息檢索帶來了沉重的負(fù)擔(dān)。 經(jīng)過對(duì)數(shù)據(jù)庫(kù)的仔細(xì)分析，我們發(fā)現(xiàn)其中WIP模塊及相關(guān)的庫(kù)存模塊數(shù)據(jù)有接近一半的數(shù)據(jù)為可歸檔數(shù)據(jù)。這些數(shù)據(jù)的訪問頻率非常低，導(dǎo)致系統(tǒng)歷史數(shù)據(jù)負(fù)載過重，系統(tǒng)性能下降，用戶查詢、統(tǒng)計(jì)、分析歷史數(shù)據(jù)時(shí)速度相當(dāng)慢，系統(tǒng)穩(wěn)定性也得不到保證。 透明歸檔 分離歷史與業(yè)務(wù)數(shù)據(jù) 為從根本上解決這一問題，濟(jì)鋼自動(dòng)化部經(jīng)過大量的考察交流、技術(shù)論證，決定聯(lián)手HP公司實(shí)施ERP歸檔系統(tǒng)，對(duì)濟(jì)鋼ERP系統(tǒng)進(jìn)行瘦身，實(shí)現(xiàn)歷史數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)的分離，減輕業(yè)務(wù)系統(tǒng)壓力，提高業(yè)務(wù)系統(tǒng)各方面的性能。 歸檔系統(tǒng)的核心技術(shù)是透明訪問技術(shù)，其技術(shù)主要解決如何同時(shí)訪問在線數(shù)據(jù)庫(kù)及歸檔后的歷史數(shù)據(jù)庫(kù)的問題，用戶訪問數(shù)據(jù)將不受到任何影響，其原理如圖1所示。 經(jīng)過分析，濟(jì)鋼ERP系統(tǒng)數(shù)據(jù)庫(kù)中庫(kù)存、成本管理、生產(chǎn)、銷售四個(gè)模塊數(shù)據(jù)量非常大，占總體數(shù)據(jù)大小的52.43%，其中庫(kù)存最大，約占總體數(shù)據(jù)的34%，成本管理占8%，WIP占7%，銷售模塊占3%（如圖2）。這四個(gè)模塊歷史數(shù)據(jù)占比較高，同時(shí)這些模塊的操作頻率高，數(shù)據(jù)及時(shí)性要求高。因此，數(shù)據(jù)歸檔系統(tǒng)的實(shí)施范圍主要集中在庫(kù)存、成本管理、生產(chǎn)、銷售這四個(gè)模塊。 濟(jì)鋼用Oracle的數(shù)據(jù)庫(kù)。數(shù)據(jù)歸檔系統(tǒng)HPRIMforOracleEBS（Oracle電子商務(wù)套件）的實(shí)施步驟是：首先，結(jié)合業(yè)務(wù)情況和系統(tǒng)負(fù)載，與庫(kù)存、成本、WIP及銷售業(yè)務(wù)相關(guān)人員討論，根據(jù)業(yè)務(wù)發(fā)展情況、數(shù)據(jù)期間跨度和使用頻率等條件，確定在線數(shù)據(jù)保留期限；然后，進(jìn)入歸檔測(cè)試階段，也是整個(gè)項(xiàng)目的關(guān)鍵階段。在這一階段，我們?cè)诖罱ǖ臍w檔專用測(cè)試環(huán)境中進(jìn)行了歸檔工作流程的整體測(cè)試，記錄了歸檔前后在線數(shù)據(jù)庫(kù)與歸檔歷史數(shù)據(jù)庫(kù)的變化，確認(rèn)了歸檔程序的有效性及穩(wěn)定性。 測(cè)試的過程整體來說比較順利，但也出現(xiàn)了問題，主要集中在由于數(shù)據(jù)填寫不規(guī)范、不完整，導(dǎo)致無法實(shí)現(xiàn)系統(tǒng)歸檔等方面。例如，在系統(tǒng)上線初期，數(shù)據(jù)錄入者對(duì)一些必填項(xiàng)和可填項(xiàng)的把握不夠準(zhǔn)確，導(dǎo)致數(shù)據(jù)不規(guī)范，從而影響了歸檔測(cè)試。經(jīng)過查詢、修改、完善之后，數(shù)據(jù)規(guī)范問題得以解決。另外還有一些限制條件，會(huì)影響歸檔操作，以生產(chǎn)制造模塊為例，只有在庫(kù)存歸檔、成本更新歷史歸檔、生產(chǎn)工單關(guān)閉之后，生產(chǎn)制造模塊才能做數(shù)據(jù)歸檔。 進(jìn)行了系統(tǒng)功能測(cè)試、系統(tǒng)壓力測(cè)試及相關(guān)報(bào)表系統(tǒng)的運(yùn)行測(cè)試，確認(rèn)歸檔程序可靠后，我們又進(jìn)一步進(jìn)行了重裝（Reload）測(cè)試，確保歸檔過程的可逆性。經(jīng)過全面測(cè)試，HPRIMforOracleEBS安全可靠，我們?cè)贓RP正式環(huán)境進(jìn)行了最終的歸檔操作，并形成了正式的歸檔記錄文檔。 HPRIM歸檔系統(tǒng)針對(duì)OracleEBS的特點(diǎn)，利用標(biāo)準(zhǔn)清除功能，通過OracleEBS的并發(fā)請(qǐng)求提交歸檔任務(wù)，控制臺(tái)統(tǒng)一管理收集將要?dú)w檔的數(shù)據(jù)信息，先將所要?dú)w檔的數(shù)據(jù)移動(dòng)到歸檔表空間保存成XML格式或集成WORM存儲(chǔ)，然后再刪除EBS中的歸檔記錄，完成一次歸檔過程。HPRIM通過將不活躍的數(shù)據(jù)遷移到次級(jí)數(shù)據(jù)庫(kù)，保持了本地應(yīng)用對(duì)該數(shù)據(jù)的透明訪問。歸檔過程可在線實(shí)施，從用戶的角度來看，同時(shí)訪問歷史數(shù)據(jù)與在線數(shù)據(jù)不會(huì)受到任何影響，業(yè)務(wù)用戶使用系統(tǒng)也不受干擾。 用戶可通過ArchiveMonitor（數(shù)據(jù)增長(zhǎng)監(jiān)控和策略管理控制臺(tái)），檢測(cè)應(yīng)用數(shù)據(jù)增長(zhǎng)和程序性能，對(duì)每一個(gè)歸檔請(qǐng)求進(jìn)行即時(shí)監(jiān)控，控制歸檔進(jìn)度，處理可能出現(xiàn)的問題。 數(shù)據(jù)庫(kù)規(guī)模減半時(shí)間減半 實(shí)施了首次數(shù)據(jù)庫(kù)歸檔后，在符合數(shù)據(jù)保留法規(guī)的要求的同時(shí)，ERP系統(tǒng)的總體數(shù)據(jù)庫(kù)大小大約減少了一半，從而降低了服務(wù)器和存儲(chǔ)基礎(chǔ)設(shè)施的成本、數(shù)據(jù)庫(kù)調(diào)優(yōu)的支出以及系統(tǒng)維護(hù)成本，提高了投資回報(bào)率。通過改善應(yīng)用效率和把不活躍的數(shù)據(jù)搬遷，大大節(jié)省數(shù)據(jù)庫(kù)的空間，有效提高系統(tǒng)的性能，最大限度地降低系統(tǒng)的關(guān)鍵災(zāi)難恢復(fù)時(shí)間和升級(jí)（軟件和硬件）宕機(jī)時(shí)間，同時(shí)減輕相關(guān)的管理和維護(hù)負(fù)擔(dān)。 以生產(chǎn)制造模塊為例，HPRIM系統(tǒng)將使用率低的歷史數(shù)據(jù)遷移出在線數(shù)據(jù)庫(kù)后，明顯增加了ERP在線系統(tǒng)的運(yùn)行能力和穩(wěn)定度，并且保證了數(shù)據(jù)完整性。用戶使用相關(guān)報(bào)表時(shí)，程序運(yùn)行效率大大提高，等待時(shí)間也縮短很多。經(jīng)過綜合測(cè)試，以查詢一個(gè)較大的報(bào)表為例，歸檔前需要半小時(shí)以上才能運(yùn)行完成，現(xiàn)在10分鐘內(nèi)即可展示結(jié)果。另外，現(xiàn)在每月月初，各業(yè)務(wù)單位幾乎同時(shí)使用系統(tǒng)進(jìn)行數(shù)據(jù)結(jié)算時(shí)，程序運(yùn)行效率的提高更是顯而易見。以生產(chǎn)部門為例，原來一天要對(duì)幾十萬個(gè)批次的生產(chǎn)數(shù)據(jù)的屬性、數(shù)量進(jìn)行分類、匯總，要耗整整一天時(shí)間，而現(xiàn)在只需要9個(gè)小時(shí)。 另外，通過歸檔，在線數(shù)據(jù)庫(kù)數(shù)據(jù)表的記錄數(shù)大量減少，對(duì)應(yīng)的數(shù)據(jù)表的索引、數(shù)據(jù)存儲(chǔ)所需的空間也大大減少，提高了系統(tǒng)的綜合性能。 數(shù)據(jù)歸檔是一項(xiàng)需要長(zhǎng)期進(jìn)行的工作，因?yàn)槊刻於紩?huì)產(chǎn)生新的歷史數(shù)據(jù)。因此，我們需要不斷完善歸檔策略，把握歸檔進(jìn)度，加強(qiáng)對(duì)數(shù)據(jù)系統(tǒng)管理的能力，來保障系統(tǒng)運(yùn)行的穩(wěn)定性、高效性。
名易MyOA協(xié)同綜合辦公平臺(tái)
名易MyCRM客戶關(guān)系管理平臺(tái)
名易MyHR人力資源管理平臺(tái)
名易MyIDP智能開發(fā)平臺(tái)
名易MyIBP保險(xiǎn)業(yè)務(wù)管理平臺(tái)
名易MyHMS酒店綜合管理系統(tǒng)
名易MyPM項(xiàng)目管理平臺(tái)
名易MyTMS物流運(yùn)輸管理平臺(tái)
名易MyVMS汽車綜合管理系統(tǒng)
名易MyIMS貸款管理系統(tǒng)
名易MyEDU教育管理平臺(tái)
名易MyPCS生產(chǎn)事務(wù)協(xié)調(diào)系統(tǒng)
名易MyWIDP微信智能開發(fā)平臺(tái)
