問(wèn)題分析和解決思路

1．原業(yè)務(wù)支撐系統(tǒng)的建設(shè)模式

建設(shè)BOSS3.0以前，河南移動(dòng)的業(yè)務(wù)支撐系統(tǒng)全部選用UNIX小型機(jī)作為主服務(wù)器設(shè)備，UNIX小型機(jī)具有處理能力高,單機(jī)穩(wěn)定性好的優(yōu)點(diǎn)，但同時(shí)，UNIX小型機(jī)也存在采購(gòu)成本高、運(yùn)行維護(hù)成本高、運(yùn)行維護(hù)相對(duì)復(fù)雜等問(wèn)題。隨著業(yè)務(wù)支撐系統(tǒng)能力要求不斷提升，UNIX小型機(jī)的高成本成為系統(tǒng)建設(shè)的瓶頸。“降低TCO成本、提升性能、節(jié)能減排”成為河南移動(dòng)業(yè)務(wù)支撐系統(tǒng)建設(shè)關(guān)注的重點(diǎn)。

2．業(yè)務(wù)支撐基礎(chǔ)架構(gòu)設(shè)施的建設(shè)思路

河南移動(dòng)一直在追蹤最新的互聯(lián)網(wǎng)技術(shù)與硬件技術(shù)的發(fā)展，發(fā)現(xiàn)互聯(lián)網(wǎng)企業(yè)系統(tǒng)架構(gòu)模式值得借鑒：互聯(lián)網(wǎng)應(yīng)用多運(yùn)行于PC服務(wù)器、刀片服務(wù)器等低端設(shè)備上，系統(tǒng)通過(guò)先進(jìn)的技術(shù)架構(gòu)與集群部署方式支撐大量在線訪問(wèn)、交易并保持高效、穩(wěn)定的運(yùn)行，典型的如Google、淘寶均使用刀片集群作為運(yùn)行平臺(tái)。河南移動(dòng)借鑒互聯(lián)網(wǎng)系統(tǒng)架構(gòu)思路，結(jié)合系統(tǒng)特點(diǎn)對(duì)業(yè)務(wù)支撐系統(tǒng)架構(gòu)進(jìn)行優(yōu)化、創(chuàng)新，實(shí)現(xiàn)了將應(yīng)用部署于刀片服務(wù)器機(jī)群的創(chuàng)新。

在軟件技術(shù)層面上，河南移動(dòng)BOSS3.0的采用三層軟件架構(gòu)，基于亞信公司AppFrame平臺(tái)設(shè)計(jì)、開發(fā)。AppFrame平臺(tái)采用分布式架構(gòu)設(shè)計(jì)，底層采用分布式EJB實(shí)現(xiàn)，整體系統(tǒng)架構(gòu)完全支持集群化、分布業(yè)務(wù)處理。AppFrame平臺(tái)完全基于J2EE開發(fā)，具備良好的可移植性，應(yīng)用組件可以運(yùn)行于任何支持J2EE的操作系統(tǒng)上。AppFrame平臺(tái)提供了多種應(yīng)用系統(tǒng)級(jí)容錯(cuò)機(jī)制，通過(guò)會(huì)話復(fù)制、服務(wù)可用性判斷、路由分發(fā)、應(yīng)用自適應(yīng)調(diào)整、災(zāi)備切換等方式保證系統(tǒng)穩(wěn)定。AppFrame平臺(tái)提供Deploy機(jī)制和應(yīng)用監(jiān)控機(jī)制，使基于該平臺(tái)的應(yīng)用具備自動(dòng)快速部署能力和分布式應(yīng)用的集中監(jiān)控、跟蹤能力?；贏ppFrame平臺(tái)的CRM系統(tǒng)具備了“分布式處理能力、跨平臺(tái)運(yùn)行能力、系統(tǒng)級(jí)容錯(cuò)能力、集群部署能力、集中監(jiān)控能力”。上述能力的具備，使河南移動(dòng)CRM系統(tǒng)具備了運(yùn)行于刀片機(jī)群了條件。

在硬件設(shè)備層面，隨著AMD皓龍等x86處理器多核技術(shù)的高速發(fā)展，其每瓦效能越來(lái)越高，也使得刀片服務(wù)器技術(shù)日趨成熟。刀片服務(wù)器是一種高密度服務(wù)器，專為實(shí)現(xiàn)數(shù)據(jù)中心的便利性而打造，在標(biāo)準(zhǔn)高度的機(jī)架式機(jī)箱內(nèi)可插裝多個(gè)卡式的服務(wù)器單元，實(shí)現(xiàn)高可用和高密度。與傳統(tǒng)服務(wù)器相比具有很多優(yōu)勢(shì)：適用于服務(wù)器集群；低成本；線纜大規(guī)模地減少；低功耗；模塊化，實(shí)現(xiàn)了物理“即插即用”和“即購(gòu)即換”處理的高效性。

結(jié)合先進(jìn)的軟件、硬件技術(shù)，CRM系統(tǒng)應(yīng)用服務(wù)器替換為刀片服務(wù)器集群成為可能。新的CRM系統(tǒng)架構(gòu)將具備由冗余節(jié)點(diǎn)方式提供的高可靠性，一旦單臺(tái)刀片節(jié)點(diǎn)發(fā)生故障，應(yīng)用系統(tǒng)將自動(dòng)切換至其他節(jié)點(diǎn)提供服務(wù)；支持通過(guò)擴(kuò)充應(yīng)用服務(wù)器數(shù)量的方式擴(kuò)展業(yè)務(wù)處理能力。最為重要的是，這種新的BOSS基礎(chǔ)架構(gòu)設(shè)備投資低于采用小型機(jī)方案的數(shù)倍。

業(yè)務(wù)支撐系統(tǒng)引入刀片服務(wù)器的技術(shù)方案

河南移動(dòng)BOSS3.0CRM系統(tǒng)采用三層架構(gòu)部署，分別為前端業(yè)務(wù)接入服務(wù)器、應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器。

（1）應(yīng)用服務(wù)器：在應(yīng)用服務(wù)器上部署中間件，提供營(yíng)業(yè)業(yè)務(wù)處理邏輯，并連接后端數(shù)據(jù)庫(kù)服務(wù)器，應(yīng)用服務(wù)器群集通過(guò)中間件提供并行處理方式，提高系統(tǒng)的可用性和可擴(kuò)展性，應(yīng)用服務(wù)器采用HPBladeSystemBL685cG5刀片服務(wù)器，HPProLiantBL685c具有極密集4處理器刀片式服務(wù)器的杰出性能，包括四核處理器、大內(nèi)存容量和同類設(shè)備中更出色的網(wǎng)絡(luò)連接：最多4個(gè)AMD四核皓龍8300系列處理器，具有64位四核計(jì)算功能以及業(yè)界領(lǐng)先的每瓦性能和每瓦性價(jià)比；支持AMDDualDynamicPowerManagement技術(shù)，以優(yōu)化設(shè)備性能、降低設(shè)備功耗。AMD四核皓龍?zhí)幚砥鞯某瑐鬏斂偩€為處理器核心、IO子系統(tǒng)、內(nèi)存及其他芯片組之間提供了可擴(kuò)展的高帶寬互連，使得每個(gè)處理器都可以擁有24.Gbit的峰值帶寬；集成內(nèi)存控制器優(yōu)化了每個(gè)處理器的性能和帶寬，消除了傳統(tǒng)前端總線架構(gòu)固有的延遲。尤其是在部署多路服務(wù)器時(shí)，基于AMD皓龍?zhí)幚砥鞯膬?nèi)存帶寬會(huì)相應(yīng)增加而完全不受北橋芯片的限制；AMD的直連架構(gòu)技術(shù)能夠完全消除傳統(tǒng)前端總線架構(gòu)所固有的瓶頸，從而提升了總的系統(tǒng)性能和多路處理器的效率，尤其是在HPBladeSystemBL685cG5此類多路服務(wù)器中，直連架構(gòu)和超傳輸總線能夠最大限度消除不同物理處理器之間的傳輸瓶頸，真正發(fā)揮出多路處理器的性能優(yōu)勢(shì)；此外HPBladeSystemBL685cG5刀片服務(wù)器具有16個(gè)DIMM插槽可支持高達(dá)128GBECC667MHz寄存式DDR2內(nèi)存，可用于內(nèi)存密集型應(yīng)用；2個(gè)嵌入式多功能千兆網(wǎng)卡帶有TCPIP卸載引擎(TOE)和iSCSI支持；2個(gè)嵌入式千兆以太網(wǎng)網(wǎng)卡；3個(gè)中間件IO擴(kuò)展插槽可安裝配置選件，例如多功能千兆網(wǎng)卡、1GB和10GB千兆以太網(wǎng)網(wǎng)卡、光纖通道和Infiniband。

(2)接入服務(wù)器：接入服務(wù)器為營(yíng)業(yè)系統(tǒng)提供自建營(yíng)業(yè)廳、合作營(yíng)業(yè)廳、代辦點(diǎn)、連鎖店等所有的營(yíng)業(yè)終端接入服務(wù)，以及電子渠道等營(yíng)業(yè)相關(guān)業(yè)務(wù)接入，通過(guò)網(wǎng)頁(yè)的形式展現(xiàn)。前端訪問(wèn)請(qǐng)求可以通過(guò)負(fù)載均衡器，分配訪問(wèn)量到各個(gè)WEBServer。這樣，即使有某臺(tái)Server出現(xiàn)故障，其他Server將繼續(xù)提供服務(wù)，接入服務(wù)器群主要采用HPProLiantBladeSystem刀片服務(wù)器系統(tǒng)，機(jī)型是基于AMD四核皓龍的HPBladeSystemBL465cG5，BL465c配備兩顆AMD四核皓龍?zhí)幚砥鳎哂信c標(biāo)準(zhǔn)1U機(jī)架安裝式服務(wù)器相同的特性，集成了節(jié)能的計(jì)算功能和高密度性、擴(kuò)展的內(nèi)存和IO，極大地提高了性能。此款均衡架構(gòu)帶有AMD四核皓龍?處理器、DDR2內(nèi)存、串行硬盤、多功能千兆網(wǎng)絡(luò)支持和多IO卡，可提供一個(gè)適合多種應(yīng)用的高性能系統(tǒng)。尤其是采用的AMD四核皓龍?處理器，憑借直連架構(gòu)以及超傳輸總線和集成內(nèi)存控制器等優(yōu)秀技術(shù)，為接入服務(wù)器帶來(lái)了業(yè)界領(lǐng)先的性能和穩(wěn)定性。同時(shí)，外形小巧的BL465c中還包括確保高可用性的特性，如熱插拔硬盤驅(qū)動(dòng)器、內(nèi)存交錯(cuò)、嵌入式RAID功能、以及提高的遠(yuǎn)程Lights-Out管理。采用HPC7000機(jī)箱，10U高，可放16個(gè)半高或8個(gè)全高的刀片服務(wù)器，

(3)數(shù)據(jù)庫(kù)服務(wù)器：直接與應(yīng)用服務(wù)器進(jìn)行數(shù)據(jù)交換，應(yīng)用服務(wù)器訪問(wèn)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)操作，數(shù)據(jù)庫(kù)服務(wù)器采用RAC方式提供性能和可靠性的保證，數(shù)據(jù)庫(kù)服務(wù)器采用UNIX小型機(jī)。

在進(jìn)行CRM應(yīng)用服務(wù)器替換為刀片服務(wù)器的同時(shí)，CRM應(yīng)用、部署進(jìn)行了相應(yīng)的優(yōu)化、調(diào)整，保證設(shè)備替換后系統(tǒng)運(yùn)行的高性能、高穩(wěn)定性。

（1）CRM應(yīng)用優(yōu)化。針對(duì)應(yīng)用部署的集群化，優(yōu)化應(yīng)用發(fā)布模塊，實(shí)現(xiàn)應(yīng)用分布式、自動(dòng)化部署。優(yōu)化系統(tǒng)監(jiān)控模塊提供對(duì)分布式系統(tǒng)應(yīng)用追蹤、監(jiān)控功能，實(shí)現(xiàn)對(duì)服務(wù)、事物數(shù)據(jù)庫(kù)連接、系統(tǒng)訪問(wèn)、SQL的多方面監(jiān)控。及時(shí)發(fā)現(xiàn)問(wèn)題和缺陷并進(jìn)行優(yōu)化調(diào)整。如：服務(wù)跟蹤功能可以實(shí)時(shí)進(jìn)行營(yíng)業(yè)員前臺(tái)操作、后臺(tái)服務(wù)調(diào)用、數(shù)據(jù)庫(kù)數(shù)據(jù)操作的整個(gè)操作軌跡的跟蹤、分析。

（2）應(yīng)用整合。CRM應(yīng)用架構(gòu)整合所有業(yè)務(wù)功能，而不是原有的一套業(yè)務(wù)屬性對(duì)應(yīng)一套業(yè)務(wù)系統(tǒng)。在每臺(tái)服務(wù)器上均部署相同的應(yīng)用，通過(guò)設(shè)置實(shí)現(xiàn)不同服務(wù)器業(yè)務(wù)域?qū)崿F(xiàn)不同的功能；單個(gè)模塊或者功能點(diǎn)的失效、升級(jí)或者failover通過(guò)模塊控制進(jìn)行設(shè)置。

（3）應(yīng)用部署集群化。CRM應(yīng)用采用集群部署，將若干服務(wù)器設(shè)置為一個(gè)功能域，為特定的接入渠道服務(wù)；同時(shí)，同一集群的刀片分布于不同的機(jī)框中，避免一個(gè)機(jī)柜故障導(dǎo)致整個(gè)應(yīng)用集群的不可用。采用分散部署的方式可以在單個(gè)進(jìn)程設(shè)備機(jī)柜不可用情況下由其他設(shè)備進(jìn)行應(yīng)用分擔(dān)，任一點(diǎn)出現(xiàn)問(wèn)題，不會(huì)造成系統(tǒng)整體影響問(wèn)題，提高系統(tǒng)的可用性。

（4）應(yīng)用部署自適應(yīng)調(diào)整機(jī)制。不同應(yīng)用集群應(yīng)用負(fù)載設(shè)置性能壓力閾值，當(dāng)某個(gè)集群壓力超過(guò)閾值將自適應(yīng)手工進(jìn)行調(diào)整，使用備用集群或其它集群部分資源進(jìn)行負(fù)載分擔(dān)。當(dāng)業(yè)務(wù)量降低，又會(huì)調(diào)整回去。通過(guò)自適應(yīng)調(diào)整機(jī)制均衡各應(yīng)用集群的能力。

（5）設(shè)置備用刀片集群。當(dāng)生產(chǎn)設(shè)備故障時(shí)可以將應(yīng)用接入到備用集群；同時(shí)，在應(yīng)用系統(tǒng)升級(jí)、生產(chǎn)設(shè)備檢修時(shí)也可以將應(yīng)用切換到備用集群上。通過(guò)備用刀片集群的設(shè)置提升了系統(tǒng)的穩(wěn)定性和可維護(hù)性。