【計(jì)世獨(dú)家】只有在演習(xí)中將所有意外都測(cè)試到，才有可能在實(shí)戰(zhàn)時(shí)將意外出現(xiàn)的幾率降到最低。

2008年6月19日，是北京奧運(yùn)會(huì)倒計(jì)時(shí)50天的日子。

這一天，北京奧組委技術(shù)部和奧運(yùn)會(huì)IT項(xiàng)目總集成商源訊公司(AtosOrigin)共同宣布，北京2008年奧運(yùn)會(huì)第二次、也是最后一次技術(shù)演練圓滿結(jié)束。為期3天的技術(shù)演練模擬了奧運(yùn)會(huì)最為忙碌的3天——8月13日、16日、21日的賽事進(jìn)程，對(duì)大約500個(gè)事先定義的場(chǎng)景進(jìn)行了測(cè)試，包括設(shè)備用房進(jìn)水、網(wǎng)絡(luò)中斷、斷電以及賽程變更等。

作為源訊公司負(fù)責(zé)北京奧運(yùn)項(xiàng)目的總集成師，侯杰瑞(JeremyHore)剛剛經(jīng)歷了3天技術(shù)演練之下的高壓狀態(tài)，但他看起來仍一臉輕松，“整個(gè)過程非常好。在經(jīng)歷過所有狀態(tài)之后，我們就會(huì)對(duì)整個(gè)北京奧運(yùn)信息系統(tǒng)的成功運(yùn)營胸有成竹了”。

這是北京奧運(yùn)開幕前，最后一次集中技術(shù)演練，旨在確保技術(shù)人員、IT系統(tǒng)及技術(shù)運(yùn)行流程等完全準(zhǔn)備就緒，足以應(yīng)對(duì)奧運(yùn)期間可能出現(xiàn)的任何情況。同時(shí)，這次演練也讓準(zhǔn)備報(bào)道奧運(yùn)賽事的媒體記者、廣播商借此熟悉信息系統(tǒng)，確保到時(shí)他們能獲得所有需要的信息，順利向全球逾40億的電視觀眾轉(zhuǎn)播奧運(yùn)賽事。國際奧委會(huì)技術(shù)總監(jiān)讓-貝諾·高特埃對(duì)此評(píng)論道：“第二次技術(shù)演練是北京奧運(yùn)籌備過程中一個(gè)重要的里程碑，它的成功意味著技術(shù)團(tuán)隊(duì)及系統(tǒng)完全準(zhǔn)備就緒?！?P>

兩次演練

“北京奧運(yùn)這個(gè)項(xiàng)目有一個(gè)特點(diǎn)，它有一個(gè)不可以改變的期限——2008年8月8日，在此之前，我們必須從技術(shù)角度做好準(zhǔn)備，這是不可更改的?！迸撂乩锟恕ぐ习?PatrickAdiba)說，他是源訊公司負(fù)責(zé)奧運(yùn)會(huì)及重大賽事與活動(dòng)部的執(zhí)行副總裁。

為了確保北京奧運(yùn)IT解決方案的順利實(shí)施，與歷屆奧運(yùn)會(huì)開幕前一樣，源訊與北京奧組委協(xié)作實(shí)施了龐大的IT測(cè)試計(jì)劃，這是籌備奧運(yùn)的一個(gè)關(guān)鍵步驟。其實(shí)，北京奧運(yùn)IT系統(tǒng)的大規(guī)模分散測(cè)試在3年前就已開始，整個(gè)測(cè)試時(shí)間長達(dá)20萬個(gè)小時(shí)，測(cè)試系統(tǒng)的范圍包括全球采購的50多個(gè)應(yīng)用程序和10萬個(gè)測(cè)試案例。

2008年3月，北京奧運(yùn)IT系統(tǒng)的大規(guī)模測(cè)試結(jié)束，正式進(jìn)入運(yùn)營階段。這時(shí)，一些備份數(shù)據(jù)中心開始運(yùn)營，作為奧運(yùn)會(huì)IT項(xiàng)目總指揮部的技術(shù)運(yùn)行中心(TOC)也交付使用。在8月8日北京奧運(yùn)開幕之前，與IT系統(tǒng)相關(guān)的最重要環(huán)節(jié)就是兩次集中技術(shù)演練。

源訊公司是北京奧運(yùn)會(huì)IT系統(tǒng)的總集成商，它帶領(lǐng)由9個(gè)技術(shù)合作伙伴和贊助商組成的大聯(lián)盟，搭建起了北京奧運(yùn)的全部技術(shù)系統(tǒng)。其中，歐米茄提供計(jì)時(shí)和計(jì)分系統(tǒng)，并提供現(xiàn)場(chǎng)的比賽結(jié)果服務(wù)；柯達(dá)提供膠片照片和成像系統(tǒng)，負(fù)責(zé)制證成像；聯(lián)想提供所有硬件和服務(wù)器；松下提供音頻、電視和視頻設(shè)備；三星提供無線通信設(shè)備；中國網(wǎng)通提供固定電信服務(wù)；中國移動(dòng)提供移動(dòng)電信服務(wù)；搜狐網(wǎng)則提供互聯(lián)網(wǎng)服務(wù)。作為總集成商，源訊必須保證來自不同合作伙伴的系統(tǒng)可以精確協(xié)作，猶如一個(gè)系統(tǒng)。

在北京奧運(yùn)所用的技術(shù)系統(tǒng)中，所有系統(tǒng)都是相互關(guān)聯(lián)的，運(yùn)動(dòng)會(huì)管理系統(tǒng)(GMS)和信息發(fā)布系統(tǒng)(IDS)是其中最核心的兩個(gè)系統(tǒng)，它們與其他系統(tǒng)相互關(guān)聯(lián)，其他系統(tǒng)又關(guān)聯(lián)了更多的系統(tǒng)。以GMS中的注冊(cè)系統(tǒng)為例，它與我國公安部門及各國際單項(xiàng)體育組織的系統(tǒng)相連，任何參與奧運(yùn)會(huì)的人都必須通過注冊(cè)系統(tǒng)的審核后，才能被授予相應(yīng)權(quán)限，獲得身份識(shí)別卡，作為其在奧運(yùn)場(chǎng)館內(nèi)的通行證。“這是很復(fù)雜的一個(gè)過程。”艾迪霸說。

這兩次技術(shù)演練是在大規(guī)模分散測(cè)試后，對(duì)所有系統(tǒng)進(jìn)行的兩次集成測(cè)試。第一次是在今年4月，第二次在6月，每次測(cè)試都持續(xù)3天?！凹夹g(shù)演練并不僅僅是對(duì)系統(tǒng)的測(cè)試，也是對(duì)系統(tǒng)操作人員的測(cè)試?！焙罱苋鹫f。一些測(cè)試是在鳥巢旁的集成實(shí)驗(yàn)室里進(jìn)行的，還有一些是在真實(shí)的比賽中進(jìn)行的，比如一系列“好運(yùn)北京”測(cè)試賽，所有設(shè)備和設(shè)施至少要經(jīng)歷一次測(cè)試賽。

盡管源訊開發(fā)的奧運(yùn)技術(shù)系統(tǒng)已經(jīng)歷了3屆奧運(yùn)會(huì)的考驗(yàn)，但系統(tǒng)仍然面臨著很多改變。比如整個(gè)系統(tǒng)中最核心的GMS，針對(duì)北京奧運(yùn)做的開發(fā)、調(diào)整和升級(jí)的比例高達(dá)50%；其他系統(tǒng)，如評(píng)論員信息系統(tǒng)(CIS)也進(jìn)行了升級(jí)。另外，這幾年，一些奧運(yùn)比賽項(xiàng)目的規(guī)則也發(fā)生了變化，信息系統(tǒng)必須針對(duì)這些變化進(jìn)行變更。在這兩次集中測(cè)試過程中，國際單項(xiàng)體育組織與北京奧組委、國際奧委會(huì)的IT專家一起審核了技術(shù)系統(tǒng)，看其是否與新規(guī)則相符。

北京奧運(yùn)的兩次技術(shù)演練并不是在不同時(shí)間進(jìn)行相同的測(cè)試，它們各有目的——第一次技術(shù)演練的任務(wù)是讓整個(gè)團(tuán)隊(duì)明白奧運(yùn)會(huì)是什么樣的，幫助他們進(jìn)入真正的奧運(yùn)系統(tǒng)運(yùn)營模式；第二次技術(shù)演練是最后一次實(shí)戰(zhàn)演習(xí)，是為了測(cè)試整個(gè)技術(shù)團(tuán)隊(duì)是否已為奧運(yùn)做好準(zhǔn)備了。

此外，第二次演練比起第一次，規(guī)模大得多。第一次技術(shù)演練，來自奧組委、源訊和9個(gè)技術(shù)合作伙伴的600多人參與，大部分測(cè)試是在集成實(shí)驗(yàn)室里完成的，僅有4個(gè)場(chǎng)館參與演練。而第二次技術(shù)演練，參與者有2500人，除了之前的參與方增派了人員外，全國7個(gè)奧運(yùn)比賽城市的39個(gè)場(chǎng)館，還有一些非競(jìng)賽場(chǎng)館及北京奧林匹克廣播公司(BOB)等都參與其中，為北京奧運(yùn)實(shí)戰(zhàn)做了一次全面技術(shù)演習(xí)。

600多次“找碴”

“我們模擬了奧運(yùn)會(huì)比賽中所有可能發(fā)生的情況?！痹趦纱蔚?天集中測(cè)試中，鳥巢旁邊的TOC里160人的專家團(tuán)隊(duì)實(shí)行輪班制，分成兩班，每班值班10個(gè)小時(shí)。奧運(yùn)期間，專家們每次輪班是12小時(shí)，提供7×24的運(yùn)營服務(wù)。

在當(dāng)值時(shí)，侯杰瑞大多時(shí)間呆在TOC里。TOC的入口對(duì)面的墻上嵌著一長條的顯示屏，顯示著各場(chǎng)館和各系統(tǒng)的運(yùn)行情況。侯杰瑞時(shí)常盯著顯示屏，隨時(shí)準(zhǔn)備幫助團(tuán)隊(duì)成員解決問題，“這個(gè)模擬非常真實(shí)”。類似的監(jiān)控系統(tǒng)在每個(gè)場(chǎng)館都有，各場(chǎng)館的工作人員可以借此將監(jiān)控細(xì)化到每一臺(tái)設(shè)備上。

與侯杰瑞值對(duì)班的是他的助手——MicheleHyron和DanielTorres。Michele是北京奧運(yùn)的運(yùn)營經(jīng)理，負(fù)責(zé)400名源訊公司IT專業(yè)人員以及數(shù)千名IT志愿者的人員規(guī)劃，Daniel則是北京奧運(yùn)的集成經(jīng)理，他與奧組委共同工作，負(fù)責(zé)規(guī)劃、集成測(cè)試、部署由各合作伙伴提供的不同軟件，為奧運(yùn)會(huì)提供IT解決方案。不當(dāng)值的時(shí)候，侯杰瑞則會(huì)到各場(chǎng)館去，與那里的團(tuán)隊(duì)交流、了解他們的工作狀態(tài)。

在整個(gè)技術(shù)演練中，技術(shù)團(tuán)隊(duì)像在奧運(yùn)會(huì)時(shí)一樣工作，對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控，出現(xiàn)問題馬上想辦法解決。而與奧運(yùn)時(shí)不同的是，演練中多了一個(gè)由各方專家組成的“影子團(tuán)隊(duì)”，這個(gè)團(tuán)隊(duì)在第二次演習(xí)時(shí)多達(dá)100人，他們的任務(wù)就是“找碴”。在第一次技術(shù)演練中，這些“肇事者”們總共“制造”了100多起意外；第二次演練期間，意外次數(shù)增加到500多次。當(dāng)時(shí)，TOC中氣氛緊張，墻上的監(jiān)控系統(tǒng)不斷閃現(xiàn)紅色標(biāo)志，顯示著他們的麻煩一個(gè)接一個(gè)。“肇事者”們制造的這600多次意外，主要來自歷屆奧運(yùn)會(huì)的運(yùn)營經(jīng)驗(yàn)，以及之前測(cè)試中出現(xiàn)過的問題，還有不同參與方的建議。

盡管之前的一系列“好運(yùn)北京”測(cè)試賽已經(jīng)對(duì)所有場(chǎng)館的IT系統(tǒng)進(jìn)行了測(cè)試，但奧運(yùn)會(huì)期間比賽項(xiàng)目不會(huì)先后進(jìn)行，而是要在17天內(nèi)完成28個(gè)大項(xiàng)、38個(gè)分項(xiàng)、302個(gè)小項(xiàng)的比賽，很多比賽都會(huì)同時(shí)進(jìn)行?！斑@是我們團(tuán)隊(duì)面臨的最大挑戰(zhàn)——最忙時(shí)，系統(tǒng)要同時(shí)承擔(dān)25個(gè)項(xiàng)目的運(yùn)營。最讓人緊張的是可能同時(shí)在好幾個(gè)地方發(fā)生問題?！焙罱苋鹫f。通常只有很嚴(yán)重的問題才會(huì)被報(bào)告到TOC，“這個(gè)時(shí)候，我需要分析這些問題的嚴(yán)重程度，分出先后主次，選派合適的人員去處理；同時(shí)，還要保持冷靜與鎮(zhèn)定，這樣才能保證做出正確的決定”。

按照以往的經(jīng)驗(yàn)，80%的意外都比較容易處理，比如工作人員的手機(jī)出問題或某個(gè)地方需要更換一臺(tái)電腦；而另外20%的意外則是比較復(fù)雜的情形。比如在第二次技術(shù)演練中，他們重點(diǎn)測(cè)試了網(wǎng)絡(luò)中斷、主服務(wù)器和備用服務(wù)器同事宕機(jī)、發(fā)生火災(zāi)及設(shè)備室進(jìn)水等，這需要整個(gè)團(tuán)隊(duì)協(xié)作解決?！罢厥抡摺眰兩踔僚c中國安全部門一起策劃了一次反恐演習(xí)。

第二次技術(shù)演習(xí)一開始，“肇事者”們就切斷了TOC連接天津足球比賽場(chǎng)館的網(wǎng)絡(luò)，并將故障拖延了兩個(gè)小時(shí)。這意味著在這兩小時(shí)內(nèi)，雖然天津的足球比賽仍在進(jìn)行，但在北京媒體中心的記者們卻沒法獲得信息，無法向觀眾傳播成績?！斑@一幕模擬得非常真實(shí)，甚至有官員親臨現(xiàn)場(chǎng)，要求必須在兩小時(shí)內(nèi)解決問題?！盩OC的現(xiàn)場(chǎng)氣氛緊張起來，天津場(chǎng)館的管理團(tuán)隊(duì)很快行動(dòng)起來，啟動(dòng)了應(yīng)急預(yù)案；同時(shí)，他們與TOC不斷進(jìn)行電話溝通，了解網(wǎng)絡(luò)搶修情況，準(zhǔn)備在網(wǎng)絡(luò)恢復(fù)后的第一時(shí)間把所有成績重新發(fā)送出來。

這樣的情況并不僅僅被視作技術(shù)故障來處理，侯杰瑞將它視作一次危機(jī)管理，除了讓TOC和現(xiàn)場(chǎng)團(tuán)隊(duì)合力解決技術(shù)問題外，他在此時(shí)還會(huì)與等待在北京媒體中心的記者們進(jìn)行溝通，第一時(shí)間告知故障情況及大概多久可以得到解決?！斑@是在第一次技術(shù)演練結(jié)束后增加進(jìn)來的流程。”

在第二次技術(shù)演練之后，北京奧運(yùn)的整個(gè)系統(tǒng)基本被固化下來，此后如果再需要變更，則要進(jìn)行變更管理申請(qǐng)，走嚴(yán)格的審批流程。

“服務(wù)于北京奧運(yùn)的技術(shù)系統(tǒng)是一套非常復(fù)雜的系統(tǒng)，我們很難說真正把所有問題都考慮到了，但我們認(rèn)為只要不斷測(cè)試、檢查，并保證這個(gè)龐大而復(fù)雜的系統(tǒng)一直處于被監(jiān)控的狀態(tài)，以及一旦出現(xiàn)問題就可以很快得到解決，這樣就能在北京奧運(yùn)時(shí)做到盡善盡美。”侯杰瑞說。