2021年春節(jié)，在全國上下“就地過年”的號召下，很多人第一次經(jīng)歷了除夕夜沒有與家人團聚。而對鄒方明來說，除夕夜在公司早已是家常便飯，過去九年，他的年夜飯時間都是與同事們一起度過。

以往，鄒方明和同事們習(xí)慣叫海底撈的外賣到公司，大家以一頓火鍋來為過去的一年收尾，但今年，因為搬到新的大廈，不能開火，所以大家只能跑到公司對面的一個餐廳去吃飯。

所謂的年夜飯，整個過程也十分平淡，沒有人喝酒，吃飯時間也只有下午5點半到6點半約一個小時，用餐完畢，大家都快速回到了工作崗位上。因為不出意外的話，晚上7點他們會迎來一波用戶高峰，而接下來的時間，他們的任務(wù)就是監(jiān)測一波又一波的用戶高峰，并應(yīng)對可能到來的突發(fā)流量。

伴隨著新年的鐘聲敲響，鄒方明眼前的監(jiān)測軟件一切正常，他們終于可以松一口氣，因為又挺過了一年“春保”。

鄒方明現(xiàn)在是騰訊基礎(chǔ)架構(gòu)部自研業(yè)務(wù)中心總監(jiān)，他所在部門的主要職責是做騰訊內(nèi)部自研業(yè)務(wù)的研發(fā)支撐，簡單來說，就是該部門接入了騰訊超過90%的業(yè)務(wù)，用戶平時使用的騰訊產(chǎn)品，如微信、QQ等，底層的技術(shù)支撐都與它相關(guān)。

而“春?！笔谴汗?jié)重保的簡稱，鄒方明告訴21世紀經(jīng)濟報道，騰訊的產(chǎn)品以社交產(chǎn)品為主，而社交產(chǎn)品一定會有熱點事件、關(guān)鍵時刻以及重點保護時刻，其中，春節(jié)則是挑戰(zhàn)最大、任務(wù)最重的重點保護時刻。

據(jù)悉，騰訊內(nèi)部開始設(shè)立“春?！表椖渴菑?013年春節(jié)開始。騰訊云副總裁、騰訊基礎(chǔ)架構(gòu)部總經(jīng)理肖志立在接受記者采訪時表示，春節(jié)的高峰期其實在PC互聯(lián)網(wǎng)時代就有，只不過那時候，用戶上網(wǎng)還沒有那么方便，所以當時的高峰不是在除夕，而是在初四或初五，大家過完春節(jié)開始工作后，要把一些照片上傳到QQ空間進行分享，但整體來說，那時候的保障壓力不是很大。

但從2012年開始，尤其是當微信出現(xiàn)之后，移動互聯(lián)網(wǎng)的浪潮席卷而來，用戶的溝通互動變得更加實時，也由此催生出真正的春節(jié)高峰。之所以說這是真正的高峰，是因為與過去PC互聯(lián)網(wǎng)時代相比，它的峰值有了成百上千倍的增長，當然，這種巨大的反差，也給從事技術(shù)保障的工作人員，留下了許多慘痛的回憶。

意外不斷的“春?！?/h4>

對鄒方明來說，2013年是他第一次經(jīng)歷“春?！保且彩撬睢巴纯唷钡囊荒?。

當時，2011年1月發(fā)布的微信正快速發(fā)展，2012年3月，微信的用戶量突破1億，到了2013年初，微信的用戶量已經(jīng)突破3億。而鄒方明是微信聊天圖片以及聊天視頻整套系統(tǒng)的研發(fā)負責人，如上文所述，2013年之前，騰訊內(nèi)部并沒有明確的“春?！备拍?，鄒方明也沒遇到過增長如此之快的產(chǎn)品，所以，在他腦海里，也沒想過微信會突然出現(xiàn)“大擁堵”。

2013年的除夕，在整個移動社交如火如荼的背景下，人們在移動端的互動變得越發(fā)頻繁。微信里，用戶們拉起各種群聊，并開始群發(fā)拜年視頻。社交產(chǎn)品的魅力在于它的裂變，一傳十，十傳百，但對技術(shù)人員來說，這種裂變帶來的則是恐怖的高并發(fā)。

鄒方明回憶，2013年除夕，拜年視頻的量突然增長了六七倍，這已經(jīng)超過他們的儲備。當時，面對突如其來的巨大視頻量，鄒方明有些束手無策，因為沒有準備預(yù)備方案，也無法臨時調(diào)取更多服務(wù)器資源，為了保護整個系統(tǒng)不崩掉，他們只能采取降級的方法。

這里的降級，是指限制用戶發(fā)視頻的大小，一開始的限制是10兆以上的視頻不讓發(fā)，后來變成6兆、4兆、2兆，整個降級過程從當日晚上7點一直持續(xù)到10點，整整三個小時。鄒方明稱，晚上8點多最高峰的時候，他們幾乎限制了70%-80%的用戶發(fā)視頻，這是非?？膳碌?，其間他們也收到了大量用戶投訴，但當時確實束手無策，只能通過這種粗暴的方式，把流量高峰熬過去。

有了2013年春節(jié)的慘痛經(jīng)驗之后，騰訊內(nèi)部開始進行“春?！被I備。鄒方明介紹，“春?！表椖康幕I備周期基本上從每年10月份開始，持續(xù)兩到三個月左右。籌備過程中，產(chǎn)品和技術(shù)團隊會先把春節(jié)期間的產(chǎn)品玩法大致都確定下來，然后再根據(jù)這些玩法來衡量各個產(chǎn)品要用多少帶寬和存儲等。

當然，這個時候并不是產(chǎn)品提出多少資源需求就都能滿足，鄒方明團隊還會把需求和資源做一個著重的平衡，目的是在資源有限的情況下，通過技術(shù)的提升和柔性的策略，確保各個產(chǎn)品的用戶體驗。

但2015年春節(jié)，在進行了“春?！睖蕚湎?，意外還是發(fā)生了。因為2014年10月，微信上線了小視頻功能，可以分享到朋友圈和聊天界面，所以“春?！鼻跋?，即10月、11月時，微信小視頻的用戶量并不大，在做預(yù)估時，也根據(jù)它的量級給了幾十倍的容量。

可到了2015年除夕，微信小視頻突然產(chǎn)生了超出預(yù)期的巨大峰值。在春晚開始前的一個小時左右，小視頻的發(fā)布量激增，系統(tǒng)開始出現(xiàn)故障。鄒方明和同事們開始緊急擴容，但是，由于當時微信小視頻的系統(tǒng)是復(fù)用騰訊視頻的，更加偏向PGC，而不是UGC，所以處理過程也更加復(fù)雜。

鄒方明回憶稱，當時緊急擴容了一個索引模塊后，索引沒問題了，但隨著量繼續(xù)上漲，前端接入模塊又出現(xiàn)問題，然后處理好接入模塊后，另一個視頻處理模塊又不行了。

“所以當天晚上，問題也持續(xù)了約三個小時，當我們把能擴的地方都擴完之后，用戶高峰已經(jīng)過去?！编u方明說，雖然整個系統(tǒng)沒有受影響，但是對用戶來說，這個除夕的小視頻體驗是不好的。所以2015年春節(jié)過后，騰訊基礎(chǔ)架構(gòu)部對整個視頻系統(tǒng)架構(gòu)做了調(diào)整，并針對小視頻的場景做了優(yōu)化。

扛住紅包壓力

2015年春節(jié)，除了微信小視頻帶來的緊急狀況之外，騰訊“春?！睂嶋H上還迎來了另外一場大考——微信紅包的春晚互動。

肖志立向記者表示，大概2014年11月，他們從微信支付團隊得知，春節(jié)要和春晚合作進行一場紅包活動，觸達的用戶規(guī)模會很大。當時，距離春節(jié)只有兩個月的時間，這對肖志立團隊而言，無疑是一次重大考驗。

肖志立稱，當時面臨的問題主要有三個：首先是原來的紅包系統(tǒng)肯定不能用了，因為原來的系統(tǒng)本來是面向公司內(nèi)部幾萬人使用的，現(xiàn)在要擴大到給10億用戶發(fā)紅包，整個系統(tǒng)必須重做。

其次，春節(jié)的紅包活動是通過春晚口播的形式，讓用戶參與搶紅包，這里面的挑戰(zhàn)是很難預(yù)估系統(tǒng)要承載多少訪問量?！安恢酪惺芏啻蟮膲毫Γ@其實是做架構(gòu)的大忌，但我們當時確實沒有任何參考?！毙ぶ玖⒄f。

最后，是這次技術(shù)保障工作只許成功，不許失敗，“如果失敗，那就是在全國人民面前丟臉，所以技術(shù)層面的壓力會比任何時候都大。”

在這不到兩個月的時間里，肖志立帶著騰訊基礎(chǔ)架構(gòu)部的紅包系統(tǒng)團隊和微信支付團隊一起，通宵達旦地待在深圳騰訊大廈，每天基本上是晚上12點鐘提交版本，凌晨1點開始做測試，大概凌晨三四點鐘出結(jié)果，大家再繼續(xù)上來研究第二天如何優(yōu)化和改造。

一直到2015年2月10日左右，整個紅包系統(tǒng)基本上確定了下來。但直到除夕前三天，整個團隊仍然在改代碼，因為在反復(fù)測試過程中，只要發(fā)現(xiàn)可能帶來風險的地方，肖志立都會讓團隊把它改掉，“我們必須盡量把所有風險都排除掉?！?/p>

最終，騰訊的2015年春晚紅包活動圓滿完成，微信支付也憑借這次合作，在移動支付領(lǐng)域完成了對支付寶的追趕。據(jù)微信官方數(shù)據(jù)顯示，2015年除夕當日，微信紅包收發(fā)總量達到10.1億次，在晚上8點到次日凌晨零點四十八分的時間里，春晚微信搖一搖互動總量則達到110億次。

騰訊基礎(chǔ)架構(gòu)部技術(shù)運營中心總監(jiān)肖攀告訴21世紀經(jīng)濟報道記者，對于紅包系統(tǒng)來說，如果遇到了超預(yù)期的巨大流量壓力，他們也會采取一些降級的辦法，比如從金額上做一些限制，這樣就可以把并發(fā)量快速降下來。

另外據(jù)肖攀介紹，整個紅包系統(tǒng)其實像漏斗一樣，它每一層都在過濾，所以搶紅包的“搶”這一下，是用戶并發(fā)量最高的，其次是拆，等到最后真正的交易環(huán)節(jié)，其實用戶并發(fā)量已經(jīng)少了很多。

雖然近幾年，微信紅包的發(fā)展速度也很快，但是再也不會像2015年那樣出現(xiàn)從10萬量級到10億量級的飛躍式增長。目前，微信紅包的用戶量已經(jīng)接近于微信的用戶量，春節(jié)期間并發(fā)量的增長也相對穩(wěn)定，對騰訊的紅包系統(tǒng)來說，現(xiàn)在的主要工作就是對系統(tǒng)進行不斷優(yōu)化，降低成本和資源。

“春?！弊兂沙B(tài)

鄒方明告訴記者，若回顧騰訊過去九年的“春?！?，大致可以分為兩個階段，第一個階段是2013年至2016年，可以稱為承載力不足的階段。

在這段時間，有業(yè)務(wù)快速發(fā)展的原因，也有騰訊自身技術(shù)架構(gòu)不完善的原因，總之就是系統(tǒng)能力不夠支撐業(yè)務(wù)的增長，導(dǎo)致了各種故障的出現(xiàn)。所以這個時期，主要工作就是提升承載能力，除了增加硬件設(shè)備，在技術(shù)手段上，也要不斷進行性能提升。

第二個階段則是2016年以后，這個階段，在過去幾年的沉淀和優(yōu)化下，騰訊的承載能力已經(jīng)基本沒有問題，這時候要做的就是精益求精。伴隨著用戶對產(chǎn)品體驗的要求不斷增加，騰訊也需要在保證系統(tǒng)正常運行的基礎(chǔ)上，不斷優(yōu)化承載能力，比如過去，可能對技術(shù)的要求是不能拒絕服務(wù)超過30分鐘，而現(xiàn)在，拒絕服務(wù)的情況已經(jīng)不會發(fā)生，對技術(shù)的要求則變成服務(wù)的時延不能超過5分鐘。

今年的“春?！?，肖志立整體體驗下來，感覺十分順暢，所有的高峰期都在預(yù)測范圍內(nèi)。所以，對肖志立帶領(lǐng)的騰訊基礎(chǔ)架構(gòu)部來說，像“春保”這樣的重點時刻的保障工作，在現(xiàn)有的業(yè)務(wù)條件下，壓力已經(jīng)趨于平穩(wěn)，要提防的主要是一些突然出現(xiàn)的關(guān)鍵時刻。

比如2020年初，因為新冠疫情的原因，讓2019年底才上線的騰訊會議迎來了一次關(guān)鍵時刻。按照騰訊會議團隊原先的目標，是預(yù)計2020年底的DAU達到5萬，到2月中旬時，騰訊會議的同時在線用戶已經(jīng)突破400萬，達到了1000倍的增長。

這種大幅的增長，也給騰訊基礎(chǔ)架構(gòu)部帶來了巨大的挑戰(zhàn)。肖志立表示，其實單從技術(shù)層面，在線用戶幾百萬的業(yè)務(wù)騰訊有很多，做這種業(yè)務(wù)的支撐也不是什么難題。但當時之所以情況緊急，是因為疫情的影響下，他們無法找到足夠的物理資源，比如運營商的BGP寬帶滿足不了，外網(wǎng)的IP地址也滿足不了，一些設(shè)備供應(yīng)商無法復(fù)工，各種設(shè)備也供應(yīng)不上。

這個時候，這些硬件的問題只能通過軟件來想辦法解決。肖志立稱，IP地址不夠，就想辦法用端口復(fù)用的技術(shù)，新機器供應(yīng)不了，就從全國各地調(diào)集服務(wù)器，重新通過虛擬化或者軟件架構(gòu)的方式去適配，爭取先把騰訊會議的業(yè)務(wù)支撐起來。

就是在這種條件極為艱巨的情況下，騰訊會議完成了100萬核的擴容。其實從難度上來講，騰訊會議的緊急擴容要比2015年應(yīng)對春晚紅包活動更難，因為這是在完全沒有準備的情況下，應(yīng)對的一次挑戰(zhàn)。而騰訊之所以能夠頂住壓力，也是因為過去經(jīng)歷了太多次像“春?！币粯拥闹匾獣r刻。

鄒方明便表示，現(xiàn)在從故障發(fā)生的頻率和維護的穩(wěn)定性來說，技術(shù)保障工作變得更加容易了，因為大家都身經(jīng)百戰(zhàn)，很多員工從2013年“春保”工作至今，對每個業(yè)務(wù)的性能和需求都十分熟悉。所以現(xiàn)在出現(xiàn)大狀況，主要就是因為沒想到，但實際上，這種沒想到的情況也已經(jīng)越來越少。