本文作者：sodme
本文出處：http://blog.csdn.net/sodme
聲明：本文可以不經(jīng)作者同意任意轉(zhuǎn)載，但任何對(duì)本文的引用都須注明作者、出處及此聲明信息。謝謝！！
要了解此篇文章中引用的本人寫的另一篇文章，請(qǐng)到以下地址：
http://m.shnenglu.com/zjl-1026-2001/archive/2009/08/15/93427.html以上的這篇文章是早在去年的時(shí)候?qū)懙牧耍?dāng)時(shí)正在作休閑平臺(tái)，一直在想著如何實(shí)現(xiàn)一個(gè)可擴(kuò)充的支持百萬人在線的游戲平臺(tái)，后來思路有了，就寫了那篇總結(jié)。文章的意思，重點(diǎn)在于闡述一個(gè)百萬級(jí)在線的系統(tǒng)是如何實(shí)施的，倒沒真正認(rèn)真地考察過QQ游戲到底是不是那樣實(shí)現(xiàn)的。
近日在與業(yè)內(nèi)人士討論時(shí)，提到QQ游戲的實(shí)現(xiàn)方式并不是我原來所想的那樣，于是，今天又認(rèn)真抓了一下QQ游戲的包，結(jié)果確如這位兄弟所言，QQ游戲的架構(gòu)與我當(dāng)初所設(shè)想的那個(gè)架構(gòu)相差確實(shí)不小。下面，我重新給出QQ百萬級(jí)在線的技術(shù)實(shí)現(xiàn)方案，并以此展開，談?wù)劥笮驮诰€系統(tǒng)中的負(fù)載均衡機(jī)制的設(shè)計(jì)。
從QQ游戲的登錄及游戲過程來看，QQ游戲中，也至少分為三類
服務(wù)器。它們是：
第一層：登陸/賬號(hào)服務(wù)器(Login Server)，負(fù)責(zé)驗(yàn)證用戶身份、向客戶端傳送初始信息，從QQ聊天軟件的封包常識(shí)來看，這些初始信息可能包括“會(huì)話密鑰”此類的信息，以后客戶端與后續(xù)服務(wù)器的通信就使用此會(huì)話密鑰進(jìn)行身份驗(yàn)證和信息加密；
第二層：大廳服務(wù)器(估且這么叫吧, Game Hall Server)，負(fù)責(zé)向客戶端傳遞當(dāng)前游戲中的所有房間信息，這些房間信息包括：各房間的連接IP，PORT，各房間的當(dāng)前在線人數(shù)，房間名稱等等。
第三層：游戲邏輯服務(wù)器(Game Logic Server)，負(fù)責(zé)處理房間邏輯及房間內(nèi)的桌子邏輯。
從靜態(tài)的表述來看，以上的三層結(jié)構(gòu)似乎與我以前寫的那篇文章相比并沒有太大的區(qū)別，事實(shí)上，重點(diǎn)是它的工作流程，QQ游戲的通信流程與我以前的設(shè)想可謂大相徑庭，其設(shè)計(jì)思想和技術(shù)水平確實(shí)非常優(yōu)秀。具體來說，QQ游戲的通信過程是這樣的：
1.由Client向Login Server發(fā)送賬號(hào)及密碼等登錄消息，Login Server根據(jù)校驗(yàn)結(jié)果返回相應(yīng)信息。可以設(shè)想的是，如果Login Server通過了Client的驗(yàn)證，那么它會(huì)通知其它Game Hall Server或?qū)⑼ㄟ^驗(yàn)證的消息以及會(huì)話密鑰放在Game Hall Server也可以取到的地方。總之，Login Server與Game Hall Server之間是可以共享這個(gè)校驗(yàn)成功消息的。一旦Client收到了Login Server返回成功校驗(yàn)的消息后，Login Server會(huì)主動(dòng)斷開與Client的連接，以騰出socket資源。Login Server的IP信息，是存放在QQGame\config\QQSvrInfo.ini里的。
2.Client收到Login Server的校驗(yàn)成功等消息后，開始根據(jù)事先選定的游戲大廳入口登錄游戲大廳，各個(gè)游戲大廳Game Hall Server的IP及Port信息，是存放在QQGame\Dirconfig.ini里的。Game Hall Server收到客戶端Client的登錄消息后，會(huì)根據(jù)一定的策略決定是否接受Client的登錄，如果當(dāng)前的Game Hall Server已經(jīng)到了上限或暫時(shí)不能處理當(dāng)前玩家登錄消息，則由Game Hall Server發(fā)消息給Client，以讓Client重定向到另外的Game Hall Server登錄。重定向的IP及端口信息，本地沒有保存，是通過數(shù)據(jù)包或一定的算法得到的。如果當(dāng)前的Game Hall Server接受了該玩家的登錄消息后，會(huì)向該Client發(fā)送房間目錄信息，這些信息的內(nèi)容我上面已經(jīng)提到。目錄等消息發(fā)送完畢后，Game Hall Server即斷開與Client的連接，以騰出socket資源。在此后的時(shí)間里，Client每隔30分鐘會(huì)重新連接Game Hall Server并向其索要最新的房間目錄信息及在線人數(shù)信息。
3.Client根據(jù)列出的房間列表，選擇某個(gè)房間進(jìn)入游戲。根據(jù)我的抓包結(jié)果分析，QQ游戲，并不是給每一個(gè)游戲房間都分配了一個(gè)單獨(dú)的端口進(jìn)行處理。在QQ游戲里，有很多房間是共用的同一個(gè)IP和同一個(gè)端口。比如，在斗地主一區(qū)，前50個(gè)房間，用的都是同一個(gè)IP和Port信息。這意味著，這些房間，在QQ游戲的服務(wù)器上，事實(shí)上，可能是同一個(gè)程序在處理！！！QQ游戲房間的人數(shù)上限是400人，不難推算，QQ游戲單個(gè)服務(wù)器程序的用戶承載量是2萬，即QQ的一個(gè)游戲邏輯服務(wù)器程序最多可同時(shí)與2萬個(gè)玩家保持TCP連接并保證游戲效率和品質(zhì)，更重要的是，這樣可以為騰訊省多少money呀！！！哇哦！QQ確實(shí)很牛。以2萬的在線數(shù)還能保持這么好的游戲品質(zhì)，確實(shí)不容易！QQ游戲的單個(gè)服務(wù)器程序，管理的不再只是邏輯意義上的單個(gè)房間，而可能是許多邏輯意義上的房間。其實(shí)，對(duì)于服務(wù)器而言，它就是一個(gè)大區(qū)服務(wù)器或大區(qū)服務(wù)器的一部分，我們可以把它理解為一個(gè)龐大的游戲地圖，它實(shí)現(xiàn)的也是分塊處理。而對(duì)于每一張桌子上的打牌邏輯，則是有一個(gè)統(tǒng)一的處理流程，50個(gè)房間的50＊100張桌子全由這一個(gè)服務(wù)器程序進(jìn)行處理(我不知道QQ游戲的具體打牌邏輯是如何設(shè)計(jì)的，我想很有可能也是分區(qū)域的，分塊的)。當(dāng)然，以上這些只是服務(wù)器作的事，針對(duì)于客戶端而言，客戶端只是在表現(xiàn)上，將一個(gè)個(gè)房間單獨(dú)羅列了出來，這樣作，是為便于玩家進(jìn)行游戲以及減少服務(wù)器的開銷，把這個(gè)大區(qū)中的每400人放在一個(gè)集合內(nèi)進(jìn)行處理（比如聊天信息，“向400人廣播”和“向2萬人廣播”，這是完全不同的兩個(gè)概念）。
4.需要特別說明的一點(diǎn)。進(jìn)入QQ游戲房間后，直到點(diǎn)擊某個(gè)位置坐下打開另一個(gè)程序界面，客戶端的程序，沒有再創(chuàng)建新的socket，而仍然使用原來大廳房間客戶端跟游戲邏輯服務(wù)器交互用的socket。也就是說，這是兩個(gè)進(jìn)程共用的同一個(gè)socket！不要小看這一點(diǎn)。如果你在創(chuàng)建桌子客戶端程序后又新建了一個(gè)新的socket與游戲邏輯服務(wù)器進(jìn)行通信，那么由此帶來的玩家進(jìn)入、退出、逃跑等消息會(huì)帶來非常麻煩的數(shù)據(jù)同步問題，俺在剛開始的時(shí)候就深受其害。而一旦共用了同一個(gè)socket后，你如果退出桌子，服務(wù)器不涉及釋放socket的問題，所以，這里就少了很多的數(shù)據(jù)同步問題。關(guān)于多個(gè)進(jìn)程如何共享同一個(gè)socket的問題，請(qǐng)去google以下內(nèi)容：WSADuplicateSocket。
以上便是我根據(jù)最新的QQ游戲抓包結(jié)果分析得到的QQ游戲的通信流程，當(dāng)然，這個(gè)流程更多的是客戶端如何與服務(wù)器之間交互的，卻沒有涉及到服務(wù)器彼此之間是如何通信和作數(shù)據(jù)同步的。關(guān)于服務(wù)器之間的通信流程，我們只能基于自己的經(jīng)驗(yàn)和猜想，得出以下想法：
1.Login Server與Game Hall Server之前的通信問題。Login Server是負(fù)責(zé)用戶驗(yàn)證的，一旦驗(yàn)證通過之后，它要設(shè)法讓Game Hall Server知道這個(gè)消息。它們之前實(shí)現(xiàn)信息交流的途徑，我想可能有這樣幾條：a. Login Server將通過驗(yàn)證的用戶存放到臨時(shí)數(shù)據(jù)庫中；b. Login Server將驗(yàn)證通過的用戶存放在內(nèi)存中，當(dāng)然，這個(gè)信息，應(yīng)該是全局可訪問的，就是說所有QQ的Game Hall Server都可以通過服務(wù)器之間的數(shù)據(jù)包通信去獲得這樣的信息。
2.Game Hall Server的最新房間目錄信息的取得。這個(gè)信息，是全局的，也就是整個(gè)游戲中，只保留一個(gè)目錄。它的信息來源，可以由底層的房間服務(wù)器逐級(jí)報(bào)上來，報(bào)給誰？我認(rèn)為就如保存的全局登錄列表一樣，它報(bào)給保存全局登錄列表的那個(gè)服務(wù)器或數(shù)據(jù)庫。
3.在QQ游戲中，同一類型的游戲，無法打開兩上以上的游戲房間。這個(gè)信息的判定，可以根據(jù)全局信息來判定。
以上關(guān)于服務(wù)器之間如何通信的內(nèi)容，均屬于個(gè)人猜想，QQ到底怎么作的，恐怕只有等大家中的某一位進(jìn)了騰訊之后才知道了。呵呵。不過，有一點(diǎn)是可以肯定的，在整個(gè)服務(wù)器架構(gòu)中，應(yīng)該有一個(gè)地方是專門保存了全局的登錄玩家列表，只有這樣才能保證玩家不會(huì)重復(fù)登錄以及進(jìn)入多個(gè)相同類型的房間。
在前面的描述中，我曾經(jīng)提到過一個(gè)問題：當(dāng)?shù)卿洰?dāng)前Game Hall Server不成功時(shí)，QQ游戲服務(wù)器會(huì)選擇讓客戶端重定向到另位的服務(wù)器去登錄，事實(shí)上，QQ聊天服務(wù)器和MSN服務(wù)器的登錄也是類似的，它也存在登錄重定向問題。
那么，這就引出了另外的問題，由誰來作這個(gè)策略選擇？以及由誰來提供這樣的選擇資源？這樣的處理，便是負(fù)責(zé)負(fù)載均衡的服務(wù)器的處理范圍了。由QQ游戲的通信過程分析派生出來的針對(duì)負(fù)責(zé)均衡及百萬級(jí)在線系統(tǒng)的更進(jìn)一步討論，將在下篇文章中繼續(xù)。
在此，特別感謝網(wǎng)友tilly及某位不便透露姓名的網(wǎng)友的討論，是你們讓我決定認(rèn)真再抓一次包探個(gè)究竟。
<未完待續(xù)>