系統(tǒng)中,用戶的消息在移動(dòng)設(shè)備與接入服務(wù)器建立的Tcp長連接上傳遞。這些消息包括:文本,復(fù)合文本,位置信息,音頻剪輯,圖像等等。
發(fā)送者傳送消息到平臺(tái)系統(tǒng)內(nèi)部并將消息寫入gridfs,待接收者上線時(shí)平臺(tái)將消息推送至接收者。
考慮到帶寬利用,接收者得到的消息將不包含二進(jìn)制數(shù)據(jù),例如: 音頻,圖像等等。 這要求接收者對平臺(tái)發(fā)起一次獲取消息包內(nèi)指定的音頻和圖像數(shù)據(jù)的請求。
移動(dòng)端向平臺(tái)請求二進(jìn)制數(shù)據(jù)的情況還包含 【離線文件傳送】場景 。
二進(jìn)制數(shù)據(jù)往往是指那些數(shù)據(jù)量比較大的對象,這些對象在移動(dòng)兩端交換時(shí),交互通道將不占用與接入服務(wù)器的連接通道,而是通過nginx傳送到平臺(tái)內(nèi)部; 同樣接收者獲取二進(jìn)制數(shù)據(jù)也是通過nginx獲取。這種請求是HTTP的。
這里整理的是如何在平臺(tái)部署 【負(fù)載均衡的集群的分布式的文件服務(wù)】
nginx : http服務(wù),提供反向代理和負(fù)載均衡服務(wù)(集群可用DNS或考慮LVS方案)
mongodb+gridfs : 用于文件服務(wù)提供,其內(nèi)置gridfs提供了分布式,海量存儲(chǔ)的方案
gevent+webpy : nginx直接讀取gridfs是不合適的,配置了cgi才能完成特定功能,這里使用webpy,比django更輕更好用。
webpy的作用是接收到上傳和下傳文件的請求,讀寫gridfs文件內(nèi)容給移動(dòng)端。
gevent是高效的通信框架,雖然單線程工作,但性能非常的好;
用好gevent關(guān)鍵在與外部的io必須全部都是異步的,例如: 數(shù)據(jù)庫,文件磁盤訪問等等。
mongodb對gevent已經(jīng)支持,gevent對webpy,django,psycopg2支持也相當(dāng)?shù)暮茫砸峁﹚ebservice服務(wù)那就考慮用gevent+webpy或django把,性能是杠杠的,比 apache+mod_wsgi要好很多 ,而且gevent是進(jìn)程內(nèi)的不同的HTTP REQUEST可以是共享數(shù)據(jù)的,這一點(diǎn)非常誘惑(apache+mod_wsgi的REQUEST可是隔離的哦!除非您通過redis的PUB/SUB實(shí)現(xiàn)兩個(gè)REQUEST的通信)
關(guān)注的問題:
1.下傳大文件時(shí)的處理
如果直接用nginx當(dāng)然沒有這個(gè)問題 ,但用webpy讀取文件返回HttpResponse時(shí)問題來了,總不至于讀取整個(gè)文件,然后再return。
這種方式在php有flush方法,python只能用yield來做
2.上傳大文件時(shí)的處理
當(dāng)接收到http的文件POST請求時(shí),文件已經(jīng)全部緩存到web服務(wù)器,如果同時(shí)幾千個(gè)文件上傳在進(jìn)行,服務(wù)器就會(huì)被擠爆,這也是很多網(wǎng)站不允許大文件上傳的緣故吧。關(guān)于這個(gè)問題,我想就需要修改一下webpy關(guān)于文件上傳的處理代碼了,將接收到的文件數(shù)據(jù)以流的形式寫入到gridfs里去作為臨時(shí)文件被緩存,等完全接收文件時(shí),才通知到handler代碼,這樣必定高效很多(新的問題又來了,會(huì)不會(huì)把gridfs搞爆掉! 處理時(shí)考慮延時(shí)緩存提交gridfs把)。
BUF_SIZE = 262144
class download:
def GET(self):
file_name = 'file_name'
file_path = os.path.join('file_path', file_name)
f = None
try:
f = open(file_path, "rb")
webpy.header('Content-Type','application/octet-stream')
webpy.header('Content-disposition', 'attachment; filename=%s.dat' % file_name)
while True:
c = f.read(BUF_SIZE)
if c:
yield c
else:
break
except Exception, e:
print e
yield 'Error'
finally:
if f:
f.close()
links:
http://api.mongodb.org/python
http://webpy.org/cookbook/storeupload.zh-cn
http://webpy.org/cookbook/streaming_large_files
http://gevent.org 下份代碼 demo很值得看哦 gevent 1.0 由libev 替換了libevent