技術(shù)發(fā)展日新月異, 由于長期的學(xué)習(xí)和工作原因, 積累了一些想法, 想逐步實(shí)現(xiàn)一個(gè)(或一些)較大的可以直接
商業(yè)運(yùn)營的系統(tǒng), 大致包括分布式存儲系統(tǒng), 分布式計(jì)算系統(tǒng), 大表數(shù)據(jù)存儲系統(tǒng), 搜索引擎平臺, 網(wǎng)頁抓取平臺等, 主要從hawk系統(tǒng)發(fā)展而來, 技術(shù)主要來自google GFS/MapReduce/BigTable, 以及hadoop等, 希望能實(shí)現(xiàn)一套較
完整google技術(shù)平臺以應(yīng)用于普通企業(yè)甚至個(gè)人的集群存儲和計(jì)算處理, 主要還是改造自hadoop. 另外本人的hawk搜索系統(tǒng)屬于一個(gè)實(shí)驗(yàn)產(chǎn)品,所以有很多不完善,hawk-6.22應(yīng)該是個(gè)較穩(wěn)定的
版本,如果希望得到源碼請直接參考hadoop/lucene/nutch等,另外由于一直較忙,而且相關(guān)文檔屬于副產(chǎn)品,寫好也不容易,難以持續(xù),個(gè)人建議直接看開源產(chǎn)品源碼更好:) 謝謝關(guān)注