Javen-Studio 咖啡小屋

   技術(shù)發(fā)展日新月異, 由于長期的學(xué)習(xí)和工作原因, 積累了一些想法, 想逐步實(shí)現(xiàn)一個(gè)(或一些)較大的可以直接
商業(yè)運(yùn)營的系統(tǒng), 大致包括分布式存儲(chǔ)系統(tǒng), 分布式計(jì)算系統(tǒng), 大表數(shù)據(jù)存儲(chǔ)系統(tǒng), 搜索引擎平臺(tái), 網(wǎng)頁抓取平臺(tái)等, 主要從hawk系統(tǒng)發(fā)展而來, 技術(shù)主要來自google GFS/MapReduce/BigTable, 以及hadoop等, 希望能實(shí)現(xiàn)一套較
完整google技術(shù)平臺(tái)以應(yīng)用于普通企業(yè)甚至個(gè)人的集群存儲(chǔ)和計(jì)算處理, 主要還是改造自hadoop. 另外本人的hawk搜索系統(tǒng)屬于一個(gè)實(shí)驗(yàn)產(chǎn)品,所以有很多不完善,hawk-6.22應(yīng)該是個(gè)較穩(wěn)定的
版本,如果希望得到源碼請(qǐng)直接參考hadoop/lucene/nutch等,另外由于一直較忙,而且相關(guān)文檔屬于副產(chǎn)品,寫好也不容易,難以持續(xù),個(gè)人建議直接看開源產(chǎn)品源碼更好:) 謝謝關(guān)注

Hawk搜索引擎平臺(tái)0.6.22測(cè)試版(免費(fèi)下載)

Hawk 搜索引擎平臺(tái)是面向中小型網(wǎng)站，可以定制的垂直搜索引擎平臺(tái)。本搜索引擎平臺(tái)目標(biāo)是方便用戶搭建站內(nèi)搜索、某個(gè)領(lǐng)域的垂直搜索、以及檢索個(gè)人文檔以及自己關(guān)注的網(wǎng)站信息的桌面搜索等應(yīng)用領(lǐng)域。它改造自Lucene，Hadoop和Nutch系統(tǒng)，是純Java的搜索平臺(tái)軟件，可以運(yùn)行于Windows及Linux等平臺(tái)，具備基本的抓取、索引和檢索功能，本搜索引擎免費(fèi)下載，歡迎大家測(cè)試和使用！

Hawk 搜索引擎平臺(tái)特點(diǎn)簡介

• 對(duì)網(wǎng)頁進(jìn)行深度抓取和分析，自定義抓取規(guī)則，實(shí)現(xiàn)站內(nèi)搜索。
• 可以索引各種常用類型文檔，實(shí)現(xiàn)桌面文檔檢索。
• 單臺(tái)PC服務(wù)器能索引上千萬文檔，可以用于中小型檢索服務(wù)。
• 可以自定義網(wǎng)頁展示模板，或XML接口，輕松與各種系統(tǒng)整合。
• 自動(dòng)分析網(wǎng)頁文本，提取新詞，如人名，地名等。
• 支持檢索詞自動(dòng)推薦以及繁簡轉(zhuǎn)換功能。
• 可以定制主頁的各項(xiàng)文字，包括包含自己的歡迎網(wǎng)頁。

擁有百萬文檔的開發(fā)文檔庫搜索

本開發(fā)文檔庫索引了大量常用軟件的開發(fā)文檔和API參考手冊(cè)，包括主要的Java文檔、RFC文檔和Linux系統(tǒng)下的文檔如man手冊(cè)等，完整的最新版MSDN聯(lián)機(jī)叢書，Android/Symbian參考手冊(cè)，Eclipse/Oracle幫助文檔，Apple和iPhone系統(tǒng)開發(fā)文檔，Solaris、OpenOffice和mysql手冊(cè)等等，超過百萬篇網(wǎng)頁及PDF等格式文檔，歡迎使用！

1. The Enterprise Library Core
2. Design of the Logging Application Block
3. Design of the Security Application Block
4. Design of the Caching Application Block
5. Design of the Validation Application Block
   

　　Apache Lucene是一個(gè)高性能（high-performance）的全能的全文檢索（full-featured text search engine）的搜索引擎框架庫，完全（entirely）使用Java開發(fā)。它是一種技術(shù)（technology），適合于（suitable for）幾乎（nearly）任何一種需要全文檢索（full-text search）的應(yīng)用，特別是跨平臺(tái)（cross-platform）的應(yīng)用。

• Annotated Lucene：第一節(jié) Lucene是什么
• Annotated Lucene：第二節(jié) 索引文件概述
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(1) - 每個(gè)Index包含的文件
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(2) - 每個(gè)Segment包含的文件
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(3) - Field數(shù)據(jù)（.fdx和.fdt）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(4) - Term字典（.tii和.tis）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(5) - Term頻率數(shù)據(jù)（.frq）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(6) - Positions位置信息數(shù)據(jù)（.prx）
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(7) - Term向量文件
• Annotated Lucene：第三節(jié) 索引文件結(jié)構(gòu)(8) - 刪除的文檔 （.del）
• Annotated Lucene：第四節(jié) 索引是如何創(chuàng)建的
• Annotated Lucene：第四節(jié) 索引創(chuàng)建過程(1)
• Annotated Lucene：第四節(jié) 索引創(chuàng)建過程(2)
• Annotated Lucene：第五節(jié) 索引是如何存儲(chǔ)的
• Annotated Lucene：第六節(jié) 文檔內(nèi)容是如何分析的
• Annotated Lucene：第七節(jié) 如何給文檔評(píng)分

 

備注：未完待續(xù)，部分內(nèi)容和插圖譯自Lucene網(wǎng)站及代碼，個(gè)別圖片來自網(wǎng)上
Annotated Hadoop 作者：naven 日期：2008-10-20

Hawk搜索引擎平臺(tái)應(yīng)用：詞典搜索和文檔搜索

Hawk搜索引擎平臺(tái)可用來定制自己的搜索應(yīng)用服務(wù)，如站內(nèi)網(wǎng)頁搜索和桌面搜索。下面介紹兩個(gè)很有用的桌面搜索應(yīng)用。辭典搜索收錄有四十部超過800萬詞匯的常用英語和漢語詞典，如朗文，牛津，漢語大詞典等。文檔搜索服務(wù)索引了主要的Java文檔和Linux系統(tǒng)下的文檔如man手冊(cè)等，歡迎使用！



© 2008 Javen-Studio http://javenstudio.org 咖啡小屋

Hadoop原來是Apache Lucene下的一個(gè)子項(xiàng)目，它最初是從Nutch項(xiàng)目中分離出來的專門負(fù)責(zé)分布式存儲(chǔ)以及分布式運(yùn)算的項(xiàng)目。簡單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。本文先從源碼角度剖析MapReduce框架及運(yùn)行原理。

Annotated Hadoop: 第一節(jié) Hadoop是什么
http://m.shnenglu.com/javenstudio/articles/43072.html

Annotated Hadoop: 第二節(jié) MapReduce框架結(jié)構(gòu)
http://m.shnenglu.com/javenstudio/articles/43073.html

Annotated Hadoop: 第三節(jié) MapReduce工作原理
http://m.shnenglu.com/javenstudio/articles/43075.html


未完待續(xù)
Annotated Hadoop 作者：naven 日期：2007-12-29

      Reflection 是Java被視為動(dòng)態(tài)（或準(zhǔn)動(dòng)態(tài)）語言的一個(gè)關(guān)鍵性質(zhì)。這個(gè)機(jī)制允許程序在運(yùn)行時(shí)透過Reflection APIs取得任何一個(gè)已知名稱的class的內(nèi)部信息，包括其modifiers（諸如public, static 等等）、superclass（例如Object）、實(shí)現(xiàn)之interfaces（例如Cloneable），也包括fields和methods的所有信息，并可于運(yùn)行時(shí)改變fields內(nèi)容或喚起methods。本文借由實(shí)例，大面積示范Reflection APIs。

      http://m.shnenglu.com/javenstudio/articles/24640.html

      這是本人原創(chuàng)的系列文章制作的pdf，已陸續(xù)發(fā)布cppblog上，現(xiàn)開放下載，謝謝支持！

      1，《Javen庫的設(shè)計(jì)和使用》
      2，《LINQ，語言層面的OR映射技術(shù)，用面向?qū)ο蟛僮鲾?shù)據(jù)庫》
      3，《侯捷《C++OOPGPDP》講座心得》

20070121
javen-0.2.1 release

1, 服務(wù)器進(jìn)程調(diào)度框架(master/child模式)，類似inetd
2, some brings from postfix and apache
3, you can create new serverd to be managed by master, like Singled.cpp
4, you can use javen framework to programe your code, similar as java code
5, you can manage your server by masterctl start/stop/retart
6, you can add your config parameters at main.conf and can be checked automatically
6, you can configure your server at master.conf, for example
this is similar as postfix or inetd management.

complie environments
x86 32bit:
 linux: gcc version 3.4.6 20060404 (Red Hat 3.4.6-3)
 win32: not support
x86 64bit:
  not support

http://m.shnenglu.com/javenstudio/articles/10280.html

1, download
2, download

“ 軟件工程 ” 的學(xué)科至少包括三個(gè)重要的組成部分：產(chǎn)品設(shè)計(jì)、系統(tǒng)構(gòu)架設(shè)計(jì)和項(xiàng)目控制，而相應(yīng)地，軟件開發(fā)隊(duì)伍中也有三個(gè)重要角色：產(chǎn)品經(jīng)理、系統(tǒng)架構(gòu)師和項(xiàng)目經(jīng)理。這三個(gè)角色直接關(guān)系著項(xiàng)目的成功或失敗。


http://m.shnenglu.com/javenstudio/articles/17759.html


作者：naven? 2005-5-10

1 、 Rational 統(tǒng)一開發(fā)過程（ Rational Unified Process 簡稱 RUP ）
2、統(tǒng)一模語言UML概述
3、面向?qū)ο筌浖_發(fā)和過程
4、應(yīng)用框架
5、模塊化和構(gòu)件化設(shè)計(jì)
6、概要設(shè)計(jì)怎么做
7、代碼規(guī)范和注釋規(guī)范
8、單元測(cè)試和測(cè)試案例
9、團(tuán)隊(duì)協(xié)作及大中規(guī)模軟件開發(fā)過程
10、面向?qū)ο笤O(shè)計(jì)原則
11、設(shè)計(jì)模式
12、經(jīng)驗(yàn)談


http://m.shnenglu.com/javenstudio/articles/17758.html

作者：naven? 2005-5-10

參考文獻(xiàn)：1、www.uml.org.cn、2、《UML：Java程序員指南》

??? 很高興侯捷老師又來公司了，給我們上了四天非常生動(dòng)的技術(shù)講座，受益匪淺，現(xiàn)在我簡要介紹一下我的學(xué)習(xí)心得，與大家分享。這次講座主要集中在《 C++/OOP/GP/DP 》主題，針對(duì)有一些編程基礎(chǔ)的工程師，對(duì)一些常用的代碼和設(shè)計(jì)做了非常通俗易懂的剖析，非常有幫助。當(dāng)然更深入的理解還需要結(jié)合多種技術(shù)名著來學(xué)習(xí)，我結(jié)合我的理解以及自己的學(xué)習(xí)和開發(fā)的經(jīng)驗(yàn)介紹一下 C++/OO/Template 以及 Design Pattern 的理會(huì)，考慮到講座的性質(zhì)，我并不直述本次講座的內(nèi)容，歡迎批評(píng)指正 J

閱讀：http://m.shnenglu.com/javenstudio/articles/17057.html

下載：《侯捷講座心得》

fastlog 是參考 log4j 和 log4cplus 框架使用 javen c++ 庫設(shè)計(jì)實(shí)現(xiàn)的日志記錄庫，具有 log4j 庫類似的優(yōu)點(diǎn)，記錄日志非常方便，擴(kuò)展和配置也非常容易。 Log4j 日志庫我想應(yīng)該在 java 的領(lǐng)域已經(jīng)應(yīng)用很廣泛了，這樣的日志庫可以非常方便地將日志輸出到屏幕、文件、 syslog 、遠(yuǎn)程服務(wù)器等任何地方，而日志輸出的格式也可以任意調(diào)整，可以很容易控制輸出的日志級(jí)別，而這一切僅需修改一下配置文件，應(yīng)用程序不用作任何修改。

http://m.shnenglu.com/javenstudio/articles/11114.html

Socket 通訊程序估計(jì)現(xiàn)在大多數(shù)應(yīng)用系統(tǒng)都會(huì)涉及到，所以實(shí)現(xiàn)一個(gè)標(biāo)準(zhǔn)統(tǒng)一使用更簡潔的API非常有用。本C++框架基本參考Java的Socket相關(guān)類實(shí)現(xiàn)了類似封裝，除了ServerSocket實(shí)現(xiàn)稍有不同，其他原理和方法基本類似。用它編寫網(wǎng)絡(luò)應(yīng)用基本不用考慮底層的協(xié)議處理，使用非常容易，代碼也更簡潔易讀。


http://m.shnenglu.com/javenstudio/articles/11068.html

TCP/UDP 是網(wǎng)絡(luò)編程的基礎(chǔ)技術(shù)，分別代表面向連接的穩(wěn)定的網(wǎng)絡(luò)通信技術(shù)和非連接方式的廣播形式的網(wǎng)絡(luò)通信技術(shù)，它們都建立在 IP 層之上，所以 IP 層的封裝尤為重要。 IP 層的封裝接口主要包括 DNS 的查詢、 IP 地址和域名的互查、本地 IP 及名字的查詢等，目前 IP 層使用的主要實(shí)現(xiàn)技術(shù)是 IPv4 ，但是未來會(huì)慢慢升級(jí)到容量更大的 IPv6 ，所以 IP 層的封裝需要要同時(shí)支持這兩種協(xié)議。操作系統(tǒng)實(shí)現(xiàn)它們都是通過增加新的 API 以及新的地址結(jié)構(gòu)實(shí)現(xiàn)的，開發(fā)者編寫跨協(xié)議的網(wǎng)絡(luò)應(yīng)用需要編寫較復(fù)雜的程序來區(qū)分 IPv4 和 IPv6 協(xié)議，優(yōu)秀的 ACE 框架則通過條件編譯來支持 IPv6 ，好像不能同時(shí)在程序中使用 IPv4 和 IPv6 協(xié)議。本 C++ 框架參考 Java 的 InetAddress 及相關(guān)類實(shí)現(xiàn)了類似跨協(xié)議的 IP 層封裝，編寫網(wǎng)絡(luò)應(yīng)用基本不用考慮兩種協(xié)議的不同，應(yīng)為它們對(duì)外的接口類都是 InetAddress ，另外同時(shí)提供了與 Java 一樣簡單的域名和 IP 地址互查的接口，使用非常容易。

http://m.shnenglu.com/javenstudio/articles/4336.html

第一章 親密接觸Lucene

未完待續(xù)（最近太忙，顧不上了，看英文原版吧）


譯者 Naven & Scar

I/O流，即輸入/輸出流（Input/Output Stream），是軟件框架中的核心系統(tǒng)。對(duì)程序設(shè)計(jì)語言設(shè)計(jì)者來說，設(shè)計(jì)一個(gè)令人滿意的I/O系統(tǒng)，是件極艱巨的任務(wù)，也是不可缺少的基礎(chǔ)設(shè)施。C++的標(biāo)準(zhǔn)模板庫已經(jīng)提供一套很不錯(cuò)的I/O流庫了，但是我還是喜歡Java和.Net框架提供的那樣的使用簡單且擴(kuò)展性強(qiáng)的I/O系統(tǒng)，而且還需要自行做一些改進(jìn)已融入到C++通用框架體系中，由于I/O系統(tǒng)是框架的基礎(chǔ)設(shè)施，所以設(shè)計(jì)它是很關(guān)鍵的任務(wù)。


閱讀請(qǐng)點(diǎn) http://m.shnenglu.com/javenstudio/articles/1028.html

時(shí)間和日歷以及時(shí)間的格式化處理在軟件的設(shè)計(jì)中起著非常重要的作用，但是目前C++的庫卻未有一個(gè)簡單易用的時(shí)間類，大部分都需要開發(fā)者直接調(diào)用操作系統(tǒng)的API來完成，而且很多API都不是線程安全的。某些大型的C++框架雖然提供一些時(shí)間類，但是卻不通用，也很難直接拿出來使用。下面介紹一下參考Java Framework中的時(shí)間相關(guān)的類來設(shè)計(jì)并實(shí)現(xiàn)C++版本的時(shí)間和日歷類。

閱讀請(qǐng)點(diǎn) http://m.shnenglu.com/javenstudio/articles/1018.html

1、郵件解析框架FastMail庫介紹

1、什么是持久化和對(duì)象關(guān)系映射ORM技術(shù)