預處理主要就是建立兩個索引
(1)網頁索引(通過URL知道網頁保存在本地哪里)
(2)對網頁內容進行分詞然后建立倒排索引
分詞的方法:
(1)基本的詞典(中文比英文復雜多了,英文有空格來區分詞語)
(2)使用字符串匹配(正向最大匹配,逆向最大匹配,最少切分),一般使用逆向最大匹配.
(3)使用統計的方式來確定新詞,即相鄰的字共現的頻率越大,越有可能是新詞
建立倒排索引:
(1)分析網頁,去除html標簽,提取正文信息
(2)分詞,然后以詞為索引建立倒排文件.
posted on 2008-03-05 23:10
merlinfang 閱讀(768)
評論(0) 編輯 收藏 引用 所屬分類:
搜索引擎