青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

不會飛的鳥

2010年12月10日 ... 不鳥他們!!! 我要用自己開發的分布式文件系統、分布式調度系統、分布式檢索系統, 做自己的搜索引擎!!!大魚有大志!!! ---楊書童

[轉]TF-IDF與余弦相似性的應用(二):找出相似文章

今天,我們再來研究另一個相關的問題。有些時候,除了找到關鍵詞,我們還希望找到與原文章相似的其他文章。比如,"Google新聞"在主新聞下方,還提供多條相似的新聞。

為了找出相似的文章,需要用到"余弦相似性"(cosine similiarity)。下面,我舉一個例子來說明,什么是"余弦相似性"。

為了簡單起見,我們先從句子著手。

  句子A:我喜歡看電視,不喜歡看電影。

  句子B:我不喜歡看電視,也不喜歡看電影。

請問怎樣才能計算上面兩句話的相似程度?

基本思路是:如果這兩句話的用詞越相似,它們的內容就應該越相似。因此,可以從詞頻入手,計算它們的相似程度。

第一步,分詞。

  句子A:我/喜歡/看/電視,不/喜歡/看/電影。

  句子B:我/不/喜歡/看/電視,也/不/喜歡/看/電影。

第二步,列出所有的詞。

  我,喜歡,看,電視,電影,不,也。

第三步,計算詞頻。

  句子A:我 1,喜歡 2,看 2,電視 1,電影 1,不 1,也 0。

  句子B:我 1,喜歡 2,看 2,電視 1,電影 1,不 2,也 1。

第四步,寫出詞頻向量。

  句子A:[1, 2, 2, 1, 1, 1, 0]

  句子B:[1, 2, 2, 1, 1, 2, 1]

到這里,問題就變成了如何計算這兩個向量的相似程度。

我們可以把它們想象成空間中的兩條線段,都是從原點([0, 0, ...])出發,指向不同的方向。兩條線段之間形成一個夾角,如果夾角為0度,意味著方向相同、線段重合;如果夾角為90度,意味著形成直角,方向完全不相似;如果夾角為180度,意味著方向正好相反。因此,我們可以通過夾角的大小,來判斷向量的相似程度。夾角越小,就代表越相似。

以二維空間為例,上圖的a和b是兩個向量,我們要計算它們的夾角θ。余弦定理告訴我們,可以用下面的公式求得:

假定a向量是[x1, y1],b向量是[x2, y2],那么可以將余弦定理改寫成下面的形式:

數學家已經證明,余弦的這種計算方法對n維向量也成立。假定A和B是兩個n維向量,A是 [A1, A2, ..., An] ,B是 [B1, B2, ..., Bn] ,則A與B的夾角θ的余弦等于:

使用這個公式,我們就可以得到,句子A與句子B的夾角的余弦。

余弦值越接近1,就表明夾角越接近0度,也就是兩個向量越相似,這就叫"余弦相似性"。所以,上面的句子A和句子B是很相似的,事實上它們的夾角大約為20.3度。

由此,我們就得到了"找出相似文章"的一種算法:

  (1)使用TF-IDF算法,找出兩篇文章的關鍵詞;

  (2)每篇文章各取出若干個關鍵詞(比如20個),合并成一個集合,計算每篇文章對于這個集合中的詞的詞頻(為了避免文章長度的差異,可以使用相對詞頻);

  (3)生成兩篇文章各自的詞頻向量;

  (4)計算兩個向量的余弦相似度,值越大就表示越相似。

"余弦相似度"是一種非常有用的算法,只要是計算兩個向量的相似程度,都可以采用它。

posted on 2014-03-06 21:36 不會飛的鳥 閱讀(264) 評論(0)  編輯 收藏 引用


只有注冊用戶登錄后才能發表評論。
網站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美日韩国产精品专区| 欧美在线一区二区| 亚洲一区区二区| 影视先锋久久| 国产精品亚洲美女av网站| 亚洲欧美在线视频观看| 久久精品在这里| 国产亚洲精品久久久久婷婷瑜伽| 日韩一区二区精品视频| 亚洲午夜电影网| 久久婷婷综合激情| 欧美三区在线| 狠狠色综合网站久久久久久久| 国产在线国偷精品产拍免费yy| 极品日韩久久| 亚洲欧美中文字幕| 亚洲第一网站| 亚洲精品韩国| 久久天天躁狠狠躁夜夜爽蜜月| 欧美影院在线| 欧美精品黄色| 乱码第一页成人| 美女亚洲精品| 精品粉嫩aⅴ一区二区三区四区| 欧美成人精品三级在线观看| 亚洲高清在线观看一区| 午夜精品亚洲一区二区三区嫩草| 免费成人激情视频| 在线不卡免费欧美| 免费观看不卡av| 久久久久网站| 国产日韩一区二区三区在线| 亚洲综合国产激情另类一区| 亚洲精品久久久久久下一站 | 久久久久久国产精品一区| 久久久女女女女999久久| 欧美国产视频在线观看| 欧美日韩在线播放三区| 国产欧美精品一区| 一色屋精品视频在线看| 久久天天狠狠| 欧美va亚洲va日韩∨a综合色| 欧美日韩免费在线观看| 午夜免费电影一区在线观看| 欧美一级二级三级蜜桃| 亚洲国产欧美一区二区三区同亚洲| 欧美1区视频| 欧美国产第二页| 久久er精品视频| 麻豆精品在线视频| 欧美专区在线观看一区| 99国产精品久久久久久久| 国产日产欧美一区| 亚洲精品乱码视频| 狠狠色综合网| 亚洲在线视频观看| 午夜日韩激情| 国产精品女主播| 国产精品久久福利| 久久久精品午夜少妇| 欧美一区二区私人影院日本| 亚洲一区二区伦理| 欧美系列电影免费观看| 老司机精品视频一区二区三区| 国产精品高潮呻吟久久av黑人| 亚洲高清影视| 日韩西西人体444www| 美日韩丰满少妇在线观看| 欧美一级精品大片| 欧美三级欧美一级| 亚洲精品激情| 亚洲美女福利视频网站| 一本久久a久久精品亚洲| 激情婷婷久久| 亚洲一区二区三区色| 国产欧美一级| 亚洲第一区在线观看| 欧美激情一区二区三区在线视频观看| 国产一区二区看久久| 久久久国产精品一区| 亚洲电影免费| 欧美1区2区| 亚洲小说欧美另类婷婷| 欧美成人精品福利| 99re热这里只有精品免费视频| 久久久蜜桃一区二区人| 欧美亚洲一区二区三区| 久久国产精品久久久| 国产精品sm| 久久婷婷蜜乳一本欲蜜臀| 免费欧美电影| 欧美在线国产| 欧美承认网站| 1204国产成人精品视频| 欧美一区二区三区视频在线| 午夜激情综合网| 在线观看成人一级片| 99re热精品| 亚洲国产精品一区| 久久久福利视频| 欧美淫片网站| 亚洲免费av观看| 亚洲欧美卡通另类91av| 午夜一区在线| 亚洲国产二区| 欧美精品亚洲二区| 欧美激情成人在线| 在线观看亚洲一区| 久久精品二区| 久久综合一区二区| 国内久久精品| 韩国一区二区三区在线观看 | 久久精品国产第一区二区三区最新章节 | 午夜精品久久久久久久男人的天堂| 欧美精品 日韩| 欧美国产日韩视频| 一区二区高清在线观看| 国产精品入口福利| 欧美一区国产在线| 欧美伦理视频网站| 欧美黄在线观看| 午夜久久美女| 亚洲精品一区二区三区四区高清 | 欧美资源在线| 亚洲午夜av| 国产精品高精视频免费| 欧美日韩一区二区在线| 欧美连裤袜在线视频| 久久国产婷婷国产香蕉| 狂野欧美一区| 可以看av的网站久久看| 99re成人精品视频| 很黄很黄激情成人| 国产日产欧产精品推荐色| 精品88久久久久88久久久| 国产日韩欧美在线看| 国产精品白丝av嫩草影院| 欧美精品一区在线播放| 久久久久国色av免费观看性色| 亚洲第一主播视频| 性色一区二区三区| 久热成人在线视频| 久久精品亚洲精品| 久久久av水蜜桃| 久久一本综合频道| 香蕉国产精品偷在线观看不卡| 亚洲久久在线| 老妇喷水一区二区三区| 欧美日韩三区四区| 国产日韩欧美日韩| 国产中文一区二区三区| 日韩午夜电影av| 亚洲天堂第二页| 久久人人看视频| 久久乐国产精品| 国产精品一区视频网站| 亚洲成人中文| 亚洲欧美在线视频观看| 久久天堂成人| 亚洲国产美女久久久久| 亚洲欧美日韩一区二区三区在线观看| 日韩视频中文字幕| 你懂的国产精品永久在线| 欧美高清视频一区二区三区在线观看| 日韩视频免费大全中文字幕| 你懂的一区二区| 在线亚洲伦理| 欧美xxx在线观看| 亚洲欧美日韩第一区| 欧美日韩亚洲另类| 在线播放一区| 久久野战av| 久久久999精品免费| 国产日韩精品一区二区| 午夜日韩在线| 亚洲国产精品尤物yw在线观看| 欧美成年网站| 一区二区三区欧美亚洲| 最新国产精品拍自在线播放| 狼人社综合社区| 日韩午夜激情av| 欧美日韩在线视频观看| 亚洲第一福利社区| 亚洲人成艺术| 国产精品热久久久久夜色精品三区| 欧美区日韩区| 国产精品电影在线观看| 欧美日韩aaaaa| 另类综合日韩欧美亚洲| 国产精品毛片在线看| 中文亚洲欧美| 亚洲一区二区三区777| 欧美成人激情视频| 亚洲女优在线| 亚洲美洲欧洲综合国产一区| 欧美激情精品久久久六区热门 | 美女图片一区二区| 国产亚洲日本欧美韩国| 亚洲综合欧美| 亚洲一区在线看|