Posted on 2005-12-08 21:11
inwind 閱讀(1339)
評(píng)論(2) 編輯 收藏 引用
項(xiàng)目的終極目標(biāo)是輿情分析,為主管部門及時(shí)掌握網(wǎng)絡(luò)輿論情況,以及了解輿論發(fā)展的時(shí)間和空間上的發(fā)生發(fā)展情況。所作的工作必須以此為判斷的唯一標(biāo)準(zhǔn)。
分類,首先要有個(gè)分類體系,現(xiàn)在掌握的情況是,分類是根據(jù)學(xué)科體制,在分類樹的某個(gè)節(jié)點(diǎn)上,按照唯一的標(biāo)準(zhǔn)進(jìn)行分類。
但是,人類知識(shí)本身就是渾然一體的,存在大量的交叉,甚至不同領(lǐng)域研究同一對(duì)象,甚至使用相同或者相似方法。(這時(shí)感覺,徐小棟老師的說(shuō)法還是對(duì)的,呵呵,知識(shí)是渾然一體的,分類是人工雕琢,但是為了掌握的方便,只好如此了)。
更何況,網(wǎng)絡(luò)信息的多樣性,隨意性,以及貼近生活,使得網(wǎng)絡(luò)信息,尤其是新聞,難以按照學(xué)科體制分類,或者很不適合用學(xué)科體制分類。
例如,管理部門想要了解民眾對(duì)神六的看法,討論和關(guān)注程度,以及關(guān)注的方面。但是按照分類體系,神六對(duì)經(jīng)濟(jì)的影響屬于經(jīng)濟(jì)類,對(duì)外交的影響屬于政治類,對(duì)民俗的影響又屬于文化類。這樣,對(duì)于管理部門,可能是不想要得結(jié)果。
又考慮到了主題的概念,一篇文章舉的例子,地震是主題,但是,唐山地震又是另外的概念,事件;載人航天是主題,但是神六上天又是事件。沒有人給出確切的定義。
可否這樣定義呢:主題,是關(guān)于一個(gè)較為抽象概念的所有文章。
事件,是關(guān)于一個(gè)確切的事件。
但是,問(wèn)題是,較為抽象的概念,分類的定義就是,對(duì)概念進(jìn)行劃分,概念是關(guān)于本質(zhì)屬性的反應(yīng)。本質(zhì)屬性呢,就是決定一個(gè)事物或者一類事物不是其他的決定性屬性。主題和分類還是有些混亂啊。
現(xiàn)在想了兩種方案,
一是分大類,僅一級(jí),分個(gè)十幾二十類,然后在下面進(jìn)行聚類和事件發(fā)現(xiàn)跟蹤。
二是分得比較細(xì),仿照北大或者google的三級(jí)分類,然后進(jìn)行聚類和事件發(fā)現(xiàn)跟蹤,然后給出事件發(fā)現(xiàn)跟蹤的結(jié)果。
哪一個(gè)比較好呢,似乎第一類,簡(jiǎn)單分類后,對(duì)于聚類和事件發(fā)現(xiàn)跟蹤的影響小。
但是,新聞的特征向量如何選取呢,理論上分類和聚類的要求是相同的,但是肯定會(huì)有細(xì)微的差別,更何況聚類還需要考慮新聞的時(shí)間分布。
另外一個(gè)問(wèn)題了,事件發(fā)現(xiàn)需要利用新聞事件的時(shí)間特性,但是,在比較長(zhǎng)一段時(shí)間內(nèi),關(guān)于一系列事件的主題,如何挖掘呢,比如,礦難。——給每個(gè)新聞事件確定一個(gè)特征向量,然后對(duì)事件的特征向量進(jìn)行聚類?
嗯,繼續(xù)研究繼續(xù)研究