數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)kdd（knowledge discovery in databases）和數(shù)據(jù)挖掘dm（data mining）是在需求的驅(qū)動(dòng)下發(fā)展起來(lái)的一門新的技術(shù)。隨著在政府部門、企事業(yè)單位、大型金融保險(xiǎn)機(jī)構(gòu)、大型商業(yè)機(jī)構(gòu)、大型制造業(yè)及科研機(jī)構(gòu)數(shù)據(jù)庫(kù)的大量建立，數(shù)據(jù)積累成倍地急劇增長(zhǎng)，如何充分利用這些大量數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行分析來(lái)指導(dǎo)生產(chǎn)工作、運(yùn)營(yíng)工作、銷售工作、競(jìng)爭(zhēng)策略, 給領(lǐng)導(dǎo)者的決策一些支持；另一方面，如何從大量數(shù)據(jù)中挖掘出有用的信息（模式）和知識(shí)（規(guī)律），挖掘出科學(xué)上的未知規(guī)律, 已成為人類需要急切解決的問(wèn)題。因此數(shù)據(jù)挖掘技術(shù)、知識(shí)發(fā)現(xiàn)系統(tǒng)就成為當(dāng)今計(jì)算機(jī)領(lǐng)域的研究和關(guān)注的熱點(diǎn)之一。

隨著數(shù)據(jù)積累的增長(zhǎng)，充分利用大量數(shù)據(jù)（即對(duì)數(shù)據(jù)進(jìn)行分析來(lái)指導(dǎo)工作），并從大量數(shù)據(jù)中挖掘出有用的信息和知識(shí)，找出未知的規(guī)律，已成為人類急需解決的問(wèn)題。本文就數(shù)據(jù)挖掘技術(shù)、知識(shí)發(fā)現(xiàn)系統(tǒng)這一熱點(diǎn)問(wèn)題闡述其成功的關(guān)鍵、面臨的問(wèn)題及所采用的技術(shù)。

　　數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)kdd（knowledge discovery in databases）和數(shù)據(jù)挖掘dm（data mining）是在需求的驅(qū)動(dòng)下發(fā)展起來(lái)的一門新的技術(shù)。隨著在政府部門、企事業(yè)單位、大型金融保險(xiǎn)機(jī)構(gòu)、大型商業(yè)機(jī)構(gòu)、大型制造業(yè)及科研機(jī)構(gòu)數(shù)據(jù)庫(kù)的大量建立，數(shù)據(jù)積累成倍地急劇增長(zhǎng)，如何充分利用這些大量數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行分析來(lái)指導(dǎo)生產(chǎn)工作、運(yùn)營(yíng)工作、銷售工作、競(jìng)爭(zhēng)策略, 給領(lǐng)導(dǎo)者的決策一些支持；另一方面，如何從大量數(shù)據(jù)中挖掘出有用的信息（模式）和知識(shí)（規(guī)律），挖掘出科學(xué)上的未知規(guī)律, 已成為人類需要急切解決的問(wèn)題。因此數(shù)據(jù)挖掘技術(shù)、知識(shí)發(fā)現(xiàn)系統(tǒng)就成為當(dāng)今計(jì)算機(jī)領(lǐng)域的研究和關(guān)注的熱點(diǎn)之一。

　　隨著kdd的深入發(fā)展和internet 的普及，網(wǎng)上信息的大量增加，許多信息在網(wǎng)上發(fā)布，ＫＤＤ在ＷＷＷ網(wǎng)上挖掘也形成了熱點(diǎn)，并形成了基于internet的web mining技術(shù)，web mining包括:web 內(nèi)容挖掘，web結(jié)構(gòu)挖掘，web 用戶行為挖掘，當(dāng)遇到的有文本、圖形、圖像等信息，又形成了text mining和image mining，多媒體挖掘等新的kdd的新方向。


　　kdd：定義和過(guò)程


　　1、 kdd的定義

　　許多研究者從不同的角度給出了有關(guān)kdd的定義，目前較一致認(rèn)同的描述性定義是fayyad等人給出的：kdd是從數(shù)據(jù)集中識(shí)別出有效的、新穎的、潛在有用的以及最終可理解的模式的非平凡過(guò)程。

　　在上述定義中指出kdd是個(gè)過(guò)程，是從數(shù)據(jù)集識(shí)別模式的過(guò)程，幾個(gè)定語(yǔ)都是不可少。

　　2、kdd的過(guò)程

　　kdd過(guò)程可分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘以及結(jié)果的解釋評(píng)價(jià)，如圖所示。 


　　圖：kdd的主要過(guò)程

　　（1）數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)準(zhǔn)備可分為數(shù)據(jù)選取/抽樣、數(shù)據(jù)預(yù)處理和數(shù)據(jù)轉(zhuǎn)換。

　　（2）數(shù)據(jù)挖掘階段：根據(jù)數(shù)據(jù)挖掘的任務(wù)，確定采用哪一種數(shù)據(jù)挖掘算法。同樣的數(shù)據(jù)挖掘任務(wù)可以用不同的數(shù)據(jù)挖掘算法來(lái)實(shí)現(xiàn)，數(shù)據(jù)挖掘算法的選擇主要是根據(jù)以下兩個(gè)方面的因素：一是數(shù)據(jù)的特點(diǎn)；二是用戶和實(shí)際運(yùn)行系統(tǒng)的要求。在完成了這些準(zhǔn)備工作后，就可以進(jìn)行數(shù)據(jù)挖掘了。數(shù)據(jù)挖掘階段僅占整個(gè)kdd過(guò)程的25％左右的工作量。

　　（3）結(jié)果解釋和評(píng)價(jià)：經(jīng)數(shù)據(jù)挖掘所發(fā)現(xiàn)的模式，可能存在冗余或用戶不感興趣的模式，這時(shí)需要將其除去；也有可能所發(fā)現(xiàn)的模式不能滿足用戶的需要，要求整個(gè)發(fā)現(xiàn)過(guò)程再返回到數(shù)據(jù)挖掘階段之前，重新進(jìn)行數(shù)據(jù)選取/抽樣、數(shù)據(jù)變換和數(shù)據(jù)挖掘，甚至換一種挖掘算法（如在發(fā)現(xiàn)分類規(guī)則就有多種數(shù)據(jù)挖掘方法可供選擇，不同的方法可能具有不同的挖掘效果）。


　　成功的關(guān)鍵與面臨的問(wèn)題


　　數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)不是給出一些數(shù)據(jù)，采用一些數(shù)據(jù)挖掘算法就可以輕易地挖掘出知識(shí)，數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)成功的關(guān)鍵必須做到下面幾點(diǎn)：

　　1、 有明確的目標(biāo)：用 kdd方法要解決什么問(wèn)題，挖掘什么樣的模式、規(guī)律或知識(shí)，必須提出要挖掘的目標(biāo)。這一點(diǎn)是能否挖掘出有用知識(shí)基點(diǎn)，不能說(shuō)，我給你一些數(shù)據(jù)，你給我挖掘出知識(shí)來(lái)，在給出數(shù)據(jù)后，采用什么挖掘方法，怎樣挖掘，必須在有明確目標(biāo)情況下進(jìn)行，盲目的挖掘使挖掘系統(tǒng)無(wú)法進(jìn)行。

　　2、 相對(duì)較長(zhǎng)一段時(shí)間和相對(duì)準(zhǔn)確的數(shù)據(jù)的積累：數(shù)據(jù)是知識(shí)發(fā)現(xiàn)的基礎(chǔ)，數(shù)據(jù)的質(zhì)量和數(shù)量對(duì)知識(shí)發(fā)現(xiàn)起決定性作用，不是隨便給一些數(shù)據(jù)就能挖掘出有用的知識(shí)，數(shù)據(jù)必須有一定的質(zhì)量和數(shù)量，在極不完整的數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘不會(huì)得到好的結(jié)果，往往數(shù)據(jù)質(zhì)量和數(shù)量比數(shù)據(jù)挖掘方法更重要。

　　3、 領(lǐng)域?qū)＜业膮⑴c和指導(dǎo)：從目標(biāo)的明確到挖到信息和知識(shí)的評(píng)價(jià)與判斷都需要領(lǐng)域?qū)＜业闹笇?dǎo)，否則知識(shí)的可信度和可靠性都值得懷疑。

　　kdd研究面臨的問(wèn)題：

　　kdd是一個(gè)新興的研究領(lǐng)域，目前還處在發(fā)展的階段，還有很多的研究難題有待解決，數(shù)據(jù)的巨量性、動(dòng)態(tài)性、多樣性、不一致性、噪聲性、缺值和稀疏性、發(fā)現(xiàn)模式的可理解性、興趣度等都給kdd帶來(lái)難度；數(shù)據(jù)質(zhì)量、算法的有效性，知識(shí)的可用性都是研究的課題；kdd與應(yīng)用系統(tǒng)的集成，kdd與用戶的交互，知識(shí)的更新管理，復(fù)雜數(shù)據(jù)類型的處理等等都是kdd研究面臨的挑戰(zhàn)。


　　crisp—dm簡(jiǎn)介


　　crisp-dm - cross industry standard process for data mining 是ncr等四家公司聯(lián)合的研究項(xiàng)目，1997年開(kāi)始，1999年3月已給出一個(gè)初步約100頁(yè)的報(bào)告，在此對(duì)其只作簡(jiǎn)單介紹, 它將kdd過(guò)程分為下列幾個(gè)步驟：

　　1、 business understanding：在進(jìn)行數(shù)據(jù)挖掘任務(wù)時(shí)首先要從企業(yè)的角度來(lái)了解任務(wù)的目標(biāo)和要求，然后將這些目標(biāo)和要求體現(xiàn)在數(shù)據(jù)挖掘的問(wèn)題定義中和為達(dá)到這個(gè)目標(biāo)所設(shè)計(jì)的初始的計(jì)劃中。

　　2、 data understanding：了解數(shù)據(jù)首先從收集數(shù)據(jù)開(kāi)始，為保證數(shù)據(jù)質(zhì)量，為對(duì)數(shù)據(jù)的深刻理解和為篩選出感興趣數(shù)據(jù)集，在其深刻理解數(shù)據(jù)的基礎(chǔ)上，應(yīng)不斷收集相類似的數(shù)據(jù)，以便形成尋找隱藏信息的假設(shè)。

　　3、 data preparation：數(shù)據(jù)準(zhǔn)備階段包括從初始的粗?jǐn)?shù)據(jù)不斷形成適合數(shù)據(jù)挖掘模型的最后數(shù)據(jù)的全過(guò)程，包括數(shù)據(jù)表格、記錄、屬性的選擇，數(shù)據(jù)的轉(zhuǎn)換和數(shù)據(jù)清理。這項(xiàng)工作要多次完成。

　　4、 modeling：在這階段各種數(shù)據(jù)挖掘方法模型被選擇和應(yīng)用；模型的參數(shù)被校準(zhǔn)到最佳值。有許多數(shù)據(jù)挖掘方法可適應(yīng)同一數(shù)據(jù)類型，有些數(shù)據(jù)挖掘方法對(duì)數(shù)據(jù)有特定要求。有時(shí)這階段還會(huì)返回到數(shù)據(jù)準(zhǔn)備階段。

　　5、 evaluation：從數(shù)據(jù)分析人員的觀點(diǎn)看，所選模型有相當(dāng)高的質(zhì)量，在最后應(yīng)用推廣時(shí)，必須更加徹底地評(píng)價(jià)這個(gè)模型，看看為構(gòu)成該模型所執(zhí)行的各個(gè)步驟能否達(dá)到企業(yè)要求的目標(biāo)，更重要的是企業(yè)的關(guān)鍵問(wèn)題有沒(méi)有充分考慮到。

　　6、 deployment：一般來(lái)說(shuō), 產(chǎn)生挖掘的模型并不是任務(wù)的結(jié)束, 雖然挖掘得到了知識(shí),但知識(shí)需要組織和呈現(xiàn)給用戶,使用戶可以很好用這些知識(shí)。是否采用和推廣使用這種模型一般由用戶來(lái)進(jìn)行決定，而不是分析人員來(lái)進(jìn)行決定。


　　采用的幾種技術(shù)


　　根據(jù)數(shù)據(jù)采掘所采用的技術(shù)大致分為：統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法。統(tǒng)計(jì)方法主要包括：回歸分析（多元回歸、自回歸等）、判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等）、聚類分析（系統(tǒng)聚類、動(dòng)態(tài)聚類等）、探索性分析（主元分析法、相關(guān)分析法等）、貝葉斯方法(貝葉斯網(wǎng)絡(luò), 貝葉斯分類器等)。機(jī)器學(xué)習(xí)主要包括：歸納學(xué)習(xí)方法（決策樹(shù)、規(guī)則歸納、面向?qū)傩缘臍w納方法等）、基于事例的學(xué)習(xí)、遺傳算法等, 神經(jīng)網(wǎng)絡(luò)方法。數(shù)據(jù)庫(kù)方法主要是多維數(shù)據(jù)分析或olap方法；此外還有模糊方法,粗糙集方法和可視化方法。由于篇幅所限，本文僅就幾種常用的數(shù)據(jù)挖掘技術(shù)進(jìn)行說(shuō)明。

　　1、 決策樹(shù)歸納方法

　　在數(shù)據(jù)挖掘中最常使用的方法就是決策樹(shù)方法,它屬于歸納學(xué)習(xí)方法。它的基本想法是：給一組用屬性描述的訓(xùn)練例，然后按屬性（值）構(gòu)造一棵樹(shù)（二叉或多叉樹(shù)），從根節(jié)點(diǎn)到葉節(jié)點(diǎn)一條規(guī)則，葉節(jié)點(diǎn)就是一個(gè)類，由這棵樹(shù)（或由這棵樹(shù)形成的規(guī)則集）對(duì)另一組測(cè)試?yán)M(jìn)行分類（或）預(yù)測(cè)。這棵樹(shù)就是知識(shí)。

　　決策樹(shù)歸納方法主要有兩個(gè)問(wèn)題：一是先從哪一屬性往下分叉，既特征選擇問(wèn)題（或稱偏向問(wèn)題），二是如何構(gòu)造一棵"好"的樹(shù)（樹(shù)剪枝問(wèn)題）。為解決前一問(wèn)題研究出許多方法；最有代表性的是id3（改進(jìn)的c4.5, c5.0），該方法用信息熵來(lái)找出最大增益(gain most information)作為構(gòu)造樹(shù)的依據(jù)。剪枝一般說(shuō)來(lái)有兩種策略：向前剪枝（forward pruning）和向后剪枝（backward pruning）。許多人給出各種剪枝方法，究竟采用什么剪枝法，視問(wèn)題而定。

　　決策樹(shù)方法的優(yōu)點(diǎn)是速度快，直觀可理解，所以被廣泛采用，但由于它是歸納學(xué)習(xí)方法，它有兩個(gè)弱點(diǎn)：樹(shù)不唯一且不永真。一般來(lái)說(shuō)精度也不太高。為了提高精度，近年來(lái)發(fā)展起來(lái)的bagging和boosting 方法取得較好的效果。在選擇特征上也有人提出信息熵之外的方法，也有人提出多屬性方法，樹(shù)往下分叉不是用一個(gè)屬性，而用多個(gè)屬性，既多屬性（變量）決策樹(shù)。

　　2、 關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)

　　關(guān)聯(lián)規(guī)則挖掘問(wèn)題的提出：在大型零售商店或超級(jí)市場(chǎng)，存儲(chǔ)了大量的銷售記錄，這些銷售記錄又稱為貨籃數(shù)據(jù)（basket data）。貨籃數(shù)據(jù)保存了顧客在一次購(gòu)買中所涉及的商品的詳情（如商品名稱、價(jià)格、數(shù)量等），我們稱之為事務(wù)。數(shù)據(jù)庫(kù)僅存大量的事務(wù)，決策者們想從這些數(shù)據(jù)中發(fā)現(xiàn)有用的信息，指導(dǎo)他們的營(yíng)銷活動(dòng)。在這樣的應(yīng)用背景下，產(chǎn)生了關(guān)聯(lián)規(guī)則挖掘算法，用來(lái)從事務(wù)數(shù)據(jù)庫(kù)中發(fā)現(xiàn)有關(guān)客戶購(gòu)買行為的知識(shí)，顧客購(gòu)買一些商品與另一些商品的關(guān)系，稱之為關(guān)聯(lián)規(guī)則。以后關(guān)聯(lián)規(guī)則又被廣泛應(yīng)用到其他領(lǐng)域。在此我們介紹關(guān)聯(lián)規(guī)則的一些定義，對(duì)算法不作介紹。

　　定義1：關(guān)聯(lián)規(guī)則挖掘的事務(wù)數(shù)據(jù)庫(kù)為d， d中的每個(gè)元組（紀(jì)錄）稱為事務(wù)t，d中所有屬性稱項(xiàng)目集i，i={i1,i2,...im} i 是一個(gè)項(xiàng)目,m是d中的所有項(xiàng)目數(shù), 一條事務(wù)t是i中項(xiàng)目的集合，即t i。

　　定義2: 任意的項(xiàng)目集x和事務(wù)t若滿足：t x，則稱事務(wù)t包含項(xiàng)目集x。

　　任意的項(xiàng)目集y和事務(wù)t若滿足：t y ，則稱事務(wù)t包含項(xiàng)目集y 。

　　在超級(jí)市場(chǎng)的關(guān)聯(lián)規(guī)則挖掘問(wèn)題中項(xiàng)目集可以看成一個(gè)或多個(gè)商品的集合，與某顧客一次購(gòu)買對(duì)應(yīng)的事務(wù)t包含項(xiàng)目集x(或y)，也就是說(shuō)該顧客在這次購(gòu)物中購(gòu)買了項(xiàng)目集x(或y)中的所有商品。

　　定義3: 關(guān)聯(lián)規(guī)則是形如x y的規(guī)則，其中x、y為項(xiàng)目集且x∩y= 。

　　表示顧客中購(gòu)買了x中的所有商品，又購(gòu)買了y中的所有商品。

　　定義4:若數(shù)據(jù)庫(kù)d中, s%的事務(wù)包含x∪y則關(guān)聯(lián)規(guī)則x y的支持率為s%；若包含項(xiàng)目集x的事務(wù)有c%的也包含項(xiàng)目集y，則關(guān)聯(lián)規(guī)則x y的置信度為c%。

　　3、 粗糙集(rough set)理論

　　粗糙集(rough set)理論是一種新型的處理模糊和不確定知識(shí)的數(shù)學(xué)工具。自1982年由波蘭數(shù)學(xué)家pawlak首次提出以來(lái)，經(jīng)過(guò)十幾年的研究與發(fā)展，已經(jīng)在理論和實(shí)際應(yīng)用上取得了長(zhǎng)足的進(jìn)展，特別是由于八十年代末和九十年代初在知識(shí)發(fā)現(xiàn)等領(lǐng)域得到了成功的應(yīng)用而受到國(guó)際上廣泛關(guān)注。目前，它已經(jīng)在人工智能、知識(shí)發(fā)現(xiàn)、模式識(shí)別與分類、故障檢測(cè)等方面得到了較為成功的應(yīng)用。粗糙集理論具有一些獨(dú)特的觀點(diǎn)，這些觀點(diǎn)使得粗糙集特別適合于進(jìn)行數(shù)據(jù)分析。 粗糙集理論認(rèn)為知識(shí)的粒度性是造成使用已有知識(shí)不能精確地表示某些概念的原因。 通過(guò)引入不可區(qū)分關(guān)系作為粗糙集理論的基礎(chǔ), 并在此基礎(chǔ)上定義了上下近似等概念, 粗糙集理論能夠有效地逼近這些不精確概念。有了上、下近似和不可分關(guān)系的概念我們就能夠定義約簡(jiǎn)和核這兩個(gè)對(duì)kdd有很大作用的概念。和模糊集合需要指定成員隸屬度不同, 粗糙集的成員是客觀計(jì)算的, 只和已知數(shù)據(jù)有關(guān), 從而避免了主觀因素的影響。

　　4、 貝葉斯網(wǎng)絡(luò)

　　八十年代貝葉斯網(wǎng)絡(luò)成功地應(yīng)用于專家系統(tǒng)，成為表示不確定性專家知識(shí)和推理的一種方法。九十年代以來(lái)，研究者們進(jìn)一步研究了直接從數(shù)據(jù)中學(xué)習(xí)并生成貝葉斯網(wǎng)絡(luò)的方法，為貝葉斯網(wǎng)絡(luò)用于數(shù)據(jù)采掘和知識(shí)發(fā)現(xiàn)開(kāi)辟了新途徑。這些新的方法和技術(shù)還在發(fā)展之中，但已在一些數(shù)據(jù)建模問(wèn)題中顯示出令人矚目的效果。與其它用于數(shù)據(jù)采掘的表示法如規(guī)則庫(kù)、決策樹(shù)、人工神經(jīng)網(wǎng)絡(luò)相比，基于貝葉斯方法的貝葉斯網(wǎng)絡(luò)有如下特點(diǎn)：適合處理不完整數(shù)據(jù)集問(wèn)題，可以發(fā)現(xiàn)數(shù)據(jù)間的因果關(guān)系，可以綜合先驗(yàn)信息（領(lǐng)域知識(shí)）和樣本信息，在樣本難以獲得或者代價(jià)高昂時(shí)特別有用。可以預(yù)見(jiàn)，在數(shù)據(jù)采掘和知識(shí)發(fā)現(xiàn)中，貝葉斯網(wǎng)絡(luò)將成為一個(gè)有力的工具。貝葉斯網(wǎng)絡(luò)至少可以解決如下四個(gè)方面的問(wèn)題。其一是貝葉斯網(wǎng)能夠真正地處理具有不完整的數(shù)據(jù)集合；其二是貝葉斯網(wǎng)能夠獲得因果聯(lián)系；其三是貝葉斯網(wǎng)能夠更有機(jī)和充分地結(jié)合和利用已有的知識(shí)和觀測(cè)數(shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測(cè)；其四是貝葉斯網(wǎng)絡(luò)結(jié)合其它一些方法可以有效地避免數(shù)據(jù)的過(guò)度擬合。