根據(jù)一個簡化的統(tǒng)計，人腦由百億條神經(jīng)組成 ― 每條神經(jīng)平均連結(jié)到其它幾千條神經(jīng)。通過這種連結(jié)方式，神經(jīng)可以收發(fā)不同數(shù)量的能量。神經(jīng)的一個非常重要的功能是它們對能量的接受并不是立即作出響應(yīng)，而 是將它們累加起來，當(dāng)這個累加的總和達(dá)到某個臨界閾值時，它們將它們自己的那部分能量發(fā)送給其它的神經(jīng)。大腦通過調(diào)節(jié)這些連結(jié)的數(shù)目和強度進行學(xué)習(xí)。盡管 這是個生物行為的簡化描述。但同樣可以充分有力地被看作是神經(jīng)網(wǎng)絡(luò)的模型。

閾值邏輯單元（Threshold Logic Unit，TLU）

理解神經(jīng)網(wǎng)絡(luò)的第一步是從對抽象生物神經(jīng)開始，并把重點放在 閾值邏輯單元（TLU）這一特征上。一個 TLU 是一個對象，它可以輸入一組加權(quán)系數(shù)的量，對它們進行求和，如果這個和達(dá)到或者超過了某個閾值，輸出一個量。 讓我們用符號標(biāo)注這些功能，首先，有輸入值以及它們的權(quán)系數(shù)：X ₁, X ₂, ..., X _n和 W ₁, W _2, ..., W _n。接著是求和計算出的 X _i*W _i ，產(chǎn)生了激發(fā)層 a，換一種方法表示：

a = (X1 * W1)+(X2 * W2)+...+(Xi * Wi)+...+ (Xn * Wn)

閾值稱為 theta。最后，輸出結(jié)果 y。當(dāng) a >=theta 時 y=1，反之 y=0。請注意輸出可以是連續(xù)的，因為它也可以由一個 squash 函數(shù) s（或 sigma）判定，該函數(shù)的自變量是 a，函數(shù)值在 0 和 1 之間，y=s(a)。

TLU 會分類，假設(shè)一個 TLU 有兩個輸入值，它們的權(quán)系數(shù)等于 1，theta 值等于 1.5。當(dāng)這個 TLU 輸入 <0,0>、<0,1>、<1,0> 和 <1,1> 時，它的輸出分別為 0、0、0、1。TLU 將這些輸入分為兩組：0 組和 1 組。就像懂得邏輯連接（布爾運算 AND）的人腦可以類似地將邏輯連接的句子分類那樣，TLU 也懂得一點邏輯連接之類的東西。

TLU 能夠用幾何學(xué)上的解釋來闡明這種現(xiàn)象。它的四種可能輸入對應(yīng)于笛卡爾圖的四個點。從等式 X ₁*W ₁+ X ₂*W ₂ = theta，換句話說，也即 TLU 轉(zhuǎn)換其分類行為的點開始，它的點都分布在曲線 X ₂ = -X ₁ + 1.5 上。這個方程的曲線將 4 個可能的輸入分成了兩個對應(yīng)于 TLU 分類的區(qū)域。這是 TLU 原理中更為普通的實例。在 TLU 有任意數(shù)目的 N 個輸入的情況下，一組可能的輸入對應(yīng)于 N 維空間中的一個點集。如果這些點可以被超平面 ― 換句話說，對應(yīng)于上面示例中的線的 N 維的幾何外形切割，那么就有一組權(quán)系數(shù)和一個閾值來定義其分類剛好與這個切割相匹配的 TLU。

TLU 的學(xué)習(xí)原理

既然 TLU 懂得分類，它們就知道素材。神經(jīng)網(wǎng)絡(luò)也可假定為可以學(xué)習(xí)。它們的學(xué)習(xí)機制是模仿大腦調(diào)節(jié)神經(jīng)連結(jié)的原理。TLU 通過改變它的權(quán)系數(shù)和閾值來學(xué)習(xí)。實際上，從數(shù)學(xué)的觀點看，權(quán)系數(shù)閾值的特征有點武斷。讓我們回想一下當(dāng) SUM(Xi * Wi) >= theta 時 TLU 在臨界點時輸出的是 1 而不是 0，這相當(dāng)于說臨界點是出現(xiàn)在 SUM(X _i* W _i)+ (-1 * theta) >= 0 的時候。所以，我們可以把 -1 看成一個常量輸入，它的權(quán)系數(shù) theta 在學(xué)習(xí)（或者用技術(shù)術(shù)語，稱為 培訓(xùn)）的過程中進行調(diào)整。這樣，當(dāng) SUM(X _i* W _i)+ (-1 * theta) >= 0 時，y=1，反之 y=0。

在培訓(xùn)過程中，神經(jīng)網(wǎng)絡(luò)輸入：

1. 一系列需要分類的術(shù)語示例
2. 它們的正確分類或者目標(biāo)

這樣的輸入可以看成一個向量：<X ₁, X ₂, ..., X _n, theta, t>，這里 t 是一個目標(biāo)或者正確分類。神經(jīng)網(wǎng)絡(luò)用這些來調(diào)整權(quán)系數(shù)，其目的使培訓(xùn)中的目標(biāo)與其分類相匹配。更確切地說，這是有指導(dǎo)的培訓(xùn)，與之相反的是無指導(dǎo)的培訓(xùn)。前者是基于帶目標(biāo)的示例，而后者卻只是建立在統(tǒng)計分析的基礎(chǔ)上。權(quán)系數(shù)的調(diào)整有一個學(xué)習(xí)規(guī)則，一個理想化的學(xué)習(xí)算法如下所示：

fully_trained = FALSE
DO UNTIL (fully_trained):
    fully_trained = TRUE
    FOR EACH training_vector = <X1, X2, ..., Xn, theta, target>::
                               # Weights compared to theta
        a = (X1 * W1)+(X2 * W2)+...+(Xn * Wn) - theta
        y = sigma(a)
        IF y != target:
            fully_trained = FALSE
        FOR EACH Wi:
        MODIFY_WEIGHT(Wi)      # According to the training rule
    IF (fully_trained):
        BREAK

您或許想知道，“哪些培訓(xùn)規(guī)則？”有很多，不過有一條似乎合理的規(guī)則是基于這樣一種思想，即權(quán)系數(shù)和閾值的調(diào)整應(yīng)該由分式 (t - y) 確定。這個規(guī)則通過引入 alpha (0 < alpha < 1) 完成。我們把 alpha 稱為 學(xué)習(xí)率。W _i 中的更改值等于 (alpha * (t - y)* Xi)。當(dāng) alpha 趨向于 0 時，神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)的調(diào)整變得保守一點；當(dāng) alpha 趨向于 1 時，權(quán)系數(shù)的調(diào)整變得激進。一個使用這個規(guī)則的神經(jīng)網(wǎng)絡(luò)稱為 感知器，并且這個規(guī)則被稱為 感知器學(xué)習(xí)規(guī)則。Rosenblatt 于 1962 年下的結(jié)論是，如果 N 維空間的點集被超平面切割，那么感知器的培訓(xùn)算法的應(yīng)用將會最終導(dǎo)致權(quán)系數(shù)的分配，從而定義了一個 TLU，它的超平面會進行需要的分割。當(dāng)然，為了記起 Keynes，最終我們都切斷了與外界的聯(lián)系，專心思考。但是在計算時間之外，我們?nèi)詾l臨危險，因為我們需要自己的神經(jīng)網(wǎng)絡(luò)對可能輸入的空間進行不止一次的切割。

文章開始的難題舉例說明了這個，假設(shè)給您 N 個字符的代碼段，您知道是 C、C++、Java 或者 Python。難的是構(gòu)造一個程序來標(biāo)識編寫這段代碼的語言。用 TLU 來實現(xiàn)需要對可能的輸入空間進行不止一次的分割。它需要把空間分成四個區(qū)域。每種語言一個區(qū)域。把神經(jīng)網(wǎng)絡(luò)培訓(xùn)成能實現(xiàn)兩個切割就可完成這種工作。第一個切割將 C/C++ 和 Java/Python 分開來，另一個將 C/Java 和 C++/Python 分開。一個能夠完成這些切割的網(wǎng)絡(luò)同樣可以識別源代碼樣本中的語言。但是這需要網(wǎng)絡(luò)有不同結(jié)構(gòu)，在描述這個不同之處之前，先來簡單地看一下實踐方面的考慮。

圖 2. 初步的（不完整的）感知器學(xué)習(xí)模型

考慮到排除取得 N 個字符代碼所需的計算時間，統(tǒng)計從 ASCII 碼的 32 到 127 的范圍內(nèi)可視 ASCII 碼字符出現(xiàn)的頻率，并在這個統(tǒng)計以及關(guān)于代碼語言的目標(biāo)信息的基礎(chǔ)上培訓(xùn)神經(jīng)網(wǎng)絡(luò)。我們的方法是將字符統(tǒng)計限制到 C、C++、Java 和 Python 代碼字符庫中最常用的 20 個非字母數(shù)字字符。由于關(guān)注浮點運算的執(zhí)行，我們打算用一種規(guī)格化因素將這 20 字符統(tǒng)計分開來，并以此培訓(xùn)我們的網(wǎng)絡(luò)。顯然，一個結(jié)構(gòu)上的不同是我們的網(wǎng)絡(luò)有 20 個輸入節(jié)點，但這是很正常的，因為我們的描述已經(jīng)暗示了這種可能性。一個更有意思的區(qū)別是出現(xiàn)了一對中間節(jié)點，N1 和 N2，以及輸出節(jié)點數(shù)量從兩個變成了四個（O1 到 O4）。

我們將培訓(xùn) N1，這樣當(dāng)它一看到 C 或 C++，設(shè)置 y1=1，看到 Java 或 Python，它將設(shè)置 y1=0。同理培訓(xùn) N2，當(dāng)它一看到 C 或 Java，設(shè)置 y2=1，看到 C++ 或 Python，設(shè)置 y2=0。此外，N1 和 N2 將輸出 1 或 0 給 Oi。現(xiàn)在如果 N1 看到 C 或 C++，而且 N2 看到 C 或者 Java，那么難題中的代碼是 C。而如果 N1 看到 C 或 C++，N2 看到 C++ 或 Python，那么代碼就是 C++。這個模式很顯而易見。所以假設(shè) Oi 已被培訓(xùn)并根據(jù)下面表格的情況輸出 1 或 0。

映射到輸出（作為布爾函數(shù)）的中間節(jié)點

如果這樣可行的話，我們的網(wǎng)絡(luò)就可以從代碼示例中識別出語言了。這個想法很好。但是在實踐上卻有些難以置信。不過這種解決方案預(yù)示了 C/C++ 和 Java/Python 輸入被一個超平面切割了，同樣 C/Java 和 C++/Python 輸入被另一個切割。這是一個網(wǎng)絡(luò)培訓(xùn)的解決方案，迂回地解決了這個輸入空間的設(shè)想。