根據(jù)一個簡化的統(tǒng)計，人腦由百億條神經(jīng)組成 ― 每條神經(jīng)平均連結到其它幾千條神經(jīng)。通過這種連結方式，神經(jīng)可以收發(fā)不同數(shù)量的能量。神經(jīng)的一個非常重要的功能是它們對能量的接受并不是立即作出響應，而 是將它們累加起來，當這個累加的總和達到某個臨界閾值時，它們將它們自己的那部分能量發(fā)送給其它的神經(jīng)。大腦通過調(diào)節(jié)這些連結的數(shù)目和強度進行學習。盡管 這是個生物行為的簡化描述。但同樣可以充分有力地被看作是神經(jīng)網(wǎng)絡的模型。

閾值邏輯單元（Threshold Logic Unit，TLU）

理解神經(jīng)網(wǎng)絡的第一步是從對抽象生物神經(jīng)開始，并把重點放在 閾值邏輯單元（TLU）這一特征上。一個 TLU 是一個對象，它可以輸入一組加權系數(shù)的量，對它們進行求和，如果這個和達到或者超過了某個閾值，輸出一個量。 讓我們用符號標注這些功能，首先，有輸入值以及它們的權系數(shù)：X ₁, X ₂, ..., X _n和 W ₁, W _2, ..., W _n。接著是求和計算出的 X _i*W _i ，產(chǎn)生了激發(fā)層 a，換一種方法表示：

a = (X1 * W1)+(X2 * W2)+...+(Xi * Wi)+...+ (Xn * Wn)

閾值稱為 theta。最后，輸出結果 y。當 a >=theta 時 y=1，反之 y=0。請注意輸出可以是連續(xù)的，因為它也可以由一個 squash 函數(shù) s（或 sigma）判定，該函數(shù)的自變量是 a，函數(shù)值在 0 和 1 之間，y=s(a)。

TLU 會分類，假設一個 TLU 有兩個輸入值，它們的權系數(shù)等于 1，theta 值等于 1.5。當這個 TLU 輸入 <0,0>、<0,1>、<1,0> 和 <1,1> 時，它的輸出分別為 0、0、0、1。TLU 將這些輸入分為兩組：0 組和 1 組。就像懂得邏輯連接（布爾運算 AND）的人腦可以類似地將邏輯連接的句子分類那樣，TLU 也懂得一點邏輯連接之類的東西。

TLU 能夠用幾何學上的解釋來闡明這種現(xiàn)象。它的四種可能輸入對應于笛卡爾圖的四個點。從等式 X ₁*W ₁+ X ₂*W ₂ = theta，換句話說，也即 TLU 轉(zhuǎn)換其分類行為的點開始，它的點都分布在曲線 X ₂ = -X ₁ + 1.5 上。這個方程的曲線將 4 個可能的輸入分成了兩個對應于 TLU 分類的區(qū)域。這是 TLU 原理中更為普通的實例。在 TLU 有任意數(shù)目的 N 個輸入的情況下，一組可能的輸入對應于 N 維空間中的一個點集。如果這些點可以被超平面 ― 換句話說，對應于上面示例中的線的 N 維的幾何外形切割，那么就有一組權系數(shù)和一個閾值來定義其分類剛好與這個切割相匹配的 TLU。

TLU 的學習原理

既然 TLU 懂得分類，它們就知道素材。神經(jīng)網(wǎng)絡也可假定為可以學習。它們的學習機制是模仿大腦調(diào)節(jié)神經(jīng)連結的原理。TLU 通過改變它的權系數(shù)和閾值來學習。實際上，從數(shù)學的觀點看，權系數(shù)閾值的特征有點武斷。讓我們回想一下當 SUM(Xi * Wi) >= theta 時 TLU 在臨界點時輸出的是 1 而不是 0，這相當于說臨界點是出現(xiàn)在 SUM(X _i* W _i)+ (-1 * theta) >= 0 的時候。所以，我們可以把 -1 看成一個常量輸入，它的權系數(shù) theta 在學習（或者用技術術語，稱為 培訓）的過程中進行調(diào)整。這樣，當 SUM(X _i* W _i)+ (-1 * theta) >= 0 時，y=1，反之 y=0。

在培訓過程中，神經(jīng)網(wǎng)絡輸入：

1. 一系列需要分類的術語示例
2. 它們的正確分類或者目標

這樣的輸入可以看成一個向量：<X ₁, X ₂, ..., X _n, theta, t>，這里 t 是一個目標或者正確分類。神經(jīng)網(wǎng)絡用這些來調(diào)整權系數(shù)，其目的使培訓中的目標與其分類相匹配。更確切地說，這是有指導的培訓，與之相反的是無指導的培訓。前者是基于帶目標的示例，而后者卻只是建立在統(tǒng)計分析的基礎上。權系數(shù)的調(diào)整有一個學習規(guī)則，一個理想化的學習算法如下所示：

fully_trained = FALSE
DO UNTIL (fully_trained):
    fully_trained = TRUE
    FOR EACH training_vector = <X1, X2, ..., Xn, theta, target>::
                               # Weights compared to theta
        a = (X1 * W1)+(X2 * W2)+...+(Xn * Wn) - theta
        y = sigma(a)
        IF y != target:
            fully_trained = FALSE
        FOR EACH Wi:
        MODIFY_WEIGHT(Wi)      # According to the training rule
    IF (fully_trained):
        BREAK

您或許想知道，“哪些培訓規(guī)則？”有很多，不過有一條似乎合理的規(guī)則是基于這樣一種思想，即權系數(shù)和閾值的調(diào)整應該由分式 (t - y) 確定。這個規(guī)則通過引入 alpha (0 < alpha < 1) 完成。我們把 alpha 稱為 學習率。W _i 中的更改值等于 (alpha * (t - y)* Xi)。當 alpha 趨向于 0 時，神經(jīng)網(wǎng)絡的權系數(shù)的調(diào)整變得保守一點；當 alpha 趨向于 1 時，權系數(shù)的調(diào)整變得激進。一個使用這個規(guī)則的神經(jīng)網(wǎng)絡稱為 感知器，并且這個規(guī)則被稱為 感知器學習規(guī)則。Rosenblatt 于 1962 年下的結論是，如果 N 維空間的點集被超平面切割，那么感知器的培訓算法的應用將會最終導致權系數(shù)的分配，從而定義了一個 TLU，它的超平面會進行需要的分割。當然，為了記起 Keynes，最終我們都切斷了與外界的聯(lián)系，專心思考。但是在計算時間之外，我們?nèi)詾l臨危險，因為我們需要自己的神經(jīng)網(wǎng)絡對可能輸入的空間進行不止一次的切割。

文章開始的難題舉例說明了這個，假設給您 N 個字符的代碼段，您知道是 C、C++、Java 或者 Python。難的是構造一個程序來標識編寫這段代碼的語言。用 TLU 來實現(xiàn)需要對可能的輸入空間進行不止一次的分割。它需要把空間分成四個區(qū)域。每種語言一個區(qū)域。把神經(jīng)網(wǎng)絡培訓成能實現(xiàn)兩個切割就可完成這種工作。第一個切割將 C/C++ 和 Java/Python 分開來，另一個將 C/Java 和 C++/Python 分開。一個能夠完成這些切割的網(wǎng)絡同樣可以識別源代碼樣本中的語言。但是這需要網(wǎng)絡有不同結構，在描述這個不同之處之前，先來簡單地看一下實踐方面的考慮。

圖 2. 初步的（不完整的）感知器學習模型

考慮到排除取得 N 個字符代碼所需的計算時間，統(tǒng)計從 ASCII 碼的 32 到 127 的范圍內(nèi)可視 ASCII 碼字符出現(xiàn)的頻率，并在這個統(tǒng)計以及關于代碼語言的目標信息的基礎上培訓神經(jīng)網(wǎng)絡。我們的方法是將字符統(tǒng)計限制到 C、C++、Java 和 Python 代碼字符庫中最常用的 20 個非字母數(shù)字字符。由于關注浮點運算的執(zhí)行，我們打算用一種規(guī)格化因素將這 20 字符統(tǒng)計分開來，并以此培訓我們的網(wǎng)絡。顯然，一個結構上的不同是我們的網(wǎng)絡有 20 個輸入節(jié)點，但這是很正常的，因為我們的描述已經(jīng)暗示了這種可能性。一個更有意思的區(qū)別是出現(xiàn)了一對中間節(jié)點，N1 和 N2，以及輸出節(jié)點數(shù)量從兩個變成了四個（O1 到 O4）。

我們將培訓 N1，這樣當它一看到 C 或 C++，設置 y1=1，看到 Java 或 Python，它將設置 y1=0。同理培訓 N2，當它一看到 C 或 Java，設置 y2=1，看到 C++ 或 Python，設置 y2=0。此外，N1 和 N2 將輸出 1 或 0 給 Oi。現(xiàn)在如果 N1 看到 C 或 C++，而且 N2 看到 C 或者 Java，那么難題中的代碼是 C。而如果 N1 看到 C 或 C++，N2 看到 C++ 或 Python，那么代碼就是 C++。這個模式很顯而易見。所以假設 Oi 已被培訓并根據(jù)下面表格的情況輸出 1 或 0。

映射到輸出（作為布爾函數(shù)）的中間節(jié)點

如果這樣可行的話，我們的網(wǎng)絡就可以從代碼示例中識別出語言了。這個想法很好。但是在實踐上卻有些難以置信。不過這種解決方案預示了 C/C++ 和 Java/Python 輸入被一個超平面切割了，同樣 C/Java 和 C++/Python 輸入被另一個切割。這是一個網(wǎng)絡培訓的解決方案，迂回地解決了這個輸入空間的設想。