1 引言
人工神經(jīng)網(wǎng)絡(luò)zui重要的功能之一是分類。對于線性可分問題，采用硬限幅函數(shù)的單個神經(jīng)元，通過簡單的學(xué)習(xí)算法就可成功實現(xiàn)分類。即對于兩個不同類中的輸入矢量，神經(jīng)元的輸出值為0或1。但對于大多數(shù)非線性可分類，硬限幅神經(jīng)元則無法完成分類功能。自適應(yīng)線性元件Adaline（Adap-tive LiIlear Element）是一種具有線性功能函數(shù)的神繹元，在實際輸出與理想預(yù)期值的zui小二乘LMS（Least Mean Square）的統(tǒng)計意義下進行學(xué)習(xí)，可以實現(xiàn)*的非線性可分集合的分類，即按照zui小二乘的統(tǒng)計意義要求，實際輸出值與理想預(yù)期值之間的誤差均方值為zui小，能夠?qū)崿F(xiàn)這一目的算法即稱為zui小二乘學(xué)習(xí)算法或LMS算法。

2 Adaline的LMS算法原理
設(shè)輸入矢量X=[x1，x2，…，xn]，加權(quán)矢量W=[ω1，ω2，…，ωn]，則神經(jīng)元的輸出為：

定義ε（k）是理想輸出值d（k）與實際輸出值y（k）之間的誤差，即ε（k）=d（k）-y（k），其均方值記作E[ε2（k）]，令ζ（k）=E[ε2（k）]，則：

由式（2）可知必定存在*的加權(quán)矢量W*，使ζ（k）達到zui小，此時ζ（k）相對于W的梯度等于零，從而可以得到：

式（3）雖然給出了求*加權(quán)矢量的方法，但需要大量的統(tǒng)計計算，而且當輸入矢量X的維數(shù)很大時，需要解決高階矩陣求逆問題，這些在數(shù)學(xué)計算上都是非常閑難的。

3 隨機逼近LMS學(xué)習(xí)算法的提出
為了解決式（3）存在的問題，有學(xué)者提出LMS學(xué)習(xí)問題的嚴格遞推算法和隨機逼近算法，這里簡要描述其算法原理。LMS學(xué)習(xí)問題的嚴格遞推算法是在任意設(shè)置初始加權(quán)矢量W（0）時，對于每一個時序變量k，對W調(diào)整：

用這種方法可以保證求得嚴格的*解，而且避開矩陣求逆。但學(xué)習(xí)過程的每一步仍需大量的統(tǒng)計計算，仍需解決統(tǒng)計計算困難。
LMS學(xué)習(xí)問題的隨機逼近算法則將權(quán)值調(diào)整公式修正為下列形式：

該方法與前一算法區(qū)別在于：用ε（k）X（k）代替E[ε（k）X（k）]，從而避免統(tǒng)計計算的困難，但同時使加權(quán)矢量的變化趨向隨機性；步幅α變成一個隨時序k變化的量，可以證明，當α（k）滿足以下條件時，學(xué)習(xí)是收斂的：α（k）是時序k∞ ∞
的非增函數(shù)；在這樣k=0 k=0的條件下，W（k）隨著k增大而趨向W*的概率為1。

4 隨機逼近LMS算法仿真
按以下步驟對隨機逼近算法編制程序進行仿真：
（1）對圖1所示的正弦波和三角波分別進行64點均勻采樣，組成64維輸入樣本矢量。

（2）W（0）選擇服從（0，1）之間均勻分布的隨機矢量，初始步長參數(shù)α選為0．03，選定誤差的平方臨界值ε02（k）=10-5，將X0，X1交替重復(fù)地送入采用線性函數(shù)的神經(jīng)元，反復(fù)訓(xùn)練，直至ε2（k）≤ε02（k），這樣可以得到誤差平方和學(xué)習(xí)次數(shù)之間的關(guān)系，如圖2所示。
從圖2中可以看出．當α=0．03時，學(xué)習(xí)是收斂的，學(xué)習(xí)次數(shù)k=1 147，學(xué)習(xí)完成時ε（k）=3．2x10-3，其平方小于所確定的ε02（k）。把X0，X1重新送入神經(jīng)元，計算后得到實際輸出值Y0=0．003 9，Y1=0．999 9，這和預(yù)期輸出值相當接近，從而較好完成了X0，X1的分類。
（3）設(shè)置不同的步幅α，分別計算并繪制ε2（k）變化曲線，觀察ε2（k）的收斂性、收斂速度與α的關(guān)系，試驗結(jié)果如圖3所示。從圖3中可以看出，當α 很小時，學(xué)習(xí)收斂，學(xué)習(xí)速度很慢，且收斂的穩(wěn)定性較好；當α增大，學(xué)習(xí)仍保持收斂，但學(xué)習(xí)速度加快，同時穩(wěn)定性降低；當α=0．08時，學(xué)習(xí)已不再收斂。

（4）仿真正確性和抗噪性。產(chǎn)生一系列加噪的正弦波和三角波作為輸入矢量，所疊加的噪聲服從正態(tài)分布N（0，σ2）。規(guī)定Pn為正確識別X0的概率，P1 為正確識別X1的概率，ERR為輸出錯誤的個數(shù)（總樣本：1 000），通過檢測可得表1。由表1可看出，當噪聲的方差σ2較小時，使用隨機逼近算法的Adaline神經(jīng)元幾乎可以無誤地識別輸入矢量；但當噪聲方差逐步加大時，錯判的概率也隨之加大。而在學(xué)習(xí)收斂的條件下，步幅α對神經(jīng)元輸出的正確性幾乎沒有影響。圖4是總樣本為200時，固定α=0．03．當α2 =3x10-3時的分類結(jié)果示意圖。

5 仿真結(jié)果和分析
首先對兩種波形進行64點采樣，再利用隨機逼近算法對兩種波形進行分類，這也相當于一個64 維空間中兩個點的分類問題。仿真結(jié)果表明：對于不同的初始步幅α，神經(jīng)元完成學(xué)習(xí)任務(wù)的訓(xùn)練時間不同；在保證學(xué)習(xí)收斂性的前提下，α越大，收斂速度越快，但收斂的穩(wěn)定性變差。權(quán)矢量的初始值W（0）對學(xué)習(xí)的收斂性沒有影響。zui后，對神經(jīng)元的學(xué)習(xí)結(jié)果進行檢驗，檢驗結(jié)果驗證了經(jīng)學(xué)習(xí)訓(xùn)練后，神經(jīng)元分類的正確性及抗噪性。從網(wǎng)絡(luò)的原理可看出，在隨機逼近算法中，若α（k）是時序k的非增函數(shù)，且有

學(xué)習(xí)是收斂的。但本仿真中均采用恒定步幅值α，這樣只有在α的值比較小的情況下，才能保證學(xué)習(xí)收斂。為了改進算法，可采用時變的步幅α（k）=1/pk+q，則既滿足步幅因子收斂的條件，又保證步幅因子在學(xué)習(xí)開始時較大，而隨著學(xué)習(xí)的進行逐漸減小。