樹人論文刊發(fā)BP神經(jīng)網(wǎng)絡(luò)算法

　　摘要：BP算法是非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法，對(duì)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展起到了重大的推動(dòng)作用，該文介紹了BP算法的基本原理及其缺陷，并提出了改進(jìn)BP算法的方法。

　　關(guān)鍵詞：BP算法;人工神經(jīng)網(wǎng)絡(luò);改進(jìn)的BP算法

　　1 概述

　　人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)，是基于人類大腦的生物活動(dòng)所提出的，是一個(gè)數(shù)學(xué)模型。它由眾多節(jié)點(diǎn)通過(guò)一定的方式互聯(lián)組成，是一個(gè)規(guī)模巨大、自適應(yīng)的系統(tǒng)。其中有一種學(xué)習(xí)算法是誤差傳遞學(xué)習(xí)算法即BP算法。BP算法是人工智能最常用到的學(xué)習(xí)方法，從一定意義上來(lái)講，BP算法的提出，終結(jié)了多層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練算法上的空白史，是在實(shí)際應(yīng)用中最有效的網(wǎng)絡(luò)訓(xùn)練方法，對(duì)ANN的應(yīng)用和發(fā)展起到了決定性的作用。

　　BP算法是使用從輸出層得到的誤差來(lái)估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進(jìn)行，就會(huì)獲得其他所有各層的估算誤差。這樣就實(shí)現(xiàn)了將從輸出層的得到誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程[1]。但是，BP算法也存在著不可忽視的缺陷。基于此，該文總結(jié)介紹了BP的改進(jìn)方法。

　　2 BP算法的基本思想

　　2.1 BP算法的基本原理

　　BP算法是有監(jiān)督指導(dǎo)的算法，它的學(xué)習(xí)訓(xùn)練過(guò)程一般分為兩步：首先是輸入樣本的正向傳遞;第二步誤差的反向傳遞;其中信號(hào)正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過(guò)輸出層輸出，中間層對(duì)樣本數(shù)據(jù)進(jìn)行處理操作，利用各層的權(quán)值和激活函數(shù)對(duì)數(shù)據(jù)進(jìn)行操作然后在輸出層獲得輸出[2];接下來(lái)就是反向傳遞，算法得到的實(shí)際輸出值與期望目標(biāo)輸出之間必然會(huì)有誤差，根據(jù)誤差的大小來(lái)決定下一步的工作。如果誤差值較小滿足訓(xùn)練的精度要求，則認(rèn)為在輸出層得到的值滿足要求，停止訓(xùn)練;反之，則將該誤差傳遞給隱藏層進(jìn)行訓(xùn)練，按照梯度下降的方式，對(duì)權(quán)值和閾值進(jìn)行調(diào)整，接著進(jìn)行循環(huán)，直到誤差值滿足精度要求停止訓(xùn)練[3]。

　　3 BP算法的缺陷

　　盡管BP算法有著顯著的優(yōu)點(diǎn)，但是在實(shí)際應(yīng)用過(guò)程中，BP算法會(huì)出現(xiàn)很多問(wèn)題。尤其是下面的問(wèn)題，對(duì)BP神經(jīng)網(wǎng)絡(luò)更好的發(fā)展有很大影響。有的甚至?xí)?dǎo)致算法崩潰。

　　3.1 收斂速度的問(wèn)題

　　BP算法在進(jìn)行訓(xùn)練學(xué)習(xí)時(shí)，收斂速度慢，特別是在網(wǎng)絡(luò)訓(xùn)練達(dá)到一定的精度時(shí)，BP算法就會(huì)出現(xiàn)一個(gè)長(zhǎng)時(shí)間的誤差“平原”，算法的收斂速度會(huì)下降到極慢[4]。如果盲目的加快收斂速度，則會(huì)使算法產(chǎn)生震蕩現(xiàn)象。

　　3.2 局部極小點(diǎn)問(wèn)題

　　在一些初始權(quán)值的條件下，BP算法在訓(xùn)練過(guò)程中會(huì)陷入局部極值。這是由于BP網(wǎng)絡(luò)采用最速下降法，誤差曲面非常復(fù)雜且分布著許多局部極值點(diǎn)，一旦陷入，BP算法就很難逃脫，進(jìn)而會(huì)使BP網(wǎng)絡(luò)的訓(xùn)練停止。算法可以在某處得到一個(gè)收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會(huì)使網(wǎng)絡(luò)難以達(dá)到事先規(guī)定的誤差精度[5]。

　　3.3 網(wǎng)絡(luò)癱瘓問(wèn)題

　　在算法的學(xué)習(xí)訓(xùn)練過(guò)程中，網(wǎng)絡(luò)的權(quán)值會(huì)變得很大，從而使得節(jié)點(diǎn)的輸入變大，這就會(huì)導(dǎo)致其激活函數(shù)的導(dǎo)函數(shù)在改點(diǎn)取得的值很小，接著會(huì)導(dǎo)致算法的訓(xùn)練速度變得極低，最終會(huì)導(dǎo)致BP網(wǎng)絡(luò)停止收斂，網(wǎng)絡(luò)癱瘓。

　　3.4 步長(zhǎng)問(wèn)題

　　BP的收斂是建立在無(wú)窮小權(quán)修改量的基礎(chǔ)上，而這就意味著網(wǎng)絡(luò)所需要的訓(xùn)練時(shí)間是無(wú)窮的，這顯然是不可取的。因此，要限定權(quán)值修改量的值。這主要是因?yàn)椋绻介L(zhǎng)太小，那么網(wǎng)絡(luò)的收斂速度就會(huì)下降，如果步長(zhǎng)太大，就會(huì)使BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生癱瘓和振蕩。學(xué)者們經(jīng)過(guò)研究提出一個(gè)較好的方法，就是用自適應(yīng)的步長(zhǎng)代替原來(lái)的定值步長(zhǎng)，以使權(quán)值修改量隨著BP網(wǎng)絡(luò)的訓(xùn)練而不斷變化[6]。

　　小編推薦同類優(yōu)秀的電子類期刊　　《系統(tǒng)管理學(xué)報(bào)》期刊論文

　　《系統(tǒng)管理學(xué)報(bào)》雜志1994年起被列為“中國(guó)科技論文統(tǒng)計(jì)與分析”刊源，是管理科學(xué)重要期刊。系統(tǒng)科學(xué)、系統(tǒng)工程與管理科學(xué)等學(xué)科在理論上，方法上的最新研究成果，以及實(shí)際案例分析。