基于特征重整及優化訓練的遮擋人臉識別算法

　　摘 要: 以 ResNet50 網絡為基礎網絡，提出了使用信息熵的權重特征對池化層的信息進行優化，在不增加額外參數的情況下使得網絡特征提取更加充分; 同時提出了改進型 PSO( 粒子群) 算法對卷積網絡誤差反向傳播階段進行優化，通過比較 GSA( 引力搜索) 優化前后最優粒子的適應度函數值，以此確保每次迭代中獲得全局最優粒子. 實驗結果表明本文提出的方法有助于人臉的識別，尤其是在遮擋人臉的識別中，同時優化后的網絡的訓練收斂速度和識別速度也有了明顯提升.

　　本文源自大連交通大學學報 第42 卷 第 3 期 2021 年 6 月

　　關鍵詞: ResNet50，信息熵，PSO，GSA，遮擋

　　隨著人臉識別算法的不斷成熟，其在越來越多的應用場景中發揮積極作用，如證件查詢，出入考勤查驗，人臉支付等，另外在治理交通痼疾“闖紅燈”問題上也大顯身手. 早期的人臉識別典型算法有模板匹配法，PCA( 主成分分析法) 和 LDA ( 線性判別分析) 等，但是這些方法對訓練集和測試場景、光照、人臉的表情等因素比較敏感，泛化能力不足，不具備太多的使用價值. 之后的人臉檢測算法普遍采用了人工特征 + 分類器的思想，常見的描述圖像特征有 HOG，SIFT [1]，LBP，Gabor 等，典型的代表特征是 LBP( 局部二值模式) 特征，這種特征簡單卻有效，部分解決了光照敏感問題，但還是存在姿態和表情的問題. 現階段主要的方法是基于深度學習的方法，利用卷積神經網絡 ( CNN) 對輸入的人臉圖片進行學習，提取出區別不同人的特征向量，替代人工設計的特征. DeepFace 是 CVPR2014 上由 Facebook 提出的方法，使用 3D 模型來完成人臉對齊任務，然后使用深度卷積神經網絡對對齊后的人臉進行分類學習，最終在 LFW 上取得了 97. 35% 的準確率，由于采用了多層局部卷積結構，產生了大量的參數量，且對數據量 要 求 很 大，因此應用有很大的局限性. FaceNet 是由谷歌公司推出的關于人臉識別的算法，其使用三元組損失函數( Triplet Loss [2]代替常用的 Softmax 交叉熵函數，同時使用了 Inception [3]模型，產生的參數量較小，在 LFW 取得了 99. 63% 的準確率. 可以看出基于深度學習的人臉識別算法已經較好地解決了多數場景中的人臉識別任務，效果堪比人眼. 但是實際應用中總是會存在人臉受到遮擋( 如戴口罩，帽子) ，導致特征發生缺失，以上方法在解決這類問題時，效果差強人意.

　　本文以 ResNet50 網絡為基礎模型，提出了基于信息熵的權重特征來優化池化層特征的方法對卷積層的特征信息進行聚合增強; 同時提出了一種改進型 PSO 算法對 CNN 誤差反傳階段的初始權值進行優化，實驗結果表明改進后的模型對識別結果有所提升，尤其是對于遮擋人臉識別，效果明顯.

　　1 基于信息熵的權重特征表示優化池化層特征

　　近年來，深度學習技術已經在圖像處理，自然語言處理等方面取得了突出的成績，并且在多個領域的工程應用中取得了較大的突破. 然而在使用卷積層訓練網絡時，在對卷積層輸出的特征圖進行處理時，往往會使用池化層對特征圖進行采樣操作，通過對不同位置的特征進行聚合，從而達到減少卷積特征的目的. 而且對模型網絡進行設計的時候，對圖像特征聚合的好壞，也會直接影響網絡訓練的收斂速度和其魯棒性. 在此，本文提出的一種基于信息熵的權重特征表示的卷積計算方法. 通過對需要池化的卷積做類似信息熵的計算方式，將需要池化的區域進行基于信息熵的方式特征聚合，對特征的信息進行進一步的聚合，使得到的新的特征信息表達與原特征保持一致聯系，從而保證信息特征表征的最大化. 算法流程如圖 1 所示.

　　具體流程如下:

　　首先得到卷積之后的特征，然后對卷積之后的每個特征值，選擇合適的濾波器的大小，對每一個特征值先求取特征值所占的概率 P( xi ) ，如若卷積之后的特征是一個 2 × 2 的矩陣，里面的特征值分別標記為 x1，x2，x3，x4，則對任意一個特征值的概率值為: P( x ) i = xi /∑( xi ) ( 1)

　　故對卷積之后的特征是任意一個 n × n 的矩陣，里面任意一個特征值概率值為: P( ) xi = xi /∑i = 1 ( ) xi ( 2)

　　通過該特征的概率值進行信息量的求取. 特征值信息量求取如式( 3) 所示. I( x) = - ∑ n i = 1 log P( ) x ( ) i ( 3)

　　當取得特征值信息量后，對特征值的所有信息作熵處理，信息熵求取公式如式( 4) 所示. H( x) = - ∑log P( ) x ( ) i P( x ) i ( 4)

　　得到特征值的信息熵后，將信息熵和特征值信息作進一步融合. 最后融合到的新的特征值計算公式如式( 5) 所示. Feature( x) = H( x) ·xi ( 5)

　　通過對卷積后的特征進行聚合，結合了不同特征之間的聚合能力，也充分使用了同一特征的強度信息，使其擁有更充分的表征能力. 運算效率高，不會增加新的參數，使提取的網絡特征更加充分.

　　2 基于 PSO 和 GSA 優化的 CNN 算法的方法

　　一般的 CNN 網絡都采用梯度下降算法，梯度下降法是一種快速的局部搜索算法，它能使得算法快速收斂。PSO 是在 CNN 網絡優化中比較有效的方法之一，它具有信息共享能力和收斂速度快等特點，但是全局搜索能力較差. GSA 是全局智能搜索算法，實現了位置的調整和對空間中最優解的搜索. 利用 PSO 的記憶能力、信息共享能力和 GSA 的全局搜素能力進行融合，形成一種改進型 PSO 優化算法，在每次迭代中，計算利用此優化算法計算粒子的位置，并利用此位置更新 CNN 的初始權值，該算法的適應度函數作為 CNN 的誤差函數，以此對 CNN 的誤差反傳階段進行改進.

　　算法的主要實現流程按照以下 5 步:

　　( 1) 樣本數據準備和初始化 CNN 網絡參數

　　( 2) 初始化 PSO 和 GSA 參數

　　初始化 PSO 和 GSA 參數時，設置 α 值為 20， G0 值為 1，質量和加速度均為 0，粒子規模 N 為 25，迭代次數為 1000，加速系數、c1、c2、c3 均為 1. 49，初始質量和加速度均為 0，慣性權重 w' 從 0. 4 ～ 0. 9 線性增加，初始速度 V 為[0，1]間有間隔的隨機值.

　　( 3) 更新 PSO 和 GSA 參數

　　GSA 和 PSO 在每次迭代中，會根據如下步驟更新參數:

　?、偈紫扔嬎阋ΤＡ?G( t) 和歐幾里得距離Rij ( t) . G( )t = G0 e - αt/tmax ( 6) Rij ( )t = | | Xi ( t) Xj ( t) | | 2 ( 7) 式中，α為下降系數; G0 為初始引力常數; tmax 為最大迭代次數; Xi ( t) 和 Xj ( t) 分別表示第 t 次迭代中第 i 個粒子和第 j 個粒子的位置.

　?、谟嬎懔Ｗ邮芷渌Ｗ右狭?Fd i ( )t = ∑ N j = 1，i≠j randj G( )t Mi ( )t Mj ( )t Rij ( )t + ε · xd j ( )t - xd i ( ) ( )t ( 8) 式中: xd i ( )t 和 xd j ( )t 分別表示粒子 i 和 j 在第 t 次迭代中第 d 維空間上的位置; Mi ( )t 、Mj ( )t 分別表示在第 t 次迭代中，受力粒子的慣性質量和施力粒子的慣性質量; ε 為一個很小的常量; G( t) 表示在第 t 次迭代中的引力常量; Rij ( )t 表示在第 t 次迭代中，粒子 i、j 的歐幾里得距離; randj 為在[0， 1]范圍間隨機數.

　?、塾嬎氵m應度函數 fi ( t) . fi ( )t = ∑ q k = 1 [∑ m i = 1 ( gi - σ) 2 /q] ( 9) 式中: m 表示輸出節點數; q 表示訓練樣本數; gi 表示經訓練樣本訓練后的預測輸出; σ 為訓練樣本目標輸出.

　　④計算粒子質量 Mi ( t) . Mi ( )t = fi ( )t - worst( t) best( )t - worst( t) ∑ N j = 1 fj ( )t - worst( t) best( )t - worst( t ( ) ) ( 10) 式中: fi ( t) 表示粒子i在第t次迭代中的適應度函數值; best( t) 表示粒子 i 在第 t 次迭代中的最好適應度值; worst( t) 表示粒子 i 在第 t 次迭代中的最差適應度.

　　⑤計算粒子加速度 ad i . 第d維空間上粒子i 的加速度為 ad i = Fd i ( )t / Mi ( )t ( 11) 式中: Fd i ( )t 表示第 t 次迭代中第 d 維空間上，第 i 個粒子受其它粒子引力合力作用; Mi ( t) 表示粒子 i 在第 t 次迭代中的質量.

　?、抻嬎懔Ｗ拥乃俣?v d i ( t) 和位置 xd i ( t) . 粒子 i 在 d 維空間上的速度如式( 12) 所示，粒子 i 在 d 維空間上的位置如式( 13) 所示. v d i ( ) t + 1 = randi v d i ( )t + ad i ( )t ( 12) xd i ( ) t + 1 = xd i ( )t + v d i ( ) t + 1 ( 13) 式中，randi 表示范圍在[0，1]間隨機數; v d i ( t) 和 xd i ( t) 分別表示粒子 i 在第 t 次迭代中第 d 維空間中的速度和位置; ad i ( t) 表示第 t 次迭代中第 d 維空間上粒子 i 在引力合力作用下的加速度.

　?、哂嬎?PSO 粒子最優位置 gi，best . 通過比較粒子 i 的改進最優解和原最優解的適應度值，取兩者適應度值較大的作為新的全局最優粒子. 粒子 i 的改進最優解. g'i，best = g* i，best + ( ∑ Psize i = 1 Vd i ( t) ) /Psize·rand ( 14) 式中: g* i，best 是粒子 i 的原最優解; Psize 是粒子的總數; rand 表示[0，1]之間的隨機數.

　?、嘤嬎?PSO 和 GSA 融合后的粒子的速度 V. Vi ( ) t + 1 = w' Vi ( )t + c1 rand ai ( )t + c2· rand gi， ( best - xi ( ) ) t + c3 rand· ( gbest - xi ( t) ( 15) 式中: Vi ( t) 表示粒子 i 在第 t 次迭代中的速度; w' 為慣性權重，用于均衡粒子的探索能力與開發能力; gi，best 表示 PSO 算法在第 t 次迭代中粒子 i 最優位置的改進值，即局部極值的位置坐標; gbest 表示 PSO 算法在第 t 次迭代中當前群體的最優位置，即全局極值的位置坐標; rand 表示[0，1]之間的隨機數; c1、c2、c3 表示加速系數，其數值被調整，可以平衡引力和記憶，以及社會信息對搜索的影響; a 表示粒子 i 在引力合力作用下的加速度.

　?、嵊嬎?PSO 和 GSA 融合后的粒子的位置 X.粒子 i 第 t + 1 次迭代中的位置 Xi ( ) t + 1 = Xi ( )t + V'i ( ) t + 1 ( 16) 式中: Vi ( ) t + 1 表示粒子 i 在第 t + 1 次迭代中的速度; Xi ( )t 表示粒子 i 在第 t 次迭代中的位置.

　?、庾顑灹Ｗ?X'i( ) t + 1 選取. 首先根據③，計算⑥中 xd i ( t) 的適應度函數 f1 i ( t) 和⑨中 Xi( ) t + 1 的適應度函數 f2 i ( t) ，然后比較 f1 i ( t) 和 f2 i ( t) 的大小，取最 大 者 作 為 算 法 在 本 次迭代的最優粒子 X'i( ) t + 1 ，從而保證了最優粒子的獲得.

　　( 4) 更新 CNN 網絡參數

　　在每次迭代中，根據步驟( 4) 對 GSA 和 PSO 進行參數更新，并以得到的粒子位置 X 去更新 CNN 的權值 W.

　　( 5) 計算誤差

　　在每次迭代中，根據步驟( 4) 對 CNN 網絡權值進行更新后，再通過步驟( 3) 中的適應度函數 fi ( )t = ∑ q k = 1 [∑ m i = 1 ( gi - σ) 2 /q]計算適應度函數值 ( 即誤差) ，如果已經達到誤差閾值范圍的極小值或達到最大迭代次數 tmax ，那么停止算法; 如果還未收斂，返回步驟( 3) ，繼續迭代.

　　改進核心是將 GSA 和 PSO 優化方法結合，各取所長，最終形成一種搜索能力較強的改進型 GSA 算法. 它的主要特點在于 GSA 的最優解是通過 PSO 的群體最優解和個體改進最優解共同作用獲得的.

　　4 實驗過程

　　4. 1 實驗環境

　　本文中的實驗訓練和測試過程中主要是在服務器上進行的，顯卡為 NVIDIA Tesla P40，深度學習框架為 Tensorflow

　　4. 2 實驗數據及模型預訓練

　　常用的公開人臉數據集有很多，如 LFW， PubFig 等，LFW 數據集一共包含了 13 233 張圖片，包含 5749 個人，其中有 1 680 個人有 2 張或者以上的圖片. 為了提高模型的檢測精度，本文的實驗數據集有兩個，其中首先是在 LFW 數據集上進行模型預訓練，總共訓練 11 萬次，每次從訓練集中隨機抽取 560 張圖片，之后對自己采集的人臉圖片數據集約 6 000 張，1 000 個 id 人使用預訓練的模型繼續訓練 8 萬次后進行測試. 為了進一步檢測本文方法對遮擋人臉的檢測效果，本文使用 40 × 40 像素的方塊，對圖片進行隨機遮擋，并同樣的進行訓練.

　　4. 3 實驗結果分析

　　為了方便表示，本文將基于信息熵的權重特征優化方法表示為方法一，將基于改進 PSO 優化方法表示為方法二，本文使用傳統 ResNet50 網絡，同時分別結合方法一，方法二在相同測試集中進行測試，具體結果如表 1 所示.

　　從表1 可以看出相對于傳統的 ResNet50 網絡，在同樣的測試環境和測試樣本下，方法一、方法二對ResNet50 網絡分別有了 0. 47%，0. 25%的提升，由于正面人臉特征較完全，ResNet50 網絡本身效果較好，本文的算法對其改進效果不明顯，對于遮擋數據集，由于自身人臉信息不完整，導致 ResNet50 網絡識別準確率只有 67. 15%，結合本文所提算法后分別有了 2. 6%，3. 08%的提升，最終識別準確率可以達到 71. 34%，提升結果較為顯著.

　　5 結論

　　通過以上結果看出，對 ResNet50 網絡使用信息熵的權重特征對池化層的信息進行優化，和對ResNet50 網絡使用改進型 PSO 算法對誤差反傳階段的初始權值進行優化，可以明顯提高模型對人臉的識別精度，尤其是當目標人臉信息不完整時，效果提升更為明顯. 同時本文改進算法在原始ResNet50 的基礎上再不會增加額外參數，因此也不會對模型的速度產生影響.