基于強化學(xué)習(xí)的重介質(zhì)選煤過程優(yōu)化控制

　　摘 要: 決定重介質(zhì)選煤產(chǎn)品質(zhì)量的主要影響因素是重介質(zhì)懸浮液密度。 但是由于過程復(fù)雜, 設(shè)備眾多, 呈強非線性特性, 導(dǎo)致對實現(xiàn)重介質(zhì)懸浮液密度的優(yōu)化控制存在難點。 為此, 針對重介質(zhì)選煤過程及其特性, 提出了一種基于強化學(xué)習(xí)的優(yōu)化控制方法, 用于在線更新密度設(shè)定值。 所提方法將策略提升和策略評價兩步迭代采用不同的神經(jīng)網(wǎng)絡(luò)實現(xiàn), 建立了無模型的控制器。 最后, 在 MATLAB 仿真平臺上, 將該方法與傳統(tǒng) PI 控制方法相比較, 驗證了所提方法的有效性。

　　關(guān)鍵詞: 重介質(zhì)選煤; 懸浮液密度; 強化學(xué)習(xí); 優(yōu)化控制

　　胡金良; 李彤昀; 王光輝 煤炭工程 2021-12-30

　　在我國的能源消耗中, 煤炭資源占據(jù)著很大的比例。 雖然新興能源的發(fā)展在一定程度上緩解了煤炭供給壓力, 但我國以煤炭資源為主的能源結(jié)構(gòu)仍未改變。 煤炭洗選是煤炭生產(chǎn)利用過程中的重要一環(huán), 提升煤炭洗選效率具有意義深遠[1,2] 。重介質(zhì)淺槽分選是我國常用的選煤工藝, 具有分選精度高、 效率好的特點。 重介質(zhì)選煤過程受設(shè)備的各種工藝參數(shù)影響[3] , 但是在實際的選煤工藝中, 對精煤質(zhì)量起決定性作用的是重介質(zhì)懸浮液密度。 此外灰分是衡量重介質(zhì)選煤精煤質(zhì)量的關(guān)鍵指標(biāo)。 因此, 通過調(diào)節(jié)重介質(zhì)懸浮液密度, 實現(xiàn)對精煤灰分的控制是重介質(zhì)選煤過程優(yōu)化控制的主要方法。 因此, 諸多學(xué)者針對調(diào)節(jié)重介質(zhì)旋流器懸浮液密度, 實現(xiàn)成品煤灰分控制問題開展了研究, 取得豐碩的成果。

　　文獻[4] 針對可建模的重介質(zhì)選煤過程, 提出了一種基于模型預(yù)測控制的重介質(zhì)懸浮液密度在線優(yōu)化方法, 并通過仿真實驗驗證了對灰分控制的有效性。 文獻[5] 在模型預(yù)測控制算法中引入前饋控制環(huán)節(jié), 增強控制系統(tǒng)的魯棒性。 但是重介質(zhì)選煤過程動態(tài)時變, 呈強非線性[6,7] , 采用上述基于模型的控制方法較難實現(xiàn)實時控制。 因而已有采用數(shù)據(jù)驅(qū)動的方法進行優(yōu)化控制[8] 。 文獻[9] 通過離線采集的歷史數(shù)據(jù), 利用時間序列的最小二乘支持向量機, 建立了密度給定模型。 文獻[10]利用歷史數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型, 提出一種寬域運行優(yōu)化控制方法。 但是上述方法僅考慮對已出現(xiàn)工況進行控制設(shè)計, 缺乏對未知工況自學(xué)習(xí)能力。 因此, 為了提升精煤灰分產(chǎn)量控制精度和系統(tǒng)響應(yīng)速率, 提高控制系統(tǒng)自學(xué)習(xí)能力, 本文采用基于強化學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)方法對重介質(zhì)選煤過程優(yōu)化控制。

　　1 重介質(zhì)選煤過程及其優(yōu)化控制問題分析 1. 1 重介質(zhì)選煤過程

　　本文針對重介質(zhì)選煤工藝中的重介質(zhì)淺槽分選工藝進行研究, 其主要包括混料桶、 分選槽、 排矸刮板和各種儀器儀表。 其工藝流程如圖 1 所示。

　　在實際生產(chǎn)過程中, 原煤與重介質(zhì)懸浮液混合后, 泵送入分選槽。 在排矸刮板擾動的過程中, 高密度物(尾礦) 下降并通過排放口排出, 輕密度物(精礦)上升并從溢流堰溢出, 剩余的重介質(zhì)懸浮液將與高濃度的介質(zhì)水混合, 形成密度相對穩(wěn)定的合格介質(zhì), 并再次與新的原料混合, 重復(fù)上述過程[11,12] 。不同儀器的型號和運行模式, 運行狀態(tài)的各種工藝參數(shù)均或多或少影響最終的分選效果。 如排矸刮板的渦流方向, 當(dāng)其與矸石沉降方向相同時, 對分選效果是有益的; 當(dāng)其與矸石沉降方向相反時, 會阻礙分選[3] 。

　　1. 2 重介質(zhì)選煤過程控制難點

　　1) 強非線性。 煤炭重介質(zhì)選效果主要取決于重介質(zhì)懸浮液密度的高低, 但其與凈煤灰分并不是簡單的線性關(guān)系。 又因為混合礦漿的流速與原煤的進料速度也呈現(xiàn)非線性特性, 因此難以采用基于模型的優(yōu)化控制方法。

　　2) 動態(tài)時變性。 原煤的成分并不是一成不變的, 所含有的雜質(zhì)、 粒度均持續(xù)波動。 當(dāng)重介質(zhì)懸浮液狀態(tài)時變時, 其壓力密度也會受其影響, 排矸刮板等設(shè)備運行參數(shù)需相應(yīng)調(diào)整, 否則會使得系統(tǒng)處于非經(jīng)濟最優(yōu)狀態(tài)。

　　重介質(zhì)選煤過程的強非線性與動態(tài)時變性導(dǎo)致無法建立有效的機理模型, 現(xiàn)有基于模型的優(yōu)化控制方法難以進行實時過程優(yōu)化。 基于強化學(xué)習(xí)的過程優(yōu)化控制方法, 能夠根據(jù)重介質(zhì)選煤運行的歷史數(shù)據(jù)求解最優(yōu)控制, 從而有效解決上述問題[13,14] 。

　　2 重介質(zhì)選煤過程優(yōu)化控制 2. 1 過程優(yōu)化控制問題

　　本文在重介質(zhì)懸浮液密度回路控制基礎(chǔ)上, 通過建立運行優(yōu)化層實現(xiàn)對重介質(zhì)懸浮液密度設(shè)定值優(yōu)化, 從而穩(wěn)定控制精煤灰分, 保證選煤產(chǎn)品的質(zhì)量。 實際工業(yè)運行優(yōu)化層動態(tài)特性復(fù)雜, 以連續(xù)時間非線性系統(tǒng)模型進行描述: r · (t) = f(r(t)) + g(t)w(t) (1) 其中, r 為實際運行時的系統(tǒng)指標(biāo)值; w 為系統(tǒng)的輸入; f(t)和 g(t)表示運行優(yōu)化層的動態(tài)特性。對系統(tǒng)方程進行離散化處理, 可得: r(k + 1) = f(r(k)) + g(r(k))w(k) (2) 為使運行優(yōu)化層實際系統(tǒng)指標(biāo)能夠快速跟蹤期望設(shè)定值, 通過建立性能評價指標(biāo)函數(shù), 調(diào)節(jié)輸入?yún)?shù) w, 最終實現(xiàn)實際運行指標(biāo)在理想值附近穩(wěn)定運行。 考慮跟蹤誤差盡可能為 0 且限制控制輸入的變化浮動不大, 從而避免設(shè)定值過大, 導(dǎo)致系統(tǒng)不穩(wěn)定, 其評價函數(shù)定義: min w(k) J(k) = ∑ ∞ i = k γ i-k ((r ∗ i - ri) TQ(r ∗ i - ri) + w T i Rwi) (3) 式中, γ 為實際運行過程中的歷史數(shù)據(jù)對當(dāng)前運行指標(biāo)評價影響的衰減程度, 0<γ<1; Q 和 R 分別為半正定和正定矩陣, 從而保證系統(tǒng)在期望值附近穩(wěn)定時, 評價指標(biāo)將接近于定值。

　　2. 2 基于強化學(xué)習(xí)的設(shè)定值優(yōu)化控制策略

　　為便于求解, 定義廣義被控對象為 ζ(m+1) = r(m+1) r ∗ (m+1) é ë ê ê ù û ú ú , 將其代入式 ( 3) 可以表示為值函數(shù)形式: V(ζk) = ∑ ∞ i = k γ i-k (ζi TQ1 ζi + w T i Rwi) = def ∑ ∞ i = k γ i-kUi (4) 其中, Q1 = [I -I] TQ[I -I]。 根據(jù)式(4), 從而將求解評價函數(shù)最小值的問題, 轉(zhuǎn)為解非線性過程的 Bellman 方程, 其方程: V(ζk) = Uk + ∑ ∞ i = k+1 γ i-kUi = Uk + γV(ζk+1 ) (5) 從而求解 LQR 問題的 Hamilton 函數(shù): H(ζk, wk) = Uk + γV(ζk+1 ) - V(ζk) (6) 根據(jù) Bellman 原理, 最優(yōu)值函數(shù)滿足離散時間 HJB(Hamilton-Jacobi-Bellman, HJB)方程: V ∗ (ζk) =min w(k) (Uk + γV ∗ (ζk+1 )) (7) 可得求解最優(yōu)控制率需滿足[15] :