南京2022年11月7日 /美通社/ -- 11月3日南棲仙策通用智能決策2022發(fā)布會上，介紹了強化學習工業(yè)軟件REVIVE的新版本，更為驚艷的是，還發(fā)布了首個工業(yè)控制預訓練模型?？梢灶A見到強化學習，這一曾經(jīng)在圍棋上戰(zhàn)勝人類的AI技術，將為工業(yè)場景將帶來巨大變革。

智能決策平臺REVIVE（Reinforcement learning with Virtualized Environment），能夠將少量歷史數(shù)據(jù)轉化為強大的決策引擎。

"我們在多年的落地經(jīng)驗中，吸取了非常多的教訓，我們相信這個版本，能夠帶來更加智能，準確，靈活，可信的智能決策結果。" 南棲仙策聯(lián)合創(chuàng)始人秦熔均這樣介紹。新發(fā)布的REVIVE更智能、更準確、更靈活、更可信：

更加智能：新版本的REVIVE SDK引入變量因果分析工具，將用戶從稠密的數(shù)據(jù)和復雜交錯的流程當中解脫出來，自動進行結構優(yōu)化和推薦，幫助用戶輕松構建模型和進行虛擬環(huán)境的訓練。

更加準確：正如人類在做決策時可以很快認知他所面臨的環(huán)境，REVIVE通過生成、自動識別并自動匹配不同環(huán)境和最佳元策略模型，對最終的策略進行調優(yōu)。針對實際環(huán)境，選擇出最適宜準確的決策。

更加靈活：在現(xiàn)實應用中往往會有一些隱藏變量，新版REVIVE可以輕松添加隱變量模塊，將缺失值也納入考量。同時，新版本也更容易拆分出子模塊進行修改和復用。

更加可信：REVIVE提供了決策的樹狀可視化狀態(tài)，用戶可以主動和模型進行交互，看看做了不同改變會獲得怎樣不同的結果，嘗試不同決策，預見不同未來。

除了面向通用決策場景的REVIVE SDK，本場發(fā)布會上最驚艷的內容，是面向工業(yè)反饋控制任務的決策預訓練模型。

通用反饋控制預訓練模型

反饋控制任務廣泛存在于大量的工業(yè)場景中。這類任務需要對實施過程中的每一步所引起的客觀效果進行感知和反饋，并據(jù)此做出控制反應，調整下一步的計劃決策和實施方案，在往復動態(tài)中達到控制目標。

不同的場景之下，工程師們需要根據(jù)不同的場景和環(huán)境去調整每一個控制參數(shù)，達到控制效果。如果能夠實現(xiàn)通用的反饋控制系統(tǒng)，將為工業(yè)應用帶來巨大變革。

要實現(xiàn)這項技術的關鍵核心在于，對不同任務的自動識別。只有當它識別了當前的任務是什么，才能根據(jù)任務調整控制策略，以做到對不同的任務都做出最優(yōu)的決策。

針對這個問題，南棲仙策推出了通用反饋控制系統(tǒng)識別器：GFSEncoder。它能夠輸出3維的編碼，來識別和表達不同反饋控制系統(tǒng)的特征和變化。

作為神經(jīng)網(wǎng)絡對系統(tǒng)的理解，GFSEncoder編碼的每一維不會直接對應到系統(tǒng)的物理參數(shù)，但是二者依然會存在一定聯(lián)系。

南棲仙策還額外發(fā)布了GFSEncoder Pro，將參數(shù)量提升50%以上。輸出的任務編碼維度從3維提升至8維，具有更強大的任務識別和編碼能力。

在發(fā)布會上，南棲仙策以滑塊的控制為例，展示了特征編碼是如何隨著物理參數(shù)的變化而變化的。B站搜索南棲仙策 https://www.bilibili.com/video/BV1Bd4y1c7n7/?spm_id_from=333.999.0.0&vd_source=81e9203bcfc1f33b834d254f33b023c7 可以看到完整的演示過程。

最后還需要強調的是，GFSEncoder并不需要額外測量系統(tǒng)的各種參數(shù)。

GFSEncoder下游應用

（一）系統(tǒng)變動預警

很多系統(tǒng)在長時間的運行后會發(fā)生老化或者損壞。通過比對GFSEncoder輸出的編碼可實時監(jiān)控系統(tǒng)是否出現(xiàn)變化，預警系統(tǒng)失效。

（二）系統(tǒng)標定

GFSEncoder還可以根據(jù)當前系統(tǒng)編碼與標準系統(tǒng)編碼的差異來調整系統(tǒng)的參數(shù)，使用戶不需要精密測量，就可以將系統(tǒng)向標準系統(tǒng)校準。

（三）PID參數(shù)預測

在這個應用中，南棲仙策介紹了將要推出的第二個模型，PIDPredictor。

PIDPredictor也是一個深度神經(jīng)網(wǎng)絡模型，能夠基于GFSEncoder編碼對相應的最優(yōu)PID參數(shù)進行預測。GFSEncoder與PIDPredictor相結合，可以通過系統(tǒng)中的歷史軌跡信息得到最優(yōu)PID參數(shù)。

在展示當中，可以看出PIDPredictor所預測的PID參數(shù)的控制效果（右側）會比待整定的PID控制器好很多。B站搜索南棲仙策可以看到完整的演示過程。

（四）通用反饋任務控制

南棲仙策還將PID控制器用神經(jīng)網(wǎng)絡控制器替代，推出了通用反饋控制器，GFSController。GFSController是使用強化學習訓練得到的通用控制器，它由GFSEncoder與一個神經(jīng)網(wǎng)絡控制器組合而成。

結合GFSEncoder對系統(tǒng)的快速編碼能力，GFSController可以做到部署即運行。

發(fā)布會以平衡車任務為例，進行了展示。在部署了GFSEncoder之后，無需進行任何針對性的調節(jié)，GFSController就能夠直接將平衡車控制在穩(wěn)定的狀態(tài)。

作為驗證，南棲仙策將GFSController部署至無人機高度控制任務中。作為對比，南棲仙策還引入了一個調好的二階PID完成同樣的任務，可以看出，GFSController與一個調好的PID控制器表現(xiàn)出了相當?shù)乃健?/p>

為了測試GFSController通用性，發(fā)布會上，南棲仙策對更多的衍生場景進行了假設和模擬：如果有一天人類登陸火星或是在高空飛行，這個無人機能否適應新的環(huán)境變化？

GFSController很快就完成了對新系統(tǒng)的識別，其超調已經(jīng)明顯降低，然而PID控制器的超調依然很嚴重，以致于最后無人機撞擊到地面并損毀。B站搜索南棲仙策可以看到完整的演示過程。

需要注意的是，這里的PID控制器是一個二階級聯(lián)的PID控制器。而GFSController則是一階控制的。事實上，GFSController也能夠通過級聯(lián)來提升控制效果。這意味著GFSController除了通用性之外，還具有強大的拓展性。

南棲仙策已經(jīng)將GFSEncoder的相關的模型發(fā)布到了REVIVE官網(wǎng)。https://revive.cn 歡迎大家下載體驗。