基於強化學習的工業控制系統無檔案攻擊防禦機制
ITAOI 2026 第二十四屆離島資訊技術與應用研討會, 2026年5月29日
網址 ↗PDF ↗
摘要
工業控制系統(Industrial Control Systems, ICS)隨著IT/OT整合趨勢,正面臨越來越嚴峻的資安威脅。近年來,無檔案攻擊(FilelessAttack)因為執行過程完全在記憶體中進行,不會在磁碟上留下實體檔案,能有效規避傳統特徵碼式防毒軟體,成為針對ICS環境的新型高危威脅手法。 本研究設計並實作一套基於強化學習(Reinforcement Learning, RL)的工控網路資安防禦系統,用來偵測透過HID裝置注入、PowerShell無檔案執行,進而以ModbusTCP操控PLC設備的多段式攻擊鏈。系統採用WindowsEvent Log 作為資料來源,透過Logstash 即時收集命令列執行記錄,並以TF-IDF詞彙、字元n-gram及42項手工特徵共1042維向量表示每筆指令。 防禦模型採用近端策略優化演算法(ProximalPolicyOptimization, PPO),以二元分類方式判定指令是否為惡意行為,並透過四次系統性RewardShaping迭代,在抑制誤報的同時有效提升對進階威脅的偵測能力。實驗以2,451筆訓練樣本與614筆測試樣本進行驗證,系統最終達到97.39%正確率、98.29%精確率、95.04%召回率及96.64%F1分數,誤報率僅1.08%。結果驗證了PPO在命令列惡意行為偵測任務上的可行性,並展示強化學習應用在ICS網路防禦場景的潛力。關鍵詞:工業控制系統、強化學習、無檔案攻擊、PowerShell 偵測、入侵偵測
