基於大型語言模型的網站自動化滲透測試
摘要
隨著網路應用日益普及,網站安全威脅持續升高,滲透測試成為評估系統安全性的重要手段。近年大型語言模型(Large Language Model, LLM)的快速發展為自動化滲透測試帶來新契機,MAPTA(Multi-Agent Penetration Testing AI)、AWE(Adaptive Agents for Dynamic Web Penetration Testing)等系統已在 XBOW-104 基準上展現可觀的漏洞捕獲率;然而這些系統均以高階昂貴模型(GPT-5、Claude Sonnet 4)為核心,伴隨顯著的 API(Application Programming Interface)推論成本。若直接改用成本最低的弱模型(gpt-5-nano),實驗顯示弱模型雖能在約六成的題目被導航至正確的漏洞端點,全基準卻僅捕獲約 3% 的旗標。可見其瓶頸不在於發現漏洞,而在於利用漏洞。本研究因此主張,對最便宜的弱模型而言,利用才是比導航更關鍵的瓶頸。 基於此,本研究設計一套導航、偵察、利用三方協作架構:以階層式 Thompson Sampling 搭配四層評分進行導航、以弱模型負責偵察、以端點綁定(endpoint-bound)的 Playbook 引擎負責確定性的漏洞利用。在 XBOW-104 基準上以最弱的 gpt-5-nano 評估,純大型語言模型僅捕獲 2.9%,加入 Playbook 後提升至 30.8%,而完整評估的推論成本僅約 4.16 美元,約為 AWE(7.73 美元)的 54%、MAPTA(21.38 美元)的五分之一。據我們所知,本研究首次證明,即使是成本最低的 nano 級弱模型,只要以端點綁定的 Playbook 補足其欠缺的利用能力,也能完成具實用價值的網站自動化滲透。此外,於相同架構下改用能力更強的模型可進一步提升捕獲率,claude-haiku-4-5 達 33.7%、glm-5.2 達 43.3%,顯示端點綁定架構具良好的跨模型泛化性。
