论文标题：Behaviour-diverse automatic penetration testing: a coverage-based deep reinforcement learning approach

期刊：Frontiers of Computer Science

作者：Yizhou YANG, Longde CHEN, Sha LIU, Lanning WANG, Haohuan FU, Xin LIU, Zuoning CHEN

发表时间：25 Feb 2024

DOI：10.1007/s11704-024-3380-1

微信链接：点击此处阅读微信文章

引用格式：

Yizhou YANG, Longde CHEN, Sha LIU, Lanning WANG, Haohuan FU, Xin LIU, Zuoning CHEN. Behaviour-diverse automatic penetration testing: a coverage-based deep reinforcement learning approach. Front. Comput. Sci., 2025, 19(3): 193309

阅读原文：

问题概述

随着信息技术的飞速发展，网络安全问题日益突出。为了有效应对网络威胁，自动化渗透测试成为了一个重要的技术手段。传统的渗透测试依赖于人工进行，效率低下且难以保证测试的全面性和准确性。而基于强化学习（Reinforcement Learning, RL）的自动化渗透测试技术，通过智能算法自主学习和优化测试策略，显著提高了渗透测试的效率和可靠性。然而，随着现代网络基础设施规模的不断扩大，传统的基于RL的自动化渗透测试方法也面临着一系列挑战。大型规模网络空间中的RL智能体的动作空间巨大，导致RL智能体的渗透测试策略常常不够有效且无法满足不同渗透测试目标。

强化学习智能体进行渗透测试

为了解决这些问题，本文提出了一种基于覆盖机制的强化学习自动化渗透测试方法。该研究将渗透测试的过程转化为一个马尔可夫决策过程（Markov Decision Process, MDP），并通过深度强化学习进行策略求解。

技术步骤

该研究研发了一个名为CLAP（Coverage-Based Automatic Penetration Testing）的RL智能体，通过设计基于覆盖机制决策神经网络架构，处理大规模网络空间中强化学习智能体动作空间爆炸的挑战。除了引入覆盖率机制外，CLAP还采用切比雪夫分解（Chebyshev Decomposition）批评者（Critic）网络来评估不同测试目标的价值（Value），这种机制使得智能体能够朝着策略多样性的方向进行策略求解，从而发现更加多样化的渗透测试策略。

该研究中CLAP智能体的系统架构

实验结果

实验结果表明，相较于传统的基于RL的自动化渗透测试方法，CLAP在多个方面展现了明显的优势。首先，CLAP更为高效，使用的操作数量减少了近35%。其次，CLAP的训练效率和稳定性也得到显著提升，使得在大规模网络（最多可达500个主机）上进行有效的渗透测试成为现实。最后，CLAP在实现多个渗透测试目标时，相比传统方法，具有更好的综合性能策略表现。随着网络技术的不断发展，我们期待基于强化学习的自动化渗透测试技术在未来能够发挥更大的作用，为网络安全提供更加坚实的技术保障。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。

中国学术前沿期刊网

http://journal.hep.com.cn