《工业信息安全》刊登：人工智能安全技术及智能防御系统研究2

05.

人工智能的局限

1994年，认知科学家Steven Pinker在《The Language Instinct》[12]中写道“对人工智能而言，困难的问题是易解的，简单的问题是难解的”。“简单的复杂问题”指的是问题空间是闭合的，但是问题本身却又有较高的复杂度，比如下围棋属于简单的复杂问题。“复杂的简单问题”指的是问题空间是无限开放式的，但问题本身却并没有很高的复杂度。比如网络安全问题就属于复杂的简单问题，因为安全攻击的技术与方式时刻处于变化中，也无法穷举，但具体到某个具体的网络攻击，则往往是有迹可循的。

今天智能技术在“简单的复杂问题”的领域，往往都比人类会更强，但对于“复杂的简单问题”，泛化界限引起的空间爆炸，人工智能往往都会失效。

不幸的是，网络安全问题属于复杂的简单问题，人工智能在网络安全问题空间的应用面临挑战。特别是莫拉维克悖论（由人工智能和机器人学者所发现的一个和常识相左的现象，和传统假设不同，人类所独有的高阶智慧能力只需要非常少的计算能力，例如推理，但是无意识的技能和直觉却需要极大的运算能力）在网络安全领域表现得更为明显。

人工智能技术应用到网络安全存在下面的挑战：问题空间不闭合、样本空间不对称、推理结果要么不准确要么不可解释、模型泛化能力衰退、跨领域思维融合挑战。

1、问题空间不闭合

图片4.png

图4 网络安全问题空间示意图

如图4所示，网络安全的问题空间包括已知和未知。而已知又包括已知的已知，如某个已知的漏洞；未知的已知，如某个还未被发现的已知被曝光的安全漏洞。未知包括已知的未知，如软件系统必然存在某个安全漏洞；未知的未知，如根本就不知道会有什么风险或威胁。

2、样本空间不对称

未知的未知是网络安全无法避免的困境，使得网络安全问题空间不闭合，也就导致负向数据（如攻击数据、风险数据等）的严重缺乏造成的特征空间的不对称，进而导致特征空间无法真正表征问题空间。模型是已有数据空间下关于世界的假设，并且用于在新的数据空间下进行推理。今天人工智能技术已经能很好地解决表示输入和输出之间的非线性复杂关系，但对于样本空间相对开放的问题空间来说严重不对称。

3、推理结果不可解释性

人工智能应用以输出决策判断为目标，然而其在安全方面的应用往往涉及复杂的数据和模型，导致算法的工作原理和结果难以理解或解释。

这里涉及一个概念：可解释性，是指人类能够理解决策原因的程度。人工智能模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。而模型可解释性指对模型内部机制的理解以及对模型结果的理解。

人工智能应用需要在建模阶段，辅助开发人员理解模型，进行模型的对比选择，必要时优化调整模型；在投入运行阶段，向决策方解释模型的内部机制，对模型结果进行解释。

但是在建模阶段，人工智能技术存在决策准确性与决策可解释性的矛盾，神经网络的决策准确性高，但可解释性差，决策树的可解释性强，但准确性不高。当然现在已经有两者结合的方法，一定程度上在两者之间取得平衡。

而在投入运行阶段，向决策方解释模型的内部机制以及决策结果的解释，涉及数据隐私、模型安全等方面的道德困境。

4、泛化能力衰退

早在二十世纪六十年代，贝尔-拉帕杜拉安全模型（Bell-LaPadula）就指出“当仅当系统开始于安全的状态，且一直不会落入非安全状态，它才是安全的”。

人工智能技术用模型来表征问题空间，但由于安全的本质是资源与智力的对抗，因此安全问题空间永远都不是闭合的，在训练集上表现良好的模型，对于大规模的现实环境，一上线就存在不断的对抗，进而不断跌入失效的状态，模型泛化能力衰退。

06.

智能安全自主度模型

知识与推理是人类智能的基础，计算机要实现推理与决策，则需要解决三个问题：知识表示与推理形式、不确定性知识表示与推理、常识表示与推理。

牌类是不完全信息博弈，计算机打牌要比下棋困难得多。2017年人工智能才在6人无限注德州扑克牌上战胜了人类。牌类是概率确定性问题，而现实环境是完全不确定的，甚至是对抗环境，因此复杂环境下的自主决策具有很大的挑战性。

对抗场景下的自主决策的挑战主要有两个方面：环境的动态性和任务的复杂性

（1）环境的动态性包括不确定条件、不完全信息、形势动态变化、实时博弈；（2）任务复杂性包括信息采集、进攻、防守、侦察、骚扰等。

对抗场景下的自主决策通常利用常识和逻辑演绎弥补信息的不完全性，进而通过融合人类领域知识和强化学习结果生成预案，协助做出正确决策。

复杂环境下的自主决策还需要解决如何适应环境变化而相应地做出决策变化的问题。比如自动驾驶将物体识别出来后建立模型，在此基础上做实时的驾驶规划，但难以应对突发事件。因此自动驾驶还需要驾驶的知识和经验，需要在与环境的不断交互过程中学习这些经验知识，即强化学习。

因此智能赋能的安全系统的威胁检测与防护的自主决策能力是衡量其智能程度的关键指标之一。参考自动驾驶系统的分级，可构建一个智能安全自主度模型。

1、智能安全自主度模型分级划分依据

人脑在进行阅读时，并不是严格的解码过程，而是接近于一种模式识别。大脑会自动忽略低可能、低价值的信息，也会自动地基于上下文的信息，将阅读的内容更正为“大脑认为正确的版本”，这就是所谓的人脑注意力。

智能安全自主度分级根据以下五个要素进行划分，并按以下流程进行判定：

（1）动态安全任务：指智能安全系统需要执行的网络安全相关的任务，包括网络环境感知、网络攻击检测、网络防御措施等。

（2）目标和事件探测与响应（OEDR）：指智能安全系统对网络环境中的目标和事件进行识别、分析和处理的能力，包括网络攻击者、网络漏洞、网络异常等。

（3）动态安全任务接管：指智能安全系统将动态安全任务的执行权交给人类或其他智能安全系统的过程，包括接管请求、接管确认和接管完成等。

（4）动态安全任务接管用户：指接管动态安全任务的人类或其他智能安全系统的主体，包括驾驶员、乘客、远程操作员等。

（5）动态安全任务接管条件：指动态安全任务接管发生的条件或场景，包括系统故障、系统限制、用户需求等。

2、智能安全自主度模型等级

根据等级划分要素，自动驾驶系统的分级，我们可以将智能安全自主度也划分为以下六个等级：

（1）L0，无自动化，智能安全系统不执行任何动态安全任务，只在紧急情况下提供报警或辅助，如防火墙、杀毒软件等。人类负责所有的网络安全决策和操作。

（2）L1，驾驶员辅助，智能安全系统执行部分动态安全任务中的横向或纵向运动控制，如入侵检测、漏洞扫描等。人类负责其他的动态安全任务和OEDR。智能安全系统不发出接管请求，人类可以随时接管动态安全任务。

（3）L2，部分自动化，智能安全系统执行部分动态安全任务中的横向和纵向运动控制，如入侵防御、漏洞修复等。人类负责其他的动态安全任务和OEDR。智能安全系统不发出接管请求，人类可以随时接管动态安全任务。

（4）L3，条件自动化，车辆自动化驾驶系统本身控制着对环境的所有监测。驾驶员的注意力在这个水平上仍然很重要，但可以脱离制动等“安全关键”功能。

（5）L4，高度自动化，智能安全系统执行全部动态安全任务和OEDR，如自适应防御、自主修复等。人类不需要监督智能安全系统的运行，也不需要保持接管能力。当智能安全系统无法继续执行动态安全任务或OEDR时，会发出接管请求，并在一定时间内等待人类或其他智能安全系统的响应。如果没有及时响应，智能安全系统会采取最小风险状态（MRS），如断开网络连接、关闭电源等。

（6）L5，完全自动化，智能安全系统执行全部动态安全任务和OEDR，如自适应防御、自主修复等。人类不需要监督智能安全系统的运行，也不需要保持接管能力。智能安全系统可以在任何条件下自主地执行动态安全任务和OEDR，不会发出接管请求，也不会采取最小风险状态（MRS）。智能安全系统可以自我学习、自我优化、自我协调，实现网络安全的最高水平。

3、智能安全自主度分级的意义和影响

智能安全自主度分级对于智能安全系统的设计、开发和应用有着重要的意义和影响。具体来说，有以下几个方面：

（1）指导智能安全系统的功能和性能：智能安全自主度分级可以明确智能安全系统在不同等级下需要具备的功能和性能，如动态安全任务的执行范围、OEDR的处理能力、接管请求的发出条件等。这有助于智能安全系统的设计者和开发者根据不同的需求和场景，选择或定制合适的智能安全系统。

（2）评估智能安全系统的效果和可信度：智能安全自主度分级可以量化智能安全系统在不同等级下的效果和可信度，如动态安全任务的完成率、OEDR的准确率、接管请求的响应率等。这有助于智能安全系统的用户和评估者根据不同的标准和指标，测试或验证智能安全系统的性能和质量。

（3）规范智能安全系统的使用和管理：智能安全自主度分级可以规范智能安全系统在不同等级下的使用和管理，如动态安全任务的分配方式、OEDR的监督方式、接管请求的处理方式等。这有助于智能安全系统的运营者和管理者根据不同的规则和流程，控制或调整智能安全系统的运行和状态。

07.

智能安全防御系统的挑战与机遇

随着AI成熟度越来越高，攻击的数量和复杂度也在不断增加，导致数据泄露、业务中断、财产损失等严重后果，而且随着网络攻击者不断变换策略和手段，利用新的漏洞或恶意软件进行攻击，难以被传统的安全系统识别和防御。网络环境日益复杂和分散，涉及物联网、云计算、移动设备、远程办公等多种技术和场景，增加了安全的管理难度和成本。

1、智能安全防御系统的挑战

目前可以将智能安全防御系统面临的挑战总结如下：

（1）数据质量问题：AI技术依赖于大量的高质量数据来进行训练和测试，但是在网络安全领域，数据往往是不完整、不平衡、不一致或含有噪声的。这些数据质量问题会影响AI技术的性能和准确性，甚至导致错误或误报。因此，如何对网络安全数据进行有效地清洗、标注、增强和融合是一个重要的问题。

（2）算法鲁棒性问题：AI技术在网络安全方面的应用也可能受到网络攻击者的反制或欺骗，导致算法失效或错误。例如，网络攻击者可以利用对抗样本、模型窃取、模型逆向等方法，来破坏或欺骗AI技术的模型或输出。因此，如何提高AI技术的鲁棒性和可信度是一个重要的问题。

（3）算法可解释性问题：AI技术在网络安全方面的应用往往涉及复杂的数据和模型，导致算法的工作原理和结果难以理解或解释。这会影响AI技术的可靠性和可接受性，甚至引发法律或伦理等问题。因此，如何提高AI技术的可解释性和透明度是一个重要的问题。

2、智能安全防御系统的发展方向

针对上述挑战，本文提出以下一些AI技术在网络安全方面的研究方向和建议：

一是提供高质量数据：

（1）用数据清洗、数据增强、数据融合等方法，去除数据中的噪声、冗余和不一致，增加数据的多样性和完整性。

（2）利用数据标注、数据生成、数据伪造等方法，为数据添加标签、元数据或其他信息，增加数据的可用性和有效性。

（3）利用数据隐私保护、数据共享、数据开放等方法，保护数据的安全性和隐私性，增加数据的可信度和共享度。

二是提供高鲁棒性算法：

（1）利用对抗训练、模型融合、模型更新等方法，增强模型的抵抗能力和适应能力，降低模型被攻击或欺骗的风险。

（2）利用模型验证、模型测试、模型审计等方法，检测模型的正确性和完整性，发现并修复模型中的漏洞或缺陷。

（3）利用模型加密、模型隐藏、模型保护等方法，保护模型的安全性和私密性，防止模型被窃取或逆向。

三是提供高解释性算法：

（1）利用可解释机器学习、可解释深度学习、可解释自然语言处理等方法，设计或改进算法的结构或过程，使其更容易理解或解释。

（2）利用可视化分析、文本生成、语音交互等方法，提供或生成算法的输出或结果的图形化或自然语言化表达，使其更容易呈现或沟通。

3、智能安全防御系统的机遇

AI技术的发展让一些工作更加高效，但是也让攻击变得复杂难以防御，比如0day漏洞，在AI的加持下变得更加难以防范。

（1）AI生成：攻击者可以利用AI技术自动化地生成或优化0day攻击代码，如利用深度学习生成对抗样本（adversarial examples），利用遗传算法生成变异代码（polymorphic code）等。

（2）AI执行：攻击者可以利用AI技术自动化地执行或调整0day攻击策略，如利用强化学习实现自适应攻击（adaptive attack），利用机器学习实现智能决策（intelligent decision）等。

（3）AI隐蔽：攻击者可以利用AI技术自动化地隐蔽或伪装0day攻击行为，如利用自然语言处理生成伪装文本（camouflage text），利用图像处理生成伪装图像（camouflage image）等。

因此，传统的安全防御系统依赖的规则、签名、行为特征、威胁情报等都不能满足需求，此时智能安全防御系统的机遇就到来了。

目前，基于AI技术构建智能安全防御系统可以应用到以下系统：

（1）入侵检测系统（IDS）：入侵检测系统是指用于监测网络或系统中是否存在异常或恶意活动的系统。AI技术可以利用机器学习或深度学习算法，对网络流量或系统日志进行特征提取、分类、聚类、异常检测等操作，实现对入侵行为的自动识别和报警。

（2）恶意软件分析系统（MAS）：恶意软件分析系统是指用于分析恶意软件的行为、功能和来源的系统。AI技术可以利用自然语言处理或知识表示和推理方法，对恶意软件的代码、文本或图像进行语义分析、语法分析、语言生成等操作，实现对恶意软件的自动分类、标记、描述和溯源。

（3）网络安全态势感知系统（NSSA）：网络安全态势感知系统是指用于评估网络安全状况和风险水平的系统。AI技术可以利用机器学习或深度学习算法，对网络安全数据进行预处理、特征选择、降维、模型构建等操作，实现对网络安全态势的自动评估和预测。

（4）网络安全决策支持系统（NSSD）：网络安全决策支持系统是指用于提供网络安全相关的建议或方案的系统。AI技术可以利用知识表示和推理或机器学习方法，对网络安全知识进行表示、存储、查询、推理等操作，实现对网络安全问题的自动解决和优化。

4、使用AI技术构建的智能安全防御系统案例

AI技术目前并不是只存在于理论层板，本文总结了以下几个典型案例：

（1）IBM Watson for Cyber Security：IBM Watson for Cyber Security是IBM公司开发的一款基于AI技术的网络安全平台，它可以利用自然语言处理和机器学习等方法，对海量的结构化和非结构化数据进行智能分析，并提供相关的见解和建议。它可以帮助安全人员快速发现和响应0day攻击，提高安全效率和效果。

（2）Google Project Zero：Google Project Zero是Google公司成立的一个专门负责寻找和报告0day漏洞的团队，它可以利用AI技术和人工智能等方法，对各种软件或网络进行深入的测试和分析，并及时公开或通知相关的漏洞信息。它可以帮助软件开发者和用户及时修复或防范0day漏洞，提高软件质量和安全性。

（3）Microsoft Defender ATP：Microsoft Defender ATP是Microsoft公司提供的一款基于AI技术的终端安全平台，它可以利用机器学习和深度学习等方法，对终端设备进行实时的监控和保护，并提供相关的报告和建议。它可以帮助终端用户有效地防御0day攻击，提高终端安全性能。

目前，世界上各个互联网巨头纷纷下场开始了AI层面的智能安全防御系统竞争，可以预见接下来的安全防御系统必然会迎来一次变革。

08.

智能安全

本文从人工智能和智能安全的角度，回顾了人工智能的三个发展浪潮，分析了智能系统的基本组成，讨论了智能安全的含义和分类，提出了智能安全自主模型，指出了人工智能在网络安全领域应用的挑战，并展望了未来的研究方向。人工智能和智能安全是一个充满活力和创新的领域，它们将对人类社会产生深远的影响。我们希望本文能够为读者提供一个有益的参考，激发更多地思考和探索。

参考文献

[1]胡勤.人工智能概述[J].电脑知识与技术：学术版,2010(5):3507-3509.

[2]杜严勇.人工智能安全问题及其解决进路[J].哲学动态,2016(9):99-104.

[3] Turing A. Intelligent machinery (1948)[J]. B. Jack Copeland, 2004: 395.

[4] Turing A M. Computing machinery and intelligence (1950)[J]. The Essential Turing: the Ideas That Gave Birth to the Computer Age, 2012: 433-464.

[5] Campbell M, Hoane Jr A J, Hsu F. Deep blue[J]. Artificial intelligence, 2002, 134(1-2): 57-83.

[6] Silver D, Huang A, Maddison C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.

[7] Barlow H B. Unsupervised learning[J]. Neural computation, 1989, 1(3): 295-311.

[8] Gers F A, Schmidhuber J, Cummins F. Learning to forget: Continual prediction with LSTM[J]. Neural Computation, 2000, 12(10): 2451-2471.

[9] 刘建伟, 丁熙浩, 罗雄麟. 多模态深度学习综述[J]. Application Research of Computers/Jisuanji Yingyong Yanjiu, 2020, 37(6).

[10] SAE International. Taxonomy and definitions for terms related to on-road motor vehicle automated driving systems: SAE J3016-2021[S]. Warrendale: SAE International, 2021:1.

[11] Bartwal U, Mukhopadhyay S, Negi R, et al. Security orchestration, automation, and response engine for deployment of behavioural honeypots[C]//2022 IEEE Conference on Dependable and Secure Computing (DSC). IEEE, 2022: 1-8.

[12] Pinker S. The Language Instinct. How the Mind Creates Language[M]. New York / London, 1994:201.

来源：《工业信息安全》2024年第1期

— 【 THE END 】—

新闻动态

News information