一、 未知威胁：0day和APT
人类的恐惧大多来自“未知”二字，未知威胁，也是信息安全界共同的“痛点”，每个厂商都有自己的关注、认知和解决方法。工业互联网安全的领军企业六方云在人工智能时代，首次提出了利用AI和BD的技术和方法来解决和应对新时代的未知威胁。当前，未知威胁主要有两大类，一类是0day攻击，一类是APT攻击。
0day通常是指还没有补丁的漏洞，而0day攻击则是指利用这种漏洞进行的攻击。六方云超弦攻防实验室长期的研究分析发现，19.56%的攻击使用的是0day攻击。随着已知威胁防御有效性的提高，0day攻击成为现代APT攻击重要入口。0day攻击的“创新性”使得其很难用传统的手段来识别和防御，真正是“未知攻，焉知防”。Oday防御的难点在于“未知”。
APT攻击，高级持续性攻击，是传统安全威胁的升级，最显著的特点就是组织性、商业性、目标明确和管理。传统安全威胁的特点(1)黑客“散兵游勇”(2)炫技(3)一次性(4)大面积,目标离散(5)网络破坏行为(5)常见的工具攻击为主(7)偶发性(8)黑客个人行为。而APT攻击的特点(1)组织性(2)专业化队伍管理，攻击效率更高(3)攻击工具自研(4)黑客技术水平更高更专业且不断共享学习进步中(5)商业性(6)目标明确(7)目的是非破坏而是窃取敏感数据(8)长期持续潜伏。APT攻击防御的难点在于“隐蔽性”。
无论是“未知的”Oday攻击，还是“隐蔽的”APT攻击，他们的共同点都是“它们都是异常的”。虽然我们没有办法抓住各种异常的特征，但是可以抓住“正常”情况的特征。六方云认为“正常总是相似，异常却各有各的异常”，因此只要能够学习和掌握正常情况的网络态势和特征，我们就能够对正常情况进行AI建模，从而将异常情况从正常情况中分离出来，对异常的“未知威胁”进行有效的识别和防御。
人工智能的基本步骤无非是(1)训练学习建立基线模型(2)智能业务应用，而人工智能真正的难点在于(1)算法的选择(2)特征的提前和选择(3)智能模型的创新性应用。六方云经过多年的潜心研究，在这三个难点总结发现了一些规律和经验，取得了丰硕的成果。AI日志聚合技术就是其中之一。本文就简单阐述一下日志聚合技术的基本原理及其在六方云智SSA态势感知产品上的应用。
二、 未知威胁发现新思路--AI日志聚合
AI日志聚合技术就是使用六方云超弦实验室开发的无监督自学习聚合算法，通过对海量数据进行自动特征提取，自动识别数据可变区域和固定区域，自动对数据进行分类聚合，将一段时间所有采集到的日志信息进行AI聚合，从而将数以万计甚至千万级别的日志聚合成几条或几十条日志，使得“人”更容易识别和分析这些日志中蕴含的真正有价值的信息和规律，去分析发现系统存在的安全风险。如图1 无监督自学习聚合算法效果展示。
图1 无监督自学习聚合算法效果展示
AI日志聚合技术能有效解决态势感知产品面临的(1)各大安全厂商生态各异(2)浩如烟海的结构化和非结构化数据日志(3)海量的滥报，误报(4)数据堆砌，用户无感等的尴尬问题。
目前，AI日志聚合技术在六方云智SSA上已有了两个应用，一个是实时未知威胁发现，一个是日志智能审计，更多的应用还在持续研究开发中。此两应用如下文所述。
三、 基于AI日志聚合实时未知威胁发现
六方云智SSA的实时未知威胁发现功能，其中一个方法就是学习和建立正常情况下一段时间内日志聚合结果的正态分布模型，然后使用此模型去实时判断系统中日志的聚合分布是否符合此正态分布模型，进而发现异常情况，识别出网络中存在的未知风险。
具体实现是，在云智SSA所感知的区域内，或以终端、服务等资产为单位，或以http服务、smtp服务等业务为单位，或以行政区域、职能部门划分、总部/分支等资产分组为单位，持续学习和建立每一单位一段时间内的日志信息聚合结果的正态分布模型，实时判断每一单位的日志是否符合这一聚合正态模型，从而精确识别存哪些资产、或业务、或资产分组存在异常的，存在未知威胁风险。一旦异常出现，六方云智SSA态势感知产品可以在首页进行告警。如图2 基于AI日志聚合实时未知威胁发现原理所示。
图2 基于AI日志聚合实时未知威胁发现原理
四、 基于AI日志聚合的日志智能审计
六方云智SSA上的另一个创新功能，日志智能审计，也应用的AI日志聚合技术。传统的日志审计只是简单的日志统计分类列表显示，比较先进一点的就是通过形成将趋势的历史趋势图、日志top图等图形化的形式展示出来，炸一看还很高大上，时间长了就会发现没什么卵用。怎么办，怎么让维护人员能够很快的从数以万计甚至千万级别的日志发现真正的问题？AI日志聚合技术似乎天然就是为此而生。
六方云智SSA将日志聚合的结果和正态分布展示在日志功能界面里，用户就很容易知道当前系统的中哪些日志是真正的问题日志。再通过“聚合展开”功能，就能够很快等位到未知威胁所在的位置点了。如图3 基于AI的的日志智能审计。
图3 基于AI的的日志智能审计
五、 后记
未知威胁发现和阻断之后，再辅以人工决策和对模型继续训练，可以提升正常识别率，逐步减少人工参与；借助蜜罐、攻防分析、大数据、关联分析、聚类和分类等技术，从而就实现六方云智SSA上的攻击溯源、入侵回溯、侦查取证、态势预测等各种面向用户业务的专业功能。
