网络安全大数据时代的呼唤

如今在信息量与应标记采取行动之间存在一个临界点，尤其是在网络安全方面。

显然，人们知道得越多，就越有见识。但是，在信息量和应该标记采取行动之间存在一个临界点，尤其是在网络安全方面。随着企业变得更加数据驱动和自动化，IT系统已经变得越来越难以监控、管理和定义。日常用户活动产生的“噪音”已达到震耳欲聋的程度。

大数据分析经常被认为是解决这一问题的灵丹妙药——通过同样全面的监控系统来应对巨大的挑战。通过大数据解决方案，来自网络每个角落的安全日志和事件都被输入到一个中心平台中。这通常会导致处理的事件数量惊人——每天多达40～50亿个事件。

虽然这一级别的细节是全面的，但它并非没有挑战。数据越多，噪音就越大，误报也越多。保持必要的活动日志的准确性、正确管理和存储需要大量的活动部件和持续的维护—即使人们使用分析和机器学习来完成这项工作。这样做所需的基础设施成本很快就会超过您最初监控的网络的价值。

精挑细选

即使从理论上讲，分析和无监督的机器学习可以减轻负担，但实际上，关于个人意图的重要线索通常会被无监督的机器学习掩盖和忽略。因此，令人感兴趣的发现的收益仍然很低，分析了数十亿个事件，并且准确警报的发送率不到百分之一。此外，如果增加管理底层技术的成本和复杂性以保持机器学习算法的正确运行以及以正确的方式准备数据，那么忽略意图可能会成为一个重大问题。

数据背后的实际场景常常丢失。这可能是关于用户、设备、网络或位置的信息，但在为机器学习过程收集时，通常缺少或没有链接此场景。它可以通过使用诸如记录链接之类的工具部分解决，其中数据集中的单个记录通过公共标识符进行匹配和组合。然而，重大的假阳性和阴性仍然存在。

另一个基本挑战是原始材料的缺陷。这可能是由于错误配置的源日志、事件和遥测造成的。尽管可能有数以百万计，甚至数十亿计的详细用户活动的日志，但理解场景的链接常常是不存在的。

可以说，任何安全工具的价值在于它的收益。确定了多少真正的威胁并引起IT团队注意?借助支持大数据的安全工具，典型的大型企业最多可以管理每10亿条日志行5笔的收益。因此，在创造价值的同时，就基础设施和数据中心管理而言，它付出了很高的代价。

这是网络安全中一个持续不断的主题。根据IDC公司的预测，2019年全球支出将达到1030亿美元，但尚不清楚企业是否会感到更加安全。由于错误的原因使用错误的信息做出了太多的安全决策。随着黑客越来越多地以员工为目标，企业需要考虑如何以不同方式保护自己。尽管有关网络和用户活动的数据可以提供有用的洞察力，但最终可操作的信息的产出至关重要。

移到边缘

解决挑战的一种方法是通过权力下放。使分析尽可能原子地接近需要处理的数据，这将有助于减轻不断移动大型数据集的负担。通过这样做，IT团队可以开始减少他们必须存储的数据量，并特别针对安全性(通常是冗余的)确定优先级。随着更多处理工作在边缘进行，一旦由中央分析引擎进行了优化，新的分析方法和更新将能够迅速推向并传播到更广泛的网络中。

在动态的威胁环境中，需要一种动态、自动化的安全方法。通过以一种更分散的方式工作，而不是尽可能扩大网络范围，组织将能够专注于阻止下一次攻击，而不必为从上一次攻击中恢复而苦恼。