一、 SIEM概述
SIEM（security information and event managemen）是一种安全解决方案，用于监视、识别和响应网络上的安全事件。SIEM系统收集来自各种网络安全设备和应用程序的日志和事件数据，对这些数据进行分析和处理，并提供实时安全警报和报告，以帮助企业保护其网络免受安全威胁。
SIEM的整体架构大致如上图所示，以一条Windows系统登录日志为例，来过一遍经过的所有流程。
1.日志采集
当用户成功登录windows电脑时，会产生一条Event ID 4624的日志，系统会记录下很多信息，包括但不仅限于时间、IP、系统版本、登录类型（本地或远程）、用户名、登出状态。
2.范式化
在SIEM中就是把这一整串的原始日志进行拆分，并按厂商定义的说明或者企业自行定义来丰富标签内容。
3.事件过滤归并
就是把同类型的日志进行归类，如windows、Linux的登录日志其实格式是不一样的，可以归为2大类。并把暂时不关注的字段筛选去除，把需要关注的内容提取出来。
4.关联分析
这部分内容是SIEM的精髓，如何制定策略使误报率低，并产生有价值的场景（usecase）是各使用相关方需要重点考虑的。当然场景制定的优劣离不开日志源的质量、分析人员的经验等多方因素。继续以上为例，可以定义在30分钟内记录张三共产生了多少次登录行为。
5.告警
如果30分钟内有上百次的登录行为，那我们要判断下是否电脑有被入侵的可能？如果30分钟内有5次左右登录，那会不会张三同学上班在摸鱼。具体告警阈值和产生结果的判断，可以根据实际情况来制定。
6.安全事件运维
就是根据产生的告警来判断和处理。可以人工处置去现场或者远程确认情况。如被确定为高危行为也可以联动相关产品进行实时封禁操作。
7.可视化展现
设定预制报表，定期出具一份统计结果。也可直接在大屏展示以上事件的结果，如攻击事件+1 或 摸鱼事件+1 （UEBA用户实体行为分析更偏向此块内容分析）
综上所述，可以了解到SIEM的核心功能包括安全事件的收集、分析、报告和响应。首先，SIEM通过收集来自各种数据源的安全事件数据，包括网络设备、防火墙、入侵检测系统、操作系统和应用程序的日志等。这些数据被传输到SIEM系统中进行分析和处理。
SIEM系统利用各种技术和算法对收集到的数据进行实时分析。它可以检测出异常活动、潜在的安全威胁和漏洞，并提供实时的警报和通知。通过对数据进行聚合、关联和分析，SIEM能够识别出与已知的攻击模式和行为规则相匹配的安全事件。
SIEM还能够生成详细的报告和统计信息，帮助组织了解其安全状况。这些报告可以包括安全事件的类型、频率、来源和影响等信息。通过对这些报告的分析，组织可以识别出潜在的安全风险和漏洞，并采取相应的措施进行修复和改进。
最重要的是，SIEM还提供了对安全事件的响应和管理功能。它可以自动执行一些预定义的响应动作，如发送警报、阻止攻击和隔离受感染的系统。此外，SIEM还可以与其他安全工具和系统集成，实现安全事件的自动化响应和协调。
在学习SIEM的过程中，我还了解到它的一些优势。首先，SIEM能够提供实时的安全监控和分析，帮助组织及时发现和应对安全事件。其次，SIEM能够集成多个安全事件源的数据，提高安全事件的检测和分析能力。此外，SIEM还可以提供详细的报告和统计信息，帮助组织了解其安全状况。
当然，SIEM也面临一些挑战。首先，SIEM需要大量的数据来进行分析和处理，因此需要组织投入高性能的资源和设备。其次，SIEM的配置和管理需要一定的专业知识和技能。此外，SIEM还可能面临误报和漏报的问题，需要进行调整和优化。
二、SIEM的演变历程及未来
|
第一代 早期SIEM |
第二代 大数据SIEM |
第三代 自动化与机器学习 |
|
第一批SIEM结合了安全信息管理( SIM )和安全事件管理( SEM )。它们的数据管理和支持警报可视化规模有限。
|
基于大数据基础架构的集成式SIEM ，可在一处管理和关联历史日志数据，实时事件和威胁情报，从而提供企业安全数据的整体视图。
|
早期的SIEM对复杂的安全事件进行主动警告和响应的能力有限。新的SIEM执行自动行为分析( UEBA) ，并可以与IT和安全系统自动交互以减轻事件(SOAR)。 |
|
可扩展性 垂直缩放 历史数据 部分的 数据采集 手动提取日志数据 威肋检测 基于手动规则的手动分析和警报 突发事件响应 与下游系统几乎没有接口 仪表板和可视化 非常有限
|
可扩展性 水平扩展，支持大数据 历史数据 完整，有一些过滤 数据采集 自动提取，数据源有限 威胁检测 手动分析，警报和仪表板 突发事件响应 与下游系统的接口有限 仪表板和可视化 通常有限的建立可视化集
|
可扩展性 基于数据湖，无限规模 历史数据 无限的历史保留，包括云等新数据源 数据采集 自动提取任何数据源 威胁检测 自动化，基于机器学习和行为分析 突发事件响应. 与IT和安全工具集成，具有完整的安全协调和自动化( SOAR )功能 仪表板和可视化 全面的BI数据探索 |
三、SIEM的未来
未来SIEM会与IT和安全工具集成，具有完整的安全协调和自动化( SOAR )功能，提供更多高级功能，例如:
复杂威胁识别—由于关联规则缺乏上下文或无法应对新型事件，因此关联规则无法捕获许多复杂攻击。通过自动行为分析， SIEM可以检测到暗示威胁的行为。
实体行为分析—服务器、医疗设备或机械等网络上的关键资产具有独特的行为模式。SIEM可以了解这些模式并自动发现暗示威胁的异常。
自动化的事件响应—SIEM一旦检测到某种类型的安全事件，便可以执行预先计划的一系列操作来遏制和缓解事件。SIEM正在成为完整的安全协调和自动化( SOAR )工具。
横向移动—攻击者使用IP，凭据和计算机在网络中移动，以搜索关键资产。通过分析来自整个网络和多个系统资源的数据， SIEM可以检测到这种横向移动。
没有规则或特征的检测—手动定义的规则或已知的攻击特征无法捕获网络面临的许多威胁。SIEM可以使用机器学习来检测事件，而无需预先定义。
下一代SIEM的一个示例是Exabeam安全管理平台( SMP ) ， 该平台结合了基于机器学习， 云连接器，灵活的数据湖基础结构，事件响应和威胁搜寻功能的行为分析。
四、总结
SIEM是一种重要的安全解决方案，可帮助企业保护其网络免受安全威胁。在SIEM产品研究中，我们发现优秀的SIEM解决方案都具有多种数据源支持、实时监控和警报、自定义查询和报告等优点。企业应根据自身需求选择最适合自己的SIEM产品。
