从日志理解系统

LogPAI 汇集了用于自动化日志分析的开放数据集与软件。其工具覆盖从原始日志消息结构化,到识别异常系统行为的各个步骤。

IBM 的网络故障监测

IBM 选择 Drain 进行日志模板挖掘,并将其扩展为 Drain3,用于生产环境中的处理流程。IBM 案例介绍了如何利用 IBM Cloud 网络设备的日志,检测消息频率变化并识别潜在的网络故障。上图展示了对单个网络设备中某一日志模板进行异常检测的结果。

数据集、解析与异常检测

Loghub 提供用于研究的系统日志数据集。Logparser 将非结构化消息转换为结构化事件。Loglizer 实现了基于日志进行异常检测的机器学习方法,并提供基准测试示例。

Loglizer 是下方所列 ISSRE 2016 论文 Experience Report: System Log Analysis for Anomaly Detection 的配套工具。LogPAI 网站收录了更完整的论文记录,GitHub 组织提供各项目的访问入口。