系统日志
系统日志对于问题追踪和安全防护非常重要，通常在 /var/log 目录下面，详情参考参考中的链接
日志切割
日志每时每刻都在产生，需要在某个时刻或达到指定大小后进行切割和备份，详情参考参考中的链接
日志采集
日志采集
日志采集是指利用日志搜集工具将机器数据和网络数据采集到统一的地方进行分析和处理
机器数据
机器数据是指软件所能够产生的各种数据
- 日志文件
- 指标数据
- 业务数据
网络数据
网络数据是指对网络流量进行抓包和解析
日志分析
日志分析是对日志数据进行解析，并结合实际业务进行分析和处理
- 故障排查
- 异常告警
- 趋势预测
- 性能监控
- 业务分析
- 安全审计
技术特点
- 日志集中分析，处理和存储
- 全文检索，字段检索，关联分析
- 可视化展示，及时预警
采集工具
linux日志采集工具
rsyslog
rsyslog 是大多数linux系统的默认采集工具，具有以下特点
- 基于c语言开发的，支持多线程的高性能采集工具
- 支持可靠的tcp传输，并且可以使用ssl加密
- 模块化设计，支持按需加载模块使用
- 支持基于内存和文件缓冲队列
- 支持kafka等多种输出
- 支持日志压缩
syslog-ng
syslog-ng 也是linux上比较好的采集工具，和 rsyslog 类似
SUSE Linux和OpenSUSE默认使用syslog-ng，详情参照这里
logstash
logstash是新兴的开源日志采集工具，是ELK中重要的一员
| 缩写 | 说明 |
|---|---|
| E | Elasticsearch（日志存储和检索引擎） |
| L | Logstash（日志采集工具） |
| K | Kibana（可视化展示工具） |
但是由于logstash非常消耗性能，所以衍生了更加轻量的采集工具
| 工具 | 说明 |
|---|---|
| Filebeat | 采集文件数据 |
| Metricbeat | 采集指标数据 |
| Packetbeat | 采集网络数据 |
| Winlogbeat | 采集Windows系统日志 |
| Heartbeat | 监测应用存活状态 |
rsyslog，syslog-ng，logstash的对比可以参照这里
windows日志采集工具
nxlog
nxlog是windows平台上比较常用的日志采集工具，详情参照这里
rsyslog
rsyslog也有windows平台的客户端
参考
rsyslog官方文档
slog介绍(一) ：BSD syslog协议的格式
Linux环境下使用rsyslog管理日志
rsyslog使用详解
在CentOS和RHEL 5上使用rsyslog构建中央日志主机-Howtoing运维教程
使用rsyslog集中管理日志
HowTo Configure Mac OS X Syslog To Forward Data
Configuring System Message Logging
IBM PASE for System i and Syslog / Syslogd
Remote SYSLOGD from AS400 to UNIX or Linux Servers
使用Evtsys和Nxlog搭建syslog日志服务器-烂泥行天下
ELK 5.x 搭建大规模日志实时处理系统
rsyslog 的 TCP 转发性能测试
Flume日志采集系统——初体验（Logstash对比版）
Flume(NG)架构设计要点及配置实践
关于Logstash中grok插件的正则表达式例子
OpenSUSE - rsyslog wiki
Understand logging in Linux
What is the difference between syslogd and klogd daemon in Linux? - Quora
Unix/Linux system logging, log files, kernel messages
RHEL7: 系统日志(rsyslog, journal)
Rsyslog configuration for changing source interface
reopenOnTruncate is not obeyed unless a state file was loaded · Issue #1090
ELK+Filebeat 集中式日志解决方案详解
syslog及syslog-ng详解
Troubleshooting and debugging syslog-ng
[syslog-ng] Cannot find init.d.AIX in contrib folder
AIX mkssys Command
AIX rmssys Command
AIX lssrc Command
[syslog-ng] How to install syslog-ng on AIX 5.3 [English]
ELKstack 中文指南 · GitBook
Elasticsearch官网
Elasticsearch社区
aix系统下怎么收集日志 - Elastic中文社区
ELK-install-in-AIX-and-Windows
基于Flume的美团日志收集系统(一)架构和设计
Logstash 最佳实践
logstash-forwarder
logstash-forwarder-java
How to create a java keystore
ELK 性能(1) — Logstash 性能及其替代方案 - Richaaaard - 博客园
Logstash Forwarder 配置详解
Logstash Forwarder 长期运行
Add setting to enable string escaping in Logstash pipeline config
What is the best date/time parsing library in any language? - Quora
logstash-forwarder-java javax.net.ssl.SSLHandshakeException
rsyslog, Using Wildcards with rsyslog's File Monitor imfile
每秒百万级流式日志处理架构的开发运维调优笔记
Linux中rsyslog日志系统详解
rsyslog 队列介绍
Linux中syslog-ng日志系统 – 运维那点事
‘Afsql’ error on syslog-ng resolved
syslog-ng on vServer with Debian Lenny
Troubleshooting syslog-ng
日志易：IT 运维分析及海量日志搜索的实践之路（上）
日志易：IT 运维分析及海量日志搜索的实践之路（下）
日志易官网
Loggly官网
Splunk官网
如何查看linux系统下的各种日志文件 linux 系统日志的分析大全
/var/log目录下的20个Linux日志文件功能详解
Linux系统中‘dmesg’命令处理故障和收集系统信息的7种用法
Linux中logrotate日志管理工具详解
被遗忘的Logrotate
logrotate机制和原理
Linux日志文件总管——logrotate
/dev/random和/dev/urandom的一点备忘
怎么使用 /dev/urandom 生成固定长度的随机数？