操作入口
1.点击 设置->日志上传->通用上传 进入Agent管理页面
通过这个页面,可以查看目前接入的Heka信息(IP,端口,最后心跳上报时间,状态,操作系统),以及进行批量上传配置文件操作。
2.选择一个特定Heka IP 点击,进入Agent配置页面
通过这个页面,可以查看/修改/删除该Heka目前的部分配置:
3.点击Agent配置页面的“添加”按钮,进入添加数据页面
在这个页面,用户可以向导式的添加 文件和目录/Syslog/脚本/性能数据/EventLog 这五种数据源,其中EventLog只在Windows Heka上可以配置。
1.点击添加数据页面的文件和目录标签,进入添加文件和目录数据源流程
2.首先要选择文件或目录,点击浏览,会弹出Heka所在服务器的目录树,供选择具体的文件或目录
3.如果选中的是某个目录,那么需要配置白名单(需要监听目录下的哪些日志文件);如果选中的是某个文件,则无需选择白名单,选中的文件会自动加入白名单
白名单需要填入一串正则表达式,满足正则的日志文件将被监听采集
4.如果要从白名单中过滤掉某些文件,可以用正则表达式配置黑名单,黑名单中的文件不会被采集
5.最后修改时间是指监听文件的最后修改时间,默认30天,即超过30天的日志文件不回被采集。
注:Heka监听日志文件后将持有文件句柄,直到最后修改时间超过配置的值。
6.配置好选择来源页面后,点击下一步,进入预览文件页面
该页面会将所有匹配上监听规则的文件罗列出来,用户可以选择其中一个文件,用作后续预览之用。
7.选中要预览的文件后,点击下一步,进入预览分行页面
该页面将展示若干行的日志,默认采用\n分行,用户可以选择配置正则表达式,进行多行合并的配置。
此外,该页面也可以配置该日志源对应的编码,appname和tag
8.点击正则表达式,配置个性化的分行正则规则
如上图,我们以\n(\d)作为分行规则,即行首为数字的作为一行处理,点击Go,右边页面会显示分行效果
9.分行规则确定无误后,点击下一步,进入最后检查页面
10.检查各个配置项无误后,点击下一步,完成该数据源的添加配置操作
1.点击添加数据页面的Syslog标签,进入添加Syslog数据源流程
2.首先需要配置监听的IP和端口和协议信息,通常我们会用监听UDP的514,用来接收Syslog
3.配置好监听端口信息后,点击下一步,配置IP映射
所谓IP映射,是指为不同IP发来的Syslog标注不同的appname,tag和编码 IP支持192.168.1.的通配符配法,但必须单独占据某一段,而不能是192.1*8.1.1 靠前的映射优先被匹配
4.配置好IP映射后,点击下一步,进入最后检查页面
5.检查无误后,点击下一步,完成Syslog数据源的添加
1.点击添加数据页面的脚本标签,进入添加脚本数据源流程,所谓脚本数据源,即将脚本的输出作为数据源采集
2.在选择来源页面,可以配置脚本文件路径,以及参数还有执行时间间隔
参数以空格分开 时间间隔单位为秒,即上图为每60秒,执行一次/bin/ls -l 3.配置好脚本文件,参数,间隔信息后,点击下一步,进入输入设置
该页面上配置该脚本输出的appname,tag和编码
4.点击下一步,进入最后检查页面
5.检查无误后,点击下一步,完成脚本数据源的添加
性能数据目前默认每60秒采集一次,主要采集以下数据:
cpu使用率 内存使用率 磁盘使用率 网络出入流量 网络出入包量 丢包 错包 采集结果以Json格式上报:
{"cpu_usage":0.000000, "mem_usage":82.605124, "swap-usage":25.952148, "disk0_usage":81.160872, "disk0_path":"/", "disk1_usage":100.000000, "disk1_path":"/dev", "disk2_usage":37.163516, "disk2_path":"/Volumes/Transcend", "bytes_sent":2503314611, "bytes_recv":16669447644, "packets_sent":13776252, "packets_recv":15761014, "errin":410462042, "errout":451854669, "dropin":0, "dropout":206}
1.点击添加数据页面的性能数据标签,进入添加性能数据数据源流程
2.输入设置页面,主要用来配置appname和tag
3.配置好后,点下一步,进入最后检查
4.检查无误后,点击下一步,完成性能数据的采集
1.点击添加数据页面的Windows事件日志标签,进入添加EventLog数据源流程
2.在选择来源页面,可以通过点击,选择要监听的事件类型,可以多选
3.选择完毕后,点击下一步,进入输入设置页面
该页面用语设置该EventLog对应的appname和tag
4.配置完毕后,点击下一步,进入最后检查阶段
5.检查无误后,点击下一步,完成Windows事件日志数据源的添加
1.在Agent配置页面的最下方,点击输入配置编辑按钮,进入限速和压缩配置页面
2.勾选是否压缩进行压缩配置
3.输入限速值,配置发送速率的限制
4.点击确认完成压缩和限速配置