前置条件

安装部署好graylog server

创建graylog input

打开System/Inputs菜单input菜单


选择输入类型为filebeat进行创建input

创建input
创建input

 

input信息配置
input信息配置


input信息,这里简单就注意填写两个东西,一个是名称,输入一个比如Beats,然后另外一个就是端口,默认是5044,注意该端口未被占用哟。其他信息默认即可
 

创建graylog-sidecar的token

token

创建完毕后记得复制出来,后面看不见了

安装collector-sidecar 

wget https://github.com/Graylog2/collector-sidecar/releases/download/1.1.0/graylog-sidecar_1.1.0-1_amd64.deb
sudo dpkg -i graylog-sidecar_1.1.0-1_amd64.deb

其他系统:
https://github.com/Graylog2/collector-sidecar 


修改配置
sudo vi /etc/graylog/sidecar/sidecar.yml
server_url: "http://你的ip:你的端口/api"
server_api_token: "上面获取的token"
node_name: "自己取一个客户端节点名称,会在graylog中System/Sidecars页面显示"
update_interval: 10
send_status: true

注册为系统服务
sudo graylog-sidecar -service install
sudo systemctl start graylog-sidecar
 

filebeat安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.0-amd64.deb
sudo dpkg -i filebeat-6.3.0-amd64.deb

 其他系统:
Download Filebeat • Lightweight Log Analysis | Elastic

配置采集规则

在Sidecar Overview界面点击Configuration配置

当上面的graylog-sidecar服务启动成功后,如果链接到graylog服务没问题,则在Overview 界面下面的列表中可以看到配置的节点名称,例如上面配置的节点名称为glyh-host,同时可以看到在运行的状态等信息

点击Create Configuration创建配置
创建


配置信息
配置信息
红色圈的都是需要根据实际情况修改的
参考:
# Needed for Graylog
fields_under_root: true
fields.collector_node_id: ${sidecar.nodeName}
fields.gl2_source_collector: ${sidecar.nodeId}

filebeat.inputs:
- input_type: log
  paths:
    - /opt/docker/data/log/info/*.log
  #处理多行
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after

  type: log
output.logstash:
   hosts: ["192.168.0.22:5044"]
path:
  data: /var/lib/graylog-sidecar/collectors/filebeat/data
  logs: /var/lib/graylog-sidecar/collectors/filebeat/log
multiline.pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after

上方代码处理多行日志到同一行输出,注意正则表达式,这里我的日志全部是日期格式yyyy-MM-dd开头的,所以这样配置,效果为:
此配置使用negate: truematch: after设置来指定任何不符合指定模式的行都属于上一行。

 

提示:
output.logstash
       hosts: ["192.168.0.22:5044"]
这里的ip+端口必须是客服端能访问通的网络
ip:是graylog server 访问ip
端口:5044是前面配置的input beats类型的端口

配置好以后点击create保存配置
 

配置文件下发

先回到Sidecar Overview界面, 点击Administration管理按钮, 进行配置下发

选择采集器,勾选filebeat

点击configure, 选择之前创建的配置文件, 进行配置应用下发确定下发

验证日志采集是否生效

在Sidecars Overview  点击show messages 查询对应日志 如果存在则证明成功




成功输出日志

 

评论区域