首页> 文章> 详情

GrayLog 配置日志文件读取

教程分享 > Linux和Shell教程 (3104) 2024-04-19 09:14:52

前置条件

安装部署好graylog server

创建graylog input

打开System/Inputs菜单input菜单


选择输入类型为filebeat进行创建input

创建input
创建input

 

input信息配置
input信息配置


input信息,这里简单就注意填写两个东西,一个是名称,输入一个比如Beats,然后另外一个就是端口,默认是5044,注意该端口未被占用哟。其他信息默认即可
 

创建graylog-sidecar的token

token
操作示例图-1644557548001.png

创建完毕后记得复制出来,后面看不见了

安装collector-sidecar 

wget https://github.com/Graylog2/collector-sidecar/releases/download/1.1.0/graylog-sidecar_1.1.0-1_amd64.deb
sudo dpkg -i graylog-sidecar_1.1.0-1_amd64.deb

其他系统:
https://github.com/Graylog2/collector-sidecar 


修改配置
sudo vi /etc/graylog/sidecar/sidecar.yml

server_url: "http://你的ip:你的端口/api"
server_api_token: "上面获取的token"
node_name: "自己取一个客户端节点名称,会在graylog中System/Sidecars页面显示"
update_interval: 10
send_status: true


注册为系统服务

sudo graylog-sidecar -service install
sudo systemctl start graylog-sidecar

 

filebeat安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.0-amd64.deb
sudo dpkg -i filebeat-6.3.0-amd64.deb

 其他系统:
Download Filebeat • Lightweight Log Analysis | Elastic

配置采集规则

在Sidecar Overview界面点击Configuration配置

当上面的graylog-sidecar服务启动成功后,如果链接到graylog服务没问题,则在Overview 界面下面的列表中可以看到配置的节点名称,例如上面配置的节点名称为glyh-host,同时可以看到在运行的状态等信息

点击Create Configuration创建配置
创建


配置信息
配置信息
红色圈的都是需要根据实际情况修改的
参考:

# Needed for Graylog
fields_under_root: true
fields.collector_node_id: ${sidecar.nodeName}
fields.gl2_source_collector: ${sidecar.nodeId}

filebeat.inputs:
- input_type: log
  paths:
    - /opt/docker/data/log/info/*.log
  #处理多行
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after

  type: log
output.logstash:
   hosts: ["192.168.0.22:5044"]
path:
  data: /var/lib/graylog-sidecar/collectors/filebeat/data
  logs: /var/lib/graylog-sidecar/collectors/filebeat/log
multiline.pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after

上方代码处理多行日志到同一行输出,注意正则表达式,这里我的日志全部是日期格式yyyy-MM-dd开头的,所以这样配置,效果为:
此配置使用negate: truematch: after设置来指定任何不符合指定模式的行都属于上一行。

 

提示:
output.logstash
       hosts: ["192.168.0.22:5044"]
这里的ip+端口必须是客服端能访问通的网络
ip:是graylog server 访问ip
端口:5044是前面配置的input beats类型的端口

配置好以后点击create保存配置
 

配置文件下发

先回到Sidecar Overview界面, 点击Administration管理按钮, 进行配置下发

选择采集器,勾选filebeat
操作示例图-1644557162989.png
点击configure, 选择之前创建的配置文件, 进行配置应用下发确定下发

验证日志采集是否生效

在Sidecars Overview  点击show messages 查询对应日志 如果存在则证明成功

操作示例图-1644557331858.png


成功输出日志

 

https://www.leftso.com/article/960.html

相关文章
前置条件安装部署好graylog server创建graylog input 打开System/Inputs菜单选择输入类型为filebeat进行创建input创建inputinput信息配置i...
环境准备minikube 安装,参考minikube k8s 安装详细教程spring boot demo项目一个spring boot项目 maven 主要依赖 <depe...
简单介绍在graylog web界面如何查询想要的日志 查询单个字符串 "your-info" 查询包含A和B的记录
接上篇文章minikube(k8s)部署spring boot项目(一)上篇文章讲解了k8s部署spring boot demo项目的一部分,本文主要讲解如何将服务暴露指定的端口给外部调用
环境本次minikube安装环境为Ubuntu 18.04.6 LTS安装docker-ce参考:Ubuntu 在线安装 Docker-左搜 (leftso.com)注意配置docker镜像地址...
GrayLog admin账号修改密码(docker版)由于graylog的admin账号不是配置到数据库中,而是配置到配置文件/etc/graylog/server/server.conf里面...
安装docker和docker-compose参考文章:CentOS 8.0-8.4 yum 安装docker-ce-左搜 (leftso.com)Ubuntu 在线安装 Docker-左搜 (...
 GrayLog 普通用户添加及配置角色Graylog添加用户首先登录管理员账号,打开System&gtl;Users and Teams 点击右边的"Create User"按钮,开始创建用户...
poxm.xml文件添加maven依赖 <dependency&gtl; <groupId&gtl;org.apache.skywalking&...
Graylog 数据清理_Graylog数据保留策略配置#Graylog 索引配置管理员账号登录graylog,并打开System/Includes菜单#编辑索引配置 选择Default ind...
rm -rf * 无法删除的文件正常情况下,Linux系统中,切换到某个目录然后执行 rm -rf * 命令是可以删除该目录下所有文件的,但是以下文件也是无法直接删除的点(.)开头的隐藏文件点(...
Docker swarm 简介Docker swarm 集群,Docker swarm是docker官方提供的一种集群方式,用于小量微服务部署还算不错,比庞大的k8s体系更轻量。节点 运行 Do...
环境准备docker swarm 集群环境NFS服务资源文件docker-mutil-stack.zip(访问密码: 9987)1.创建overlay网络网络名称:stackMutilNetwo...
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel注意必须安装java-1.8.0-openjdk-devel,否则没有javac命令
docker 常用命令整理(持续更新)docker运行容器资源相关 查看所有运行docker的资源消耗情况docker stats 查看指定运行容器资源消耗情况docker stats 容器ID...