日志收集智能分析系统-LCA

快速部署：部署丝滑，管理方便，有web后台管理。

高效的数据采集：LCA 支持多种数据源，无论是服务器日志、应用日志还是网络设备日志，都能一键配置，快速部署。

灵活的数据处理：比起传统的elk更加灵活，而且还集成了日志分析和告警，内置强大的数据处理功能，包括过滤、聚合、关联等，让您轻松应对复杂的数据处理需求，除了按配置好的目录收集日志还提供了api接口实时调用,吞吐率高。

直观的数据可视化：通过丰富的图表和仪表板，LCA 让数据分析变得更加简单直观，让您一目了然地了解业务状况。

智能告警机制：实时监控关键指标，一旦发现异常立即触发告警，确保问题第一时间得到解决。

安全可靠：web管理后台访问控制策略，保障您的数据安全无忧。

git地址：日志收集智能分析系统 

软件架构

通过在运维平台上配置日志收集项，或者通过api接口调用推送日志，logagent从etcd中获取要收集的日志信息从业务服务器读取日志信息，发往kafka，logtransfer负责从kafka读取日志，写入到Elasticsearch中，通过Kibana进行日志检索。loganalysis将安装规则分析日志，将告警，报错日志信息推给企业微信。

1. 可实时收集常用的软件的日志，比如nginx，项目系统，当每次添加一个需要收集的日志文件时可以实时进行收集，还可以实时收集指定目录下所有按时间切分的日志例如：/logs/2024-07-01.log,/admin/lum-2024-07-02.log

2. 可以通过api调用主动推送日志到日志分析系统（吞吐率高）

3. 可以对收集的日志进行分析，智能分析，然后按规则告警（nginx状态不是200，php文件报错）

4. 实现如阿里sls一般查询日志

安装教程

视频教程 一款比ELK更强大，更好用的日志收集分析告警系统_哔哩哔哩_bilibili

首先通过git下载程序： 

 git clone  https://gitee.com/phpjc/log-collect-ai-analytics.git

etcd 

cd docker/etcd 
docker-compose up -d

MySQL 

cd docker/mysql 
docker-compose up -d
root 密码：max2024
导入 logmanager.sql

Redis 

cd docker/redis 
docker-compose up -d

Elasticsearch

创建映射目录 mkdir -p /data/backups/es 
给足够的权限 如果不知道什么权限就 chmod 777 es mkdir -p /data/es01/data 给足够的权限 如果不知道什么权限就 chmod 777 data mkdir -p /data/es02/data 给足够的权限 如果不知道什么权限就 chmod 777 data 
记得修改 docker-compose.yaml 里面的ES_JAVA_OPTS=-Xms256m -Xmx256m，ELASTICSEARCH_HOSTS=http://172.16.0.70:9200 按照自己实际情况 cd docker/elasticsearch 
docker-compose up -d

Kafka 

cd docker/kafka 
docker-compose up -d

启动教程

启动后台管理 【先修改好logManager/conf/app.conf】文件 监听端口可修改 

cd cmd/logManager nohup ./logmanager &

账号：admin 密码：admin

启动接口 【先修改好etc/config.ini】监听8086端口固定了 

cd cmd/api nohup ./api &

启动收集日志【先修改好etc/config.ini】 

cd cmd/logAgent nohup ./logagent &

启动消费【先修改好etc/config.ini】 

cd cmd/logTransfer nohup ./logtransfer &

启动日志分析【先修改好etc/config.ini】 

cd cmd/analysis nohup ./analysis &

使用说明

• 日志收集 通过把需要收集的日志文件或者日志文件通配符配置到etcd，logAgent会实时自动收集好需要收集的日志。 [ {"path":"/data/wwwlogs/preapi_maxengine_cn_access_nginx.log","topic":"ai_nginx"}, {"path":"/data/wwwroot/maxengine/storage/logs/lumen-Y-M-D.log","topic":"ai_api"} ]

• Y年 M月 D日 H时 可以随意组合 列如 需要收集的日志目录为 /logs/202408/15/12.log 可以这样标识：/logs/YM/D/H.log

• api调用 通过调用 http://192.168.10.118:8086/send 这个接口可以实时把日志写入分析系统当中 事例：curl -X POST "http://自己的地址/send" -H "Content-Type: application/x-www-form-urlencoded" -d "topic=ai_api&data=你的日志内容"

• topic 必须是系统已经配置好的cmd/logTransfer/etc/config.ini topic = ai_nginx,ai_api

• data 日志内容可以是任意字符串，如果是json字符串 {"msg":"这是一个隐藏的功能"} 可以定义一个msg 字段会被单独解析跟阿里云sls日志一样

1.登录

 2. 配置收集 

 3. 分析查询 

 4. 告警 

同时支持日志快照备份，快照恢复等，项目已经帮助很多同学搭建了属于自己公司的日志管理系统。

---

「免责声明」：以上页面展示信息由第三方发布，目的在于传播更多信息，与本网站立场无关。我们不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实，不对您构成任何投资建议，据此操作，风险自担，以上网页呈现的图片均为自发上传，如发生图片侵权行为与我们无关，如有请直接微信联系g1002718958。