Fluentd Performance Tuning

We have deployed the log colleges system in the k8s cluster before, but have poor performance. The maximum resource of Fluentd is 800M memory and 1 CPU, it can only process and push almost 1500 logs per second. We need performance tuning.

Fluentd 性能优化

之前我们已经在k8s集群中搭建好日志收集系统了,但是经过测试后性能很差,在设置Fulentd的最大资源是800M内存,1核CPU后进行压测,1秒中能处理并推送大约1500条日志,需要调优以提高性能。

Fluentd 缓冲区写满排查 & 优化

k8s集群无法创建pod,经过排查后是由于Fluentd配置不当,造成磁盘被写满,撰文记录一下解决问题的过程。

在K8s上使用Fluentd搭建日志收集系统

目前在K8s中比较流行的日志收集方案主要是ElasticsearchFluentdKibana(EFK)技术栈,也是官方文档中推荐的方案。

我司已经搭建好Log->Kafka->Elasticsearch->Kibana整套流程,我们只需要使用Fluentd收集K8s集群中日志,然后发送到Kafka topic中即可。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×