We have deployed the log colleges system in the k8s cluster before, but have poor performance. The maximum resource of Fluentd is 800M memory and 1 CPU, it can only process and push almost 1500 logs per second. We need performance tuning.
Fluentd 性能优化
之前我们已经在k8s集群中搭建好日志收集系统了，但是经过测试后性能很差，在设置Fulentd的最大资源是800M内存，1核CPU后进行压测，1秒中能处理并推送大约1500条日志，需要调优以提高性能。
在K8s上使用Fluentd搭建日志收集系统
目前在K8s中比较流行的日志收集方案主要是Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方文档中推荐的方案。
我司已经搭建好Log->Kafka->Elasticsearch->Kibana整套流程，我们只需要使用Fluentd收集K8s集群中日志，然后发送到Kafka topic中即可。