想把日志存入到 es 里面，不使用 Logstash 直接存到 es 可以吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2635 天前的主题，其中的信息可能已经有所发展或是发生改变。

日志量大概一天 200 万的样子，以后可能会变大。

原因：
1.我传入的就是格式化好的 json 数据，看 Logstash 就是对输入的数据格式化输出到 es 里，所以我感觉这个 Logstash 对我没有什么用
2.主要就是担心性能了，那传入 kafka，然后输出到 es，是不是可以？

logstash

格式化

传入

日志量

23 条回复 • 2017-10-13 13:41:27 +08:00

Cooky

2017-10-12 10:18:32 +08:00 via Android

es 可能抗不住，嫌弃 logstash 的话可以试试 rsyslog

Cooky

2017-10-12 10:21:06 +08:00 via Android

哦不对，平均时间的话应该抗得住，集中一块就费尽了

lfzyx

2017-10-12 10:27:55 +08:00

可以的，我就没用 logstash，而是自己用 python 写的

xiaoshengyige

2017-10-12 10:34:59 +08:00

kafka 靠谱。我们线上就这么用的。每天大概 400w+日志，供参考。

hyperdak288

2017-10-12 10:37:05 +08:00

Logstash 性能很差
你可以不用

filebeat 直接怼文件也行

zxc337

2017-10-12 10:44:36 +08:00

直接上 flume 吧

FiveDDD

2017-10-12 10:49:21 +08:00

推荐 flume 和 kafka, logstash 真是性能差

jybox

2017-10-12 12:46:37 +08:00

不需要处理日志的话直接用 filebeat 好了，都是一家的东西，资源占用是 logstash 的十分之一

WispZhan

2017-10-12 13:07:39 +08:00 via Android

有人对比 Graylog 么？

binjjam

2017-10-12 13:09:53 +08:00

我是自己用 python 写脚本导入的，每天 1500~2000W 记录 8~12G

Lax

2017-10-12 13:31:29 +08:00

输出 json 只是替代 logstash 的格式化功能，logstash 还有别的用途。
当然如果不在意数据完整性的话，没必要 logstash 以及 filebeat 或其它的 beat。
如果还想用 kafka 解决这些问题，何必舍近求远呢？

yzmm

2017-10-12 13:37:31 +08:00

用官方的 java 的 API 就可以了

S1ahs3r

2017-10-12 13:41:46 +08:00

filebeat 挺好的,内存 60M 左右跑的起来

mentalidade

2017-10-12 15:04:47 +08:00

@Cooky 时间不固定，中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java，node，NGINX 等很多产生的日志，在考虑是写入文件收集还是写入 kafka，然后输出到 es
@xiaoshengyige 直接写入 es，担心会阻塞住，这个可以
@lfzyx 因为很多方面很多种不同的日志要手机，全部直接写入到 es 不知道会不会导致阻塞严重？

mentalidade

2017-10-12 15:07:07 +08:00

@hyperdak288 Beats 可以 tcp 直接发送业务 log 吗，因为有的不写入到文件，按照固定格式写入