想要实时的处理 es 中一个索引里面的数据,然后存入另外一个索引,有什么好的解决方案

现在在 es 中,有一个索引 A,我们想对索引 A 中的数据做一些处理,然后把处理过的数据再存到另外一个索引 B 。需要实时进行处理,就是当索引 A 中新增数据的时候,就把新增的数据进行处理,然后存入。由于对 ES 不是很熟悉,请问这种需求有没有好的解决方案吗,求助 ES 大神。

Click to rate this post!
[Total: 0 Average: 0]

相关文章

12 thoughts on “想要实时的处理 es 中一个索引里面的数据,然后存入另外一个索引,有什么好的解决方案

  1. @sss495088732 我猜他们有可能从文件采集的日志,用的 logstash,可能不知道啥时候写了

  2. 双写觉得要补偿了,默认一定会写成功 A 一定能写成功 B,写不成功 B 就是程序逻辑或 A 数据有问题

  3. 不太清楚什么时候加的, 6 就有了.
    完全契合你的需求, 不用额外程序 /模块. 不用臃肿的 logstash.
    改字段,重解析字段,各种 aggr 都能直接用.
    还是 es 内系统级增量刷新.

    @sniperking1234

发表回复

您的电子邮箱地址不会被公开。