Logstash Elasticsearch 输入 - 只运行一次?
Logstash Elasticsearch Input - runs once only?
我正在尝试将一小部分数据从索引 A 复制到索引 B。
我在 EC2 实例上有一个 Logstash 配置 运行ning,带有 Elasticsearch 输入、一些过滤器和 Elasticsearch 输出。
我第一次 运行 它工作正常,但是如果任何新数据添加到索引 A(满足输入的查询条件),Logstash 配置不会检测到它并将其输出到索引B.
这让我想到,Elasticsearch 只输入一次 运行 吗?与文件或 S3 输入之类的输入不同,后者将拾取添加的新文件。
Logstash elasticsearch
输入插件使用可选查询进行一次搜索(通过 scan/scroll),完成后它会退出。
你是对的,因为它的行为方式与 for file
输入插件不同,后者只会跟踪一个或多个文件并即时处理新行。
您可能想要调查 Logstash 中的 Watcher plugin if you need a way to be notified when a new document matches a query. Watcher could well detect the presence of a new document matching a query and then call a webhook, which could be materialized by the http
input plugin。
我正在尝试将一小部分数据从索引 A 复制到索引 B。
我在 EC2 实例上有一个 Logstash 配置 运行ning,带有 Elasticsearch 输入、一些过滤器和 Elasticsearch 输出。
我第一次 运行 它工作正常,但是如果任何新数据添加到索引 A(满足输入的查询条件),Logstash 配置不会检测到它并将其输出到索引B.
这让我想到,Elasticsearch 只输入一次 运行 吗?与文件或 S3 输入之类的输入不同,后者将拾取添加的新文件。
Logstash elasticsearch
输入插件使用可选查询进行一次搜索(通过 scan/scroll),完成后它会退出。
你是对的,因为它的行为方式与 for file
输入插件不同,后者只会跟踪一个或多个文件并即时处理新行。
您可能想要调查 Logstash 中的 Watcher plugin if you need a way to be notified when a new document matches a query. Watcher could well detect the presence of a new document matching a query and then call a webhook, which could be materialized by the http
input plugin。