替代子搜索以搜索超过一百万个条目

Question

您好，我有一个子搜索命令可以提供所需的结果，但执行起来非常慢。我有超过一百万个日志条目需要搜索，这就是我寻找优化解决方案的原因。我已经完成了类似问题的答案，但无法实现我需要的

我有一个日志，其中有针对 entry_id 的事务，它总是有一个主条目，可能有也可能没有子条目

我想找到所有具有子条目的主条目日志的版本号计数

我使用的示例查询

index=index_a [search index=index_a ENTRY_FIELD="subEntry"| fields Entry_ID] Entry_FIELD="mainEntry" | stats count by version

示例数据

Index=index_a
1) Entry_ID=abcd Entry_FIELD="mainEntry" version=1
Entry_ID=abcd ENTRY_FIELD="subEntry"
2)Entry_ID=1234 Entry_FIELD="mainEntry" version=1
3)Entry_ID=xyz Entry_FIELD="mainEntry" version=2
4)Entry_ID=lmnop Entry_FIELD="mainEntry" version=1
Entry_ID=lmnop ENTRY_FIELD="subEntry"
5)Entry_ID=ab123 Entry_FIELD="mainEntry" version=3
Entry_ID=ab123 ENTRY_FIELD="subEntry"

请帮忙优化一下

Answer 1

不完全清楚您的样本数据是什么样子。

事件1、4、5是否有字段Entry_ID、Entry_FIELD、version、Entry_ID、Entry_FIELD？也就是说，Entry_ID 和 Entry_FIELD?

出现了 2 次

您可以尝试以下操作，但我认为您需要更好地解释您的数据。

index=index_a Entry_FIELD="subEntry" OR Entry_FIELD="mainEntry" 
| stats dc(Entry_FIELD) as Entry_FIELD_Count by Entry_ID, version 
| where Entry_FIELD_Count==2 
| stats count by version

替代子搜索以搜索超过一百万个条目

Alternative to subsearch to search more than million entries

splunk