Azure 数据资源管理器 (ADX) 筛选摄取
Azure Data Explorer (ADX) Filtered ingestion
JSON 日志文件通常包含多种类型的记录。在根本原因分析中，我们通常只想探索特定类型的记录，这只是数据的一小部分。
今天，由于 ADX 不支持过滤摄取，我们别无选择，只能重复以下模式：
将所有记录加载到“原始”table。 （这很糟糕，因为 90% 的数据都是垃圾）
使用 update policy 将行 table 连接到派生的 table 并执行过滤器，该过滤器将仅获取我们关心的记录派生 table.
清除“原始”table。
对派生的 table 执行分析。
是否有支持过滤摄取的计划？有没有比我们今天做的更好的方法来做到这一点？
您可以 submit/upvote 对所谓的“过滤摄取”的功能请求 @ https://aka.ms/adx.uservoice。
关于您问题中的第 1-4 步：
- 如果您实际上在 #3 中调用 'purge' 命令，那既多余又非常昂贵。
- 您可以简单地在更新策略的源 table 上设置软删除期限为 0（零）的保留策略，以保证原始数据永远不会 persisted/committed。
JSON 日志文件通常包含多种类型的记录。在根本原因分析中，我们通常只想探索特定类型的记录，这只是数据的一小部分。
今天，由于 ADX 不支持过滤摄取，我们别无选择，只能重复以下模式：
将所有记录加载到“原始”table。 （这很糟糕，因为 90% 的数据都是垃圾）
使用 update policy 将行 table 连接到派生的 table 并执行过滤器，该过滤器将仅获取我们关心的记录派生 table.
清除“原始”table。
对派生的 table 执行分析。
是否有支持过滤摄取的计划？有没有比我们今天做的更好的方法来做到这一点？
您可以 submit/upvote 对所谓的“过滤摄取”的功能请求 @ https://aka.ms/adx.uservoice。
关于您问题中的第 1-4 步：
- 如果您实际上在 #3 中调用 'purge' 命令，那既多余又非常昂贵。
- 您可以简单地在更新策略的源 table 上设置软删除期限为 0（零）的保留策略，以保证原始数据永远不会 persisted/committed。