如果 运行 异步,是否保证 Kusto 查询摄取(.set-or-append)

Is Kusto query ingestion (.set-or-append) guaranteed if run async

我无法从文档中找到答案。

如果我 运行 使用

查询摄取

.set-or-append async

能保证结果吗?

目前,我们 运行 正在执行所有这些没有 async 关键字的数据整理操作。有时它们会阻塞我们的集群,但我们知道它们会失败并且可以从队列中恢复。

如果我们异步触发它们,那么我们无法控制它们是否失败并恢复。 推荐的处理方法是什么?

为了获得更多上下文细节,我们必须将 2 个非常大的表中的数据整理到其他 4 个具有聚合数据的表中。 UpdatePolicy 并未真正应用于此用例。我们只需要每周 运行 一次,因为它更像是每周或每月的聚合。不幸的是,当他们 运行 时,我们似乎很容易受到限制。

Currently we are running all those data grooming operations without the async keyword. Sometimes they jam our cluster, but we know they fail and can recover from a queue.

这不准确 - 这些命令 [当前] 未排队。如果命令失败,无论出于何种原因(瞬态故障、由于达到摄取能力而受到限制等)——它失败了,调用者有责任重试它(如果这样做有意义,基于种类的失败)

For more context detail, we have to groom the data from 2 very large tables to other 4 tables with aggregated data. UpdatePolicy is not really applied in this use case. We only need to run it once a week, since it's more like a weekly or monthly based aggregation. Unfortunately, when they run, we seem to easily get throttled.

经常被限制的命令表明您的集群经常充分利用其 ingestion capacity. as ingestion capacity scales linearly with the amount of cores in the cluster, you could choose to scale out/up your cluster,以获得额外的摄取容量(您也可以按计划暂时执行此操作,仅当您的额外摄取负载预计 运行).

请注意,您可以(并且可能应该)使用 async 关键字监控您 运行 命令的 state/status - 这可以使用 .show operations 命令来完成(doc)