如何安排同一 Kusto 群集上不同数据库中的 2 个表之间的数据移动

Question

是否有任何自动（计划）方式定期在属于同一 Kusto 群集上不同数据库的两个表之间移动数据？ 'Continuous-Data export' 功能不适用于不同的数据库。人们可以通过 Azure 数据工厂以某种方式对其进行编排，但这听起来有点矫枉过正。在 Kusto 级别没有任何用于安排此类数据移动的内容吗？如果没有跨数据库工作的限制，连续数据导出听起来非常理想。

Answer 1

您可以运行 .set-or-append 命令，其中命令的查询部分是跨数据库查询，以便在 table 秒之间复制数据（原始或处理过的）不同的数据库（然后删除源 table 中的数据，如果不再需要，正如您提到的那样，目的是 move 而不是 copy）

任何可以对您的集群发出控制命令（例如.set-or-append）的scheduler/orchestrator都是一个有效的选项。一个流行的Microsoft Flow：https://docs.microsoft.com/en-us/azure/kusto/tools/flow

Answer 2

严格来说，ADX中没有这样的能力。

然而，使用您最喜欢的调度程序（例如，Azure Schedular), or simply using Azure Timed Functions。

，设置起来很容易

从这个意义上说，Azure 函数更容易，因为它们非常容易设置（并提供对您的 ADX 集群资源的访问）。

完成后，您可以：

按照 Yoni 的建议使用 .set-or-append（来自 docs）：

.set-or-append async ArchiveTable <| 
   LiveTable 
   | where CreatedOn < now() - time(30d)

注意 async 标志，这样您的函数就不会在等待完成时阻塞。

您应该知道这是一项繁重的操作，可能需要一段时间才能完成 table。

按照您的建议触发导出，并在导出位置设置事件网格连接，以便 ADX 将数据重新提取到您的集群。你可以read more about it here

如何安排同一 Kusto 群集上不同数据库中的 2 个表之间的数据移动

How to schedule movement of data between 2 tables in different databases on the same Kusto cluster

azure-data-explorer