Application Insights 日志分析

Question

我有 Application Insights 的事件日志，其中事件以 json 的形式记录并存储在存储在 blob 存储中的文本文件中。我需要找到 customProperty 满足条件的那些 json。命中 json 的次数非常少（大约 10 或 20），但是记录的数据非常大。有什么建议可以有效地完成吗？

我在 Microsoft 文档中读到 HDInsights 了解 blob 存储并且非常高效。这与我的场景相关吗？如果是这样，有人可以提供一些起点吗？

Answer 1

HDInsight 是一个 Hadoop 兼容的实现，是一个很好的日志分析技术。 AppInsighs 页面上也有关于遥测的 being stated。 "On larger scales, consider HDInsight - Hadoop clusters in the cloud. HDInsight provides a variety of technologies for managing and analyzing big data."

在同一页面上，您可能会找到有关将 AppInsights 遥测数据连续导出到 Azure Blob 存储的信息。

下一步可能是使用 HDInsight 对其进行分析，但需要您实施某种算法。

从 Azure Blob 上传数据到 HDInsight 可以看到 that link (and this 查询）。

为了理解日志处理管道，这是 Hadoop/HDInsight 的一项常见任务，可以使用一些演练和手册，例如 this。但是您需要根据您的情况调整此算法。

Answer 2

对于 Application Insights，还有另一种选择。引入了新的分析工具 Application Insights Analytics。

• https://blogs.msdn.microsoft.com/bharry/2016/03/28/introducing-application-analytics

此工具还允许您使用特定语言处理所有记录的数据：

requests
| where timestamp >= ago(24h)
| summarize count() by client_CountryOrRegion
| order by count_ desc

您可以导出您需要的数据。