在 Spark 中将动态字段写入 Kusto

Question

我们已使用 https://github.com/Azure/azure-kusto-spark 将 Kusto 连接到我们的 Spark 应用程序。我们有一个作为 Scala 对象（在 Kusto 中是动态的）写入 Kusto 的字段。该对象中的空字符串 ("") 字段作为 undefined/null 值写入 Kusto，即（注意字段 "d"，应为 ""）：

{
   "x": "y",
   "obj": {
       "a": 64,
       "b": [],
       "c": "Linux",
       "d": ,
       ...
   },
   "a": "b"
}

JSON example

这破坏了基础 JSON 格式的有效性，这意味着查询无法访问此对象中的任何字段（XXX['obj'] returns 对于任何字段为 null）。有没有办法确保将空字符串作为“”写入 Kusto？

谢谢

Answer 1

已修复连接器版本 1.1.2

在 Spark 中将动态字段写入 Kusto

Writing a dynamic field to Kusto in Spark

apache-spark

azure-data-explorer