提高此查询的展平性能

Question

雪花社区，

我正在运行设置一个不断着陆 JSON 到分段 table 中的 Snowpipe，然后将其压平成多个目标 table。

其中一个目的地 tables 需要运行在 JSON 上进行 4 个横向展平 - 类似这样，但数据加载速度比我快运行扁平化：

LATERAL FLATTEN(INPUT => JSON:data:Element) ELEMENT, 

LATERAL FLATTEN(INPUT => ELEMENT.VALUE) ATTRIBUTE, 

LATERAL FLATTEN(INPUT => ATTRIBUTE.VALUE) SUBATTRIBUTE, 

LATERAL FLATTEN(INPUT => SUBATTRIBUTE.VALUE) SUB_SUB_ATTRIBUTE

如果我将每个展平元素存储在它自己的 table 中，然后运行上游 table 上的后续展平语句会更快吗？

Answer 1

你考虑过用一个递归FLATTEN()来代替之前的所有吗？

LATERAL FLATTEN(INPUT => JSON:data:Element, RECURSIVE => TRUE)

提高此查询的展平性能

Improve the flatten performance of this query

snowflake-cloud-data-platform