是否可以在同一 spark 会话中将两个不同的 csv 文件作为两个结构化流（两个表）加载

Question

我想确认是否 possible/fine 将两个不同的 CSV 文件作为结构化流读取到两个不同的流数据帧中？

例如。

File1.csv（将继续出现在 Folder1 的不同部分） File2.csv（将继续出现在 Folder2 的不同部分）

我通过阅读上面的内容创建了两个数据帧，即 Table1DF 和 Table2DF，然后使用 Spark SQL 使用 Table1DF 和 Table2DF

进行一些转换

我想在同一 spark 会话中执行此操作

Answer 1

是的，你可以做到。将有 2 个不同的流式查询。您可以创建尽可能多的流式查询，但如果一个失败，它会停止整个作业，因此也会影响其他流式查询。