在 pyspark 中加载 SQl 查询?
Load a SQl query in pyspark?
有什么方法可以使用 pyspark 直接从 oracle sql 读取 sql 脚本吗?
我一直在 pyspark 中加载两个表并尝试加入它们,在 pyspark 中这样做需要很长时间,我需要加入更多表(6 个表)。这在 Oracle Sql.
中不会花费太多时间
那么我如何使用 pyspark 读取 运行 一个 "X.sql" 文件?
所以我找到了一个解决方案:
with open("C:\Desktop\Project\Alerts.sql") as Al:
Alert= Al.read()
results = sqlctx.sql(Alert)
有什么方法可以使用 pyspark 直接从 oracle sql 读取 sql 脚本吗? 我一直在 pyspark 中加载两个表并尝试加入它们,在 pyspark 中这样做需要很长时间,我需要加入更多表(6 个表)。这在 Oracle Sql.
中不会花费太多时间那么我如何使用 pyspark 读取 运行 一个 "X.sql" 文件?
所以我找到了一个解决方案:
with open("C:\Desktop\Project\Alerts.sql") as Al:
Alert= Al.read()
results = sqlctx.sql(Alert)