将字典保存为 pyspark Dataframe 并加载它 - Python, Databricks

Question

我有一个字典如下：

my_dict = {'a':[12,15.2,52.1],'b':[2.5,2.4,5.2],'c':[1.2,5.3,12]}

我想将这本词典保存在 Databricks 中，以免每次我想开始使用它时都获取它。此外，我想知道如何取回它并使其恢复原状。

我已尝试执行以下操作：

from itertools import zip_longest 

column_names, data = zip(*my_dict.items())
spark.createDataFrame(zip_longest(*data), column_names).show()

和

column_names, data = zip(*dict_brands.items())

spark.createDataFrame(zip(*data), column_names).show()

但是，我收到以下错误：

zip_longest argument #10342 must support iteration

我也不知道如何重新加载或上传。我尝试使用示例数据框（不是同一个），如下所示：

df.write.format("tfrecords").mode("overwrite").save('/data/tmp/my_df')

错误是：

Attribute name "my_column" contains invalid character(s) among " ,;{}()\n\t=". Please use alias to rename it.

最后为了获得，想了想：

my_df = spark.table("my_df") # Get table
df = my_df.toPandas() # Make pd dataframe

然后将其设为字典，但也许有比将其设为数据框然后检索为数据框并再次转换回字典更简单的方法。

我还想知道解决方案的计算成本，因为实际数据集非常大。

Answer 1

下面是我的示例代码，逐步实现您的需求。

将字典转换为 Pandas 数据框

my_dict = {'a':[12,15.2,52.1],'b':[2.5,2.4,5.2],'c':[1.2,5.3,12]}

import pandas as pd
pdf = pd.DataFrame(my_dict)

将 Pandas 数据帧转换为 PySpark 数据帧
```
df = spark.createDataFrame(pdf)
```
使用 parquet 格式将 PySpark 数据帧保存到文件中。此处不支持格式 tfrecords。
```
df.write.format("parquet").mode("overwrite").save('/data/tmp/my_df')
```

将上面保存的文件加载为 PySpark 数据帧。

df2 = spark.read.format("parquet").load('/data/tmp/my_df')

以上这些代码的计算成本取决于实际数据集的内存使用情况。

Save dictionary as a pyspark Dataframe and load it - Python, Databricks