在 spark.SQL DataFrame 和 pandas DataFrame 之间转换
Convert between spark.SQL DataFrame and pandas DataFrame
可以吗
转换自
到
pd.DataFrame
在 %pyspark 环境下？
尝试：
spark_df.toPandas()
toPandas()
Returns the contents of this DataFrame as Pandas pandas.DataFrame.
This is only available if Pandas is installed and available.
如果你想要相反的：
spark_df = createDataFrame(pandas_df)
可以吗
转换自 到 pd.DataFrame
在 %pyspark 环境下？
尝试：
spark_df.toPandas()
toPandas()
Returns the contents of this DataFrame as Pandas pandas.DataFrame. This is only available if Pandas is installed and available.
如果你想要相反的：
spark_df = createDataFrame(pandas_df)