相当于使用 sparklyr 的 spark table（描述数据帧）

Question

我的问题归结为：Sparklyr 等同于 str R 命令的是什么？

我正在打开一个大 table（来自文件），在 Spark 中将其命名为 my_table，使用 Sparklyr 包从 R 中打开。

如何描述table？列名和类型、一些示例等。

提前为一个非常基本的问题道歉，但我确实进行了搜索，并检查了 Rstudio 的 Sparklyr Cheatsheet，但没有找到答案。

Answer 1

为了示例目的，让我们使用 mtcars 数据集并将其移动到本地 spark 实例：

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
tbl_cars <- dplyr::copy_to(sc, mtcars, "mtcars")

现在你有很多选择，这里有 2 个，每个都略有不同 - 根据你的需要选择：

1.Collect 将第一行放入 R（现在它是一个标准的 R 数据框）并查看 str:

 str(tbl_cars %>% head(1) %>% collect())

2.Invoke schema 方法并查看结果：

spark_dataframe(tbl_cars) %>% invoke("schema")

这将给出如下内容：

StructType(StructField(mpg,DoubleType,true), StructField(cyl,DoubleType,true), StructField(disp,DoubleType,true), StructField(hp,DoubleType,true), StructField(drat,DoubleType,true), StructField(wt,DoubleType,true), StructField(qsec,DoubleType,true), StructField(vs,DoubleType,true), StructField(am,DoubleType,true), StructField(gear,DoubleType,true), StructField(carb,DoubleType,true))

相当于使用 sparklyr 的 spark table（描述数据帧）

equivalent of "str()" (describes dataframe) for a spark table using sparklyr

r

apache-spark

sparklyr