pyspark 得到不同的 varchar printSchema()

Question

当我 运行 df.printSchema() 所有 varchar(1)、varchar(10) 等...变成 string 时，从 spark dataframe 有办法区分 varchars 吗？

不必在 pyspark 中。也欢迎在 spark sql 中执行此操作的方法。

Answer 1

VarcharType(length) 只能在 table 架构中使用，不能在 functions/operators 中使用。这意味着您可以在创建 table sql 中使用它，但不能在 dataFrame 架构中使用它。