使用 ANSI 编码在 pyspark 中读取 CSV 文件

Question

我正在尝试读取一个 csv/text 文件，该文件需要使用 ANSI 编码读取。但是，这是行不通的。有什么想法吗？

mainDF= spark.read.format("csv")\
                  .option("encoding","ANSI")\
                  .option("header","true")\
                  .option("maxRowsInMemory",1000)\
                  .option("inferSchema","false")\
                  .option("delimiter", "¬")\
                  .load(path)

java.nio.charset.UnsupportedCharsetException: ANSI

文件超过 5GB，因此需要 spark。

我也尝试过小写的 ANSI

Answer 1

ISO-8859-1 与 ANSI 相同，因此请将其替换为上述内容

使用 ANSI 编码在 pyspark 中读取 CSV 文件

Read CSV file in pyspark with ANSI encoding

pyspark

pyspark-sql

databricks