使用 SQOOP 获取数据

Question

我必须使用 Sqoop 在 HDFS 中摄取 CSV 文件。

问题是我使用“,”（逗号）作为分隔符，而且我的数据也有一个带有“,”的列。这造成了解析数据的问题。

任何人都可以建议我应该如何解决这个问题？

我能不能使用SQOOP？

Answer 1

您可以使用 sqoop 特定参数 --fields-terminated-by 在使用 sqoop 将数据导入 hdfs 时分隔字段。

如果您尝试从本地文件系统导入 csv 文件，那么在这种情况下，您可以直接使用 hadoop fs -put 命令将文件放入 hdfs。