aws 数据管道 s3 到 mysql 错误
aws datapipeline s3 to mysql error
我正在尝试将位于 S3 上的大约 40GB 文件（分为 520 个部分，每个部分大约 90MB）加载到 mysql 中。我创建了 aws 数据管道 S3 到 MySQL.
加载之前，我在 Hive 中处理了这些记录，然后将输出文件存储在 S3 上。文件中的某些记录包含 \N 以表示 NULL 值。当我尝试加载此类记录数据时，管道失败。但是同样可以用 SQOOP 加载，因为它可以在加载到 MYSQL.
时处理 NULL 值
有谁知道我是否可以使用数据管道从 S3 将此类记录加载到 MySQL 中？有什么可以设置的JDBC属性吗？
是的，这可以通过将连接字符串更改为以下语法来轻松完成。您必须将 jdbcCompliantTruncation 设置为 false。
jdbcCompliantTruncation=false
因此您的连接字符串将如下所示。
jdbc:mysql://my-rds-endpoint:3306/my_db_name?jdbcCompliantTruncation=false
我正在尝试将位于 S3 上的大约 40GB 文件（分为 520 个部分，每个部分大约 90MB）加载到 mysql 中。我创建了 aws 数据管道 S3 到 MySQL.
加载之前，我在 Hive 中处理了这些记录，然后将输出文件存储在 S3 上。文件中的某些记录包含 \N 以表示 NULL 值。当我尝试加载此类记录数据时，管道失败。但是同样可以用 SQOOP 加载，因为它可以在加载到 MYSQL.
时处理 NULL 值有谁知道我是否可以使用数据管道从 S3 将此类记录加载到 MySQL 中？有什么可以设置的JDBC属性吗？
是的，这可以通过将连接字符串更改为以下语法来轻松完成。您必须将 jdbcCompliantTruncation 设置为 false。
jdbcCompliantTruncation=false
因此您的连接字符串将如下所示。
jdbc:mysql://my-rds-endpoint:3306/my_db_name?jdbcCompliantTruncation=false