jdbc 使用雪花数据库的模板批量更新非常慢
jdbc template batch update with snowflake database is very slow
我有一个 spring 启动应用程序，它连接到 Snowflake 数据库并上传记录（大约 50 列不同数据类型）。我正在使用
JdbcTemplate.batchUpdate(insertSql, values, types)
进行批量插入。目前，50,000 条记录 消耗了大约 100 秒。我想提高批处理性能。但无法找到最佳解决方案。
我参考并尝试了this post中提到的解决方案，但完全没有帮助。任何建议将不胜感激
我使用 JDBC 从批量插入转移到 snowflake copy command。它快如闪电。使用复制命令，只需 2-3 秒即可从具有 XS（超小）大小的 Dataware house 的 CSV 文件加载 50000 条记录。
此外，如果出现错误，消息非常清楚，可以在information_schema.load_history中查看。可以加载不同的文件格式，并有多种选项来自定义加载过程。
在我的例子中，我首先将 CSV 文件加载到内部暂存区（用时不到 1 秒），运行 复制命令（用时 1-2 秒），在 [= 中验证加载状态22=] table（需要几毫秒）并相应地进行
这篇文章对
也很有帮助
我有一个 spring 启动应用程序，它连接到 Snowflake 数据库并上传记录（大约 50 列不同数据类型）。我正在使用
JdbcTemplate.batchUpdate(insertSql, values, types)
进行批量插入。目前，50,000 条记录 消耗了大约 100 秒。我想提高批处理性能。但无法找到最佳解决方案。
我参考并尝试了this post中提到的解决方案，但完全没有帮助。任何建议将不胜感激
我使用 JDBC 从批量插入转移到 snowflake copy command。它快如闪电。使用复制命令，只需 2-3 秒即可从具有 XS（超小）大小的 Dataware house 的 CSV 文件加载 50000 条记录。
此外，如果出现错误，消息非常清楚，可以在information_schema.load_history中查看。可以加载不同的文件格式，并有多种选项来自定义加载过程。
在我的例子中，我首先将 CSV 文件加载到内部暂存区（用时不到 1 秒），运行 复制命令（用时 1-2 秒），在 [= 中验证加载状态22=] table（需要几毫秒）并相应地进行
这篇文章对