Coldfusion 导入 CSV 文件百万条记录导致性能问题..CFThread Works

Question

我每天导入近一百万条记录，同时导入进行过滤然后添加到数据库中 table。它会导致性能问题，有时循环会在 9999.Is 上停止，有什么方法可以在循环中进行线程处理吗？

启动百万线程是个好主意吗？？

谢谢

Answer 1

is it a good idea to start million threads

绝对不是。即使您可以打开那么多线程（这值得怀疑），这也是一个糟糕的主意。线程不是万灵药。在这种情况下，使用它们只会加剧真正的问题，即循环是执行此任务的错误工具。

使用循环导入那么多数据效率极低。大多数数据库都提供专门为批量导入数据而设计的工具。这些工具的性能将比循环好得多。您没有提及您使用的是哪个 dbms，但一些示例是 MySQL 的 LOAD DATA, SQL Server's BULK INSERT command, or as Scott mentioned in the comments, BCP。将数据导入作品table。 （如果需要，将文件分成更小的块，并一次处理 100K 行的批次。）加载数据后，批量使用 SQL 到 filter/manipulate 并将其传输到任何地方需要去。