频繁保存数百万条目的数据库是否有效?
Frequent saving database efficient with millions of entries?
我正在尝试将大量数据插入 SQL 服务器数据库,我的问题是,当数百万条目要插入到数据库中时,我应该多久保存一次。在例如之后保存它是否有效? 10.000 次插入还是 1.000.000 次插入之后?是否有任何首选值?
我正在使用 C# Entity Framework
用数据填充服务器,所以我正在使用 DBContext
class 来处理 CRUD 和保存。
I am using C# Entity Framework to populate the server with the data
您的问题从这里开始。这不是 suitable 。错误的工具。我喜欢 Entity Frameowrk,但它是一个 ORM,而不是一个批量加载工具。
我通常使用 SqlBulkLoader class 将最多 65k 条记录加载到临时 table(几秒钟内,但要注意,您几乎必须使用临时 table),我在一个命令/事务中将 ncopy 复制到最终 table。
全速并行处理 4-5 个线程。
Entity Framework 一百万行将花费数小时,无论您如何转动它。只是用错了工具。
我正在尝试将大量数据插入 SQL 服务器数据库,我的问题是,当数百万条目要插入到数据库中时,我应该多久保存一次。在例如之后保存它是否有效? 10.000 次插入还是 1.000.000 次插入之后?是否有任何首选值?
我正在使用 C# Entity Framework
用数据填充服务器,所以我正在使用 DBContext
class 来处理 CRUD 和保存。
I am using C# Entity Framework to populate the server with the data
您的问题从这里开始。这不是 suitable 。错误的工具。我喜欢 Entity Frameowrk,但它是一个 ORM,而不是一个批量加载工具。
我通常使用 SqlBulkLoader class 将最多 65k 条记录加载到临时 table(几秒钟内,但要注意,您几乎必须使用临时 table),我在一个命令/事务中将 ncopy 复制到最终 table。
全速并行处理 4-5 个线程。
Entity Framework 一百万行将花费数小时,无论您如何转动它。只是用错了工具。