connection.commit() 性能影响

Question

在将巨大的日志文件解析到 sqlite 数据库中时，如果我们在每次插入后不调用 connection.commit() 是否有任何重大性能改进，或者这没有任何区别。我想问题是它是否仅用于分离交易，或者它是否做任何需要时间的事情。

Answer 1

是的，性能会随着更频繁的提交而直接下降。

这是一个使用约 1400 行的 "lorem ipsum" 文本文件的玩具示例：

import argparse
import sqlite3
import textwrap
import time

parser = argparse.ArgumentParser()
parser.add_argument("n", help="num lines per commit", type=int)
arg = parser.parse_args()

con = sqlite3.connect('lorem.db')
cur = con.cursor()
cur.execute('drop table if exists Lorem')
cur.execute('create table Lorem (lorem STRING)')
con.commit()

with open('lorem.txt') as f: lorem=textwrap.wrap(f.read())
print('{} lines'.format(len(lorem)))

start = time.time()
for i, line in enumerate(lorem):
    cur.execute('INSERT INTO Lorem(lorem) VALUES(?)', (line,))
    if i % arg.n == 0: con.commit()
stend = time.time()

print('{} lines/commit: {:.2f}'.format(arg.n, stend-start))

保存为 sq.py...:[=14=]

$ for i in `seq 1 10`; do python sq.py $i; done
1413 lines
1 lines/commit: 1.01
1413 lines
2 lines/commit: 0.53
1413 lines
3 lines/commit: 0.35
1413 lines
4 lines/commit: 0.27
1413 lines
5 lines/commit: 0.21
1413 lines
6 lines/commit: 0.19
1413 lines
7 lines/commit: 0.17
1413 lines
8 lines/commit: 0.14
1413 lines
9 lines/commit: 0.13
1413 lines
10 lines/commit: 0.11

因此，将 commits 减半几乎使操作的运行时间减半，依此类推——它不是完全线性的，但几乎是线性的。

为了完整性：每次提交 100 行将运行时间减少到 0.02。

以此为基础，您可以轻松地试验和测量时间，使数据库表更接近您的实际需求。

connection.commit() 性能影响

connection.commit() performance impact

python

sqlite