如何加速：在 python 中打开数据文件

Question

我正在使用一个简单的代码行来打开一个大数据 .xls 文件 workbook = xlrd.open_workbook('file_name.xls')。执行起来也需要相当长的时间。我正在使用 Python 2. 有没有办法加快这一步？

Answer 1

一种选择是将文件分成多个部分并使用多线程 (http://www.tutorialspoint.com/python/python_multithreading.htm)。

但是，Python 不是世界上最快的语言是有原因的...考虑使用不同的语言解决这个问题（如果可能）。

您也可以从 Python 中启动一个 C 程序来为您执行此操作。您很可能会看到一些显着的改进。 Run C program from Python and then capture output

Answer 2

按需访问工作簿会减少内存使用量，从而大大减少加载时间。试试下面的代码

import xlrd
try:
    work_book = xlrd.open_workbook('file_name.xls', on_demand=True)
finally:
    work_book.release_resources()

PS - 不要忘记释放资源