优化数据转换程序，避免内存错误

Question

我是 Python 的新手，知道如何优化此程序以避免内存错误。

我正在尝试从两个工作簿中读取数据：raw_data 和映射。我想使用映射文档转换数据，将 raw_data 转换为新的电子表格。所以我加载工作簿，从映射数据创建数据字典并开始转换。但是，我运行进入了内存错误。

有没有办法优化下面的代码来避免这个错误？

import openpyxl
from openpyxl.utils import get_column_letter

mapping = openpyxl.load_workbook(r'C:...\mapping.xlsx') #load mapping doc
wb = openpyxl.load_workbook(r'C:...\raw_data.xlsx') #load raw data


sheet = wb.active #look at the active sheet in the raw data file
user_map_raw = mapping.get_sheet_by_name('User ID Mapping') #for user ids
item_map_raw = mapping.get_sheet_by_name('Item ID Mapping') #for item ids
...other mappings here

def load(sheet): 

    user_dict = {}
    print "creating user dictionary..."
    for row in range(1, user_map_raw.max_row+1):
        old_name = user_map_raw['A' + str(row)].value #old user name
        new_name = user_map_raw['B' + str(row)].value #new user name
        user_dict[old_name] = new_name #old name is key for the new name

    item_dict = {}
    print "creating item id dictionary..."
    for row in range(1, item_map_raw.max_row+1):
        old_item = item_map_raw['A' + str(row)].value #old item id
        new_item = item_map_raw['B' + str(row)].value #new item id
        item_dict[old_item] = new_item #old item id is key for new item id

    raw = [] #empty list to store data before writing to new file
    for row in range(2, sheet.max_row+1): #loop thru raw data and map
        print "loading row %s" % row
        user_ID = user_dict[sheet['A' + str(row)].value]
        item_type = sheet['B' + str(row)].value
        item_ID = item_dict[sheet['C' + str(row)].value]
        ...other transformations here
        add = [user_ID, item_type, item_ID, ...]
        raw.append(add) #add transformed data to list

    new = openpyxl.Workbook() #create new workbook
    output = new.active #select the active sheet
    for i in range(len(raw)): #loop through transformed data list
        "print writing row %s" %i
        for j in range(len(raw[i])): #write to new sheet
            output[get_column_letter(j+1) + str(i+1)] = raw[i][j]
    new.save('new_doc.xlsx')

load(sheet)

Answer 1

主要的优化是避免将整个主工作簿加载到内存中，并避免在写入之前将整个结果存储在内存中。有 write_only and modes for openpyxl 工作簿可以在运行时通过减少功能和支持迭代器实现优化表示来节省大量内存。由于您是在编写新文件而不是就地编辑，因此这些模式会产生很大的不同。

wb = openpyxl.load_workbook(r'C:...\raw_data.xlsx', read_only=True) 
sheet = wb.active

# mapping related code...

from openpyxl.writer.write_only import WriteOnlyCell
wb = openpyxl.Workbook(write_only=True) #create new workbook
ws = new.create_sheet()

for row in sheet.iter_rows(row_offset=1):
    for i, cell in enumerate(row):
        if i = 0: #A
            user_ID = WriteOnlyCell(ws, user_dict[cell.value])
        elif i = 1: #B
            item_type = WriteOnlyCell(ws, cell.value)
        elif i = 2: #C
            item_ID = WriteOnlyCell(ws, item_dict[cell.value])
        else:
            break
    ws.append([user_ID, item_type, item_ID])

wb.save('new_doc.xlsx')

必须遍历单元格，因为它是一个生成器，所以不能使用下标。看起来很笨重，但我很累。

如果您使用 Python 2.x，只要您使用 range 函数，就会在内存中创建一个与您的范围一样大的列表，如果您有一个非常大的电子表格，可能会填满您的 RAM。在您的情况下，您可能可以使用 xrange 动态生成每次迭代以节省一些内存。

Answer 2

读取源文件时可以使用read-only模式，写入结果时可以使用write-only模式。这将最大限度地减少内存使用。

优化数据转换程序，避免内存错误

Optimize data conversion program to avoid memory error

python

dictionary

list

openpyxl