如何使用 Python 3.7 pdf2image 库解决 MemoryError？
How to solve MemoryError using Python 3.7 pdf2image library?
我是 运行 使用 Python PDF2Image 库的简单 PDF 到图像转换。我当然可以理解该库正在超过最大内存阈值以达到此错误。但是，the PDF 是 6.6 MB（大约），那么为什么会占用 GB 的内存来抛出内存错误？
Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:06:47) [MSC v.1914 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from pdf2image import convert_from_path
>>> pages = convert_from_path(r'C:\Users\aakashba598\Documents\pwc-annual-report-2017-2018.pdf', 200)
Exception in thread Thread-3:
Traceback (most recent call last):
File "C:\Users\aakashba598\AppData\Local\Programs\Python\Python37-32\lib\threading.py", line 917, in _bootstrap_inner
self.run()
File "C:\Users\aakashba598\AppData\Local\Programs\Python\Python37-32\lib\threading.py", line 865, in run
self._target(*self._args, **self._kwargs)
File "C:\Users\aakashba598\AppData\Local\Programs\Python\Python37-32\lib\subprocess.py", line 1215, in _readerthread
buffer.append(fh.read())
MemoryError
此外，有什么可能的解决方案？
更新：当我从 convert_from_path 函数减少 dpi 参数时，它就像一个魅力。但是生成的图片质量很差（原因很明显）。有没有办法来解决这个问题？就像每次批量创建图像和清除内存一样。如果有办法，怎么办？
每次以 10 页为单位转换 PDF（1-10,11-20 等等...）
from pdf2image import pdfinfo_from_path,convert_from_path
info = pdfinfo_from_path(pdf_file, userpw=None, poppler_path=None)
maxPages = info["Pages"]
for page in range(1, maxPages+1, 10) :
convert_from_path(pdf_file, dpi=200, first_page=page, last_page = min(page+10-1,maxPages))
相对较大的 PDF 将耗尽您的所有内存并导致进程被终止（除非您使用输出文件夹）
https://github.com/Belval/pdf2image我想会帮助你理解。
解决方案：将pdf分成小部分并将其转换为图像。图片可以合并...
from PyPDF2 import PdfFileWriter, PdfFileReader
inputpdf = PdfFileReader(open("document.pdf", "rb"))
for i in range(inputpdf.numPages):
output = PdfFileWriter()
output.addPage(inputpdf.getPage(i))
with open("document-page%s.pdf" % i, "wb") as outputStream:
output.write(outputStream)
split a multi-page pdf file into multiple pdf files with python?
import numpy as np
import PIL
list_im = ['Test1.jpg', 'Test2.jpg', 'Test3.jpg']
imgs = [ PIL.Image.open(i) for i in list_im ]
# pick the image which is the smallest, and resize the others to match it (can be arbitrary image shape here)
min_shape = sorted( [(np.sum(i.size), i.size ) for i in imgs])[0][1]
imgs_comb = np.hstack( (np.asarray( i.resize(min_shape) ) for i in imgs ) )
# save that beautiful picture
imgs_comb = PIL.Image.fromarray( imgs_comb)
imgs_comb.save( 'Trifecta.jpg' )
# for a vertical stacking it is simple: use vstack
imgs_comb = np.vstack( (np.asarray( i.resize(min_shape) ) for i in imgs ) )
imgs_comb = PIL.Image.fromarray( imgs_comb)
imgs_comb.save( 'Trifecta_vertical.jpg' )
参考：
我有点晚了，但问题确实与进入内存的 136 页有关。你可以做三件事。
- 指定转换图像的格式。
默认情况下，pdf2image 使用 PPM 作为其图像格式，速度更快，但也占用更多内存（每个图像超过 30MB！）。要解决此问题，您可以使用更多 memory-friendly 格式，例如 jpeg 或 png。
convert_from_path('C:\path\to\your\pdf', fmt='jpeg')
这可能会解决问题，但这主要是因为压缩，并且在某些时候（比如 +500 页 PDF）问题会再次出现。
- 使用输出目录
这是我推荐的一款，因为它允许您处理任何 PDF。 README 页面上的示例对此进行了很好的解释：
import tempfile
with tempfile.TemporaryDirectory() as path:
images_from_path = convert_from_path('C:\path\to\your\pdf', output_folder=path)
这会将图像暂时写入您的计算机存储空间，因此您不必手动将其删除。不过，请确保在退出 with 上下文之前执行您需要执行的任何处理！
- 分块处理 PDF 文件
pdf2image 允许您定义要处理的第一页和最后一页。这意味着在您的情况下，对于 136 页的 PDF，您可以：
for i in range(0, 136 // 10 + 1):
convert_from_path('C:\path\to\your\pdf', first_page=i*10, last_page=(i+1)*10)
接受的答案有一个小问题。
maxPages = pdf2image._page_count(pdf_file)
不能再使用，因为 _page_count 已弃用。我找到了相同的工作解决方案。
from PyPDF2 import PdfFileWriter, PdfFileReader
inputpdf = PdfFileReader(open(pdf, "rb"))
maxPages = inputpdf.numPages
for page in range(1, maxPages, 100):
pil_images = pdf2image.convert_from_path(pdf, dpi=200, first_page=page,
last_page=min(page + 100 - 1, maxPages), fmt= 'jpg',
thread_count=1, userpw=None,
use_cropbox=False, strict=False)
这样，无论文件有多大，它都会一次处理 100 个，并且 ram 使用率总是最小的。
最终，结合这些技术，我最终编写了如下代码，目标是将 pdf 转换为 pptx，同时避免内存溢出和良好的速度：
import os, sys, tempfile, pprint
from PIL import Image
from pdf2image import pdfinfo_from_path,convert_from_path
from pptx import Presentation
from pptx.util import Inches
from io import BytesIO
pdf_file = sys.argv[1]
print("Converting file: " + pdf_file)
# Prep presentation
prs = Presentation()
blank_slide_layout = prs.slide_layouts[6]
# Create working folder
base_name = pdf_file.split(".pdf")[0]
# Convert PDF to list of images
print("Starting conversion...")
print()
path: str = "C:/ppttemp" #temp dir (use cron to delete files older than 1h hourly)
slideimgs = []
info = pdfinfo_from_path(pdf_file, userpw=None, poppler_path='C:/Program Files/poppler-0.90.1/bin/')
maxPages = info["Pages"]
for page in range(1, maxPages+1, 5) :
slideimgs.extend( convert_from_path(pdf_file, dpi=250, output_folder=path, first_page=page, last_page = min(page+5-1,maxPages), fmt='jpeg', thread_count=4, poppler_path='C:/Program Files/poppler-0.90.1/bin/', use_pdftocairo=True) )
print("...complete.")
print()
# Loop over slides
for i, slideimg in enumerate(slideimgs):
if i % 5 == 0:
print("Saving slide: " + str(i))
imagefile = BytesIO()
slideimg.save(imagefile, format='jpeg')
imagedata = imagefile.getvalue()
imagefile.seek(0)
width, height = slideimg.size
# Set slide dimensions
prs.slide_height = height * 9525
prs.slide_width = width * 9525
# Add slide
slide = prs.slides.add_slide(blank_slide_layout)
pic = slide.shapes.add_picture(imagefile, 0, 0, width=width * 9525, height=height * 9525)
# Save Powerpoint
print("Saving file: " + base_name + ".pptx")
prs.save(base_name + '.pptx')
print("Conversion complete. :)")
print()
我是 运行 使用 Python PDF2Image 库的简单 PDF 到图像转换。我当然可以理解该库正在超过最大内存阈值以达到此错误。但是，the PDF 是 6.6 MB（大约），那么为什么会占用 GB 的内存来抛出内存错误？
Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:06:47) [MSC v.1914 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from pdf2image import convert_from_path
>>> pages = convert_from_path(r'C:\Users\aakashba598\Documents\pwc-annual-report-2017-2018.pdf', 200)
Exception in thread Thread-3:
Traceback (most recent call last):
File "C:\Users\aakashba598\AppData\Local\Programs\Python\Python37-32\lib\threading.py", line 917, in _bootstrap_inner
self.run()
File "C:\Users\aakashba598\AppData\Local\Programs\Python\Python37-32\lib\threading.py", line 865, in run
self._target(*self._args, **self._kwargs)
File "C:\Users\aakashba598\AppData\Local\Programs\Python\Python37-32\lib\subprocess.py", line 1215, in _readerthread
buffer.append(fh.read())
MemoryError
此外，有什么可能的解决方案？
更新：当我从 convert_from_path 函数减少 dpi 参数时，它就像一个魅力。但是生成的图片质量很差（原因很明显）。有没有办法来解决这个问题？就像每次批量创建图像和清除内存一样。如果有办法，怎么办？
每次以 10 页为单位转换 PDF（1-10,11-20 等等...）
from pdf2image import pdfinfo_from_path,convert_from_path
info = pdfinfo_from_path(pdf_file, userpw=None, poppler_path=None)
maxPages = info["Pages"]
for page in range(1, maxPages+1, 10) :
convert_from_path(pdf_file, dpi=200, first_page=page, last_page = min(page+10-1,maxPages))
相对较大的 PDF 将耗尽您的所有内存并导致进程被终止（除非您使用输出文件夹） https://github.com/Belval/pdf2image我想会帮助你理解。
解决方案：将pdf分成小部分并将其转换为图像。图片可以合并...
from PyPDF2 import PdfFileWriter, PdfFileReader
inputpdf = PdfFileReader(open("document.pdf", "rb"))
for i in range(inputpdf.numPages):
output = PdfFileWriter()
output.addPage(inputpdf.getPage(i))
with open("document-page%s.pdf" % i, "wb") as outputStream:
output.write(outputStream)
split a multi-page pdf file into multiple pdf files with python?
import numpy as np
import PIL
list_im = ['Test1.jpg', 'Test2.jpg', 'Test3.jpg']
imgs = [ PIL.Image.open(i) for i in list_im ]
# pick the image which is the smallest, and resize the others to match it (can be arbitrary image shape here)
min_shape = sorted( [(np.sum(i.size), i.size ) for i in imgs])[0][1]
imgs_comb = np.hstack( (np.asarray( i.resize(min_shape) ) for i in imgs ) )
# save that beautiful picture
imgs_comb = PIL.Image.fromarray( imgs_comb)
imgs_comb.save( 'Trifecta.jpg' )
# for a vertical stacking it is simple: use vstack
imgs_comb = np.vstack( (np.asarray( i.resize(min_shape) ) for i in imgs ) )
imgs_comb = PIL.Image.fromarray( imgs_comb)
imgs_comb.save( 'Trifecta_vertical.jpg' )
参考：
我有点晚了，但问题确实与进入内存的 136 页有关。你可以做三件事。
- 指定转换图像的格式。
默认情况下，pdf2image 使用 PPM 作为其图像格式，速度更快，但也占用更多内存（每个图像超过 30MB！）。要解决此问题，您可以使用更多 memory-friendly 格式，例如 jpeg 或 png。
convert_from_path('C:\path\to\your\pdf', fmt='jpeg')
这可能会解决问题，但这主要是因为压缩，并且在某些时候（比如 +500 页 PDF）问题会再次出现。
- 使用输出目录
这是我推荐的一款，因为它允许您处理任何 PDF。 README 页面上的示例对此进行了很好的解释：
import tempfile
with tempfile.TemporaryDirectory() as path:
images_from_path = convert_from_path('C:\path\to\your\pdf', output_folder=path)
这会将图像暂时写入您的计算机存储空间，因此您不必手动将其删除。不过，请确保在退出 with 上下文之前执行您需要执行的任何处理！
- 分块处理 PDF 文件
pdf2image 允许您定义要处理的第一页和最后一页。这意味着在您的情况下，对于 136 页的 PDF，您可以：
for i in range(0, 136 // 10 + 1):
convert_from_path('C:\path\to\your\pdf', first_page=i*10, last_page=(i+1)*10)
接受的答案有一个小问题。
maxPages = pdf2image._page_count(pdf_file)
不能再使用，因为 _page_count 已弃用。我找到了相同的工作解决方案。
from PyPDF2 import PdfFileWriter, PdfFileReader
inputpdf = PdfFileReader(open(pdf, "rb"))
maxPages = inputpdf.numPages
for page in range(1, maxPages, 100):
pil_images = pdf2image.convert_from_path(pdf, dpi=200, first_page=page,
last_page=min(page + 100 - 1, maxPages), fmt= 'jpg',
thread_count=1, userpw=None,
use_cropbox=False, strict=False)
这样，无论文件有多大，它都会一次处理 100 个，并且 ram 使用率总是最小的。
最终，结合这些技术，我最终编写了如下代码，目标是将 pdf 转换为 pptx，同时避免内存溢出和良好的速度：
import os, sys, tempfile, pprint
from PIL import Image
from pdf2image import pdfinfo_from_path,convert_from_path
from pptx import Presentation
from pptx.util import Inches
from io import BytesIO
pdf_file = sys.argv[1]
print("Converting file: " + pdf_file)
# Prep presentation
prs = Presentation()
blank_slide_layout = prs.slide_layouts[6]
# Create working folder
base_name = pdf_file.split(".pdf")[0]
# Convert PDF to list of images
print("Starting conversion...")
print()
path: str = "C:/ppttemp" #temp dir (use cron to delete files older than 1h hourly)
slideimgs = []
info = pdfinfo_from_path(pdf_file, userpw=None, poppler_path='C:/Program Files/poppler-0.90.1/bin/')
maxPages = info["Pages"]
for page in range(1, maxPages+1, 5) :
slideimgs.extend( convert_from_path(pdf_file, dpi=250, output_folder=path, first_page=page, last_page = min(page+5-1,maxPages), fmt='jpeg', thread_count=4, poppler_path='C:/Program Files/poppler-0.90.1/bin/', use_pdftocairo=True) )
print("...complete.")
print()
# Loop over slides
for i, slideimg in enumerate(slideimgs):
if i % 5 == 0:
print("Saving slide: " + str(i))
imagefile = BytesIO()
slideimg.save(imagefile, format='jpeg')
imagedata = imagefile.getvalue()
imagefile.seek(0)
width, height = slideimg.size
# Set slide dimensions
prs.slide_height = height * 9525
prs.slide_width = width * 9525
# Add slide
slide = prs.slides.add_slide(blank_slide_layout)
pic = slide.shapes.add_picture(imagefile, 0, 0, width=width * 9525, height=height * 9525)
# Save Powerpoint
print("Saving file: " + base_name + ".pptx")
prs.save(base_name + '.pptx')
print("Conversion complete. :)")
print()