python pdfminer 将 pdf 文件转换为一大块字符串，单词之间没有空格

Question

我使用的以下代码主要取自 DuckPuncher 对这篇文章Extracting text from a PDF file using PDFMiner in python? 将 pdf 转换为文本文件：

def convert_pdf_to_txt(path):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
    fp = open(path, 'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    password = ""
    maxpages = 0
    caching = True
    pagenos=set()
    for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages, password=password,caching=caching, check_extractable=True):
    interpreter.process_page(page)
    fp.close()
    device.close()
    str = retstr.getvalue()
    retstr.close()
    return str

使用以下代码下载pdf并存储在我的本地目录中并存储在我的本地目录中。它工作得很好。

import requests
url = 'link_to_the_pdf'
file_name = './name.pdf'
response = requests.get(url)
with open(file_name, 'wb') as f:
    f.write(response.content)

但是，对于某些 pdf，convert_pdf_to_txt() 返回的内容几乎是一大块字符串，单词之间没有空格。例如，从http://www.ece.rochester.edu/~gsharma/papers/LocalImageRegisterEI2005.pdf下载以下 pdf并应用 convert_pdf_to_txt() 函数后，我得到了一个文本文件，其中的单词没有分隔按空格。文本文件的摘录是

3后一组的主要方法来自计算机视觉领域，例如，平面+视差4方法用于3-D场景结构计算。在本文中，我们提出了一种新的局部图像配准技术，在第一类中，基于自适应过滤技术。自适应过滤器已成功用于系统识别。

有人可以帮我解决这个问题吗？是这个特定 pdf 的格式导致了问题还是其他原因，因为对于其他一些 pdf， convert_pdf_to_txt() 函数工作正常。

Answer 1

根据此线程，一些 pdf 将整个文本标记为图形，默认情况下 PDFMiner 不会尝试对图形文本执行布局分析。要覆盖此行为，需要将 all_texts 参数设置为 True。

这是一个基于这篇文章对我有用的例子。

import io

import pdfminer
from pdfminer.converter import TextConverter
from pdfminer.pdfinterp import PDFPageInterpreter
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfpage import PDFPage

# Perform layout analysis for all text
laparams = pdfminer.layout.LAParams()
setattr(laparams, 'all_texts', True)

def extract_text_from_pdf(pdf_path):
    resource_manager = PDFResourceManager()
    fake_file_handle = io.StringIO()
    converter = TextConverter(resource_manager, fake_file_handle, laparams=laparams)
    page_interpreter = PDFPageInterpreter(resource_manager, converter)

    with open(pdf_path, 'rb') as fh:
        for page in PDFPage.get_pages(fh, 
                                      caching=True,
                                      check_extractable=True):
            page_interpreter.process_page(page)

        text = fake_file_handle.getvalue()

    # close open handles
    converter.close()
    fake_file_handle.close()

    if text:
        return text


text = extract_text_from_pdf('test.pdf')