在 python 中使用 pdfminer 处理连字

Question

我有一个 Python 脚本，它使用 PDFminer 从 pdf 文档中读取文本，如下所示：

def convert_pdf_to_txt(path):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
    file_pointer = file(path, 'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    password = ""
    maxpages = 0
    caching = True
    pagenos=set()
    for page in PDFPage.get_pages(file_pointer, pagenos, maxpages=maxpages, password=password, caching=caching, check_extractable=True):
        interpreter.process_page(page)
    file_pointer.close()
    device.close()
    str = retstr.getvalue()
    retstr.close()
    return str

这看起来效果很好，因为当打印这个字符串 str 时文本就会显示出来。然而，经过仔细检查，有许多双精度字符（即“ff”、“fi”、“fl”和“ff”）在查看生成的文本时会变成“！”。

经过一些研究，我发现这些字符都有“连字”，这意味着它们可以用两个字符的连接版本替换。

这些连字显然无法在 ASCII 中找到，但我发现它们可以通过 unicode 表示。

我开始尝试不同的字符编码，以使文本中的“！”变成正确的连字，但我没有成功。

也许这与我的 PDF 文件或 PDFminer 本身有关？

Answer 1

因此，我最终给 PDFMiner 的创建者 Yusuke Shinyama 发送了电子邮件。我把他的回复总结如下。

• 相关 PDF 使用特殊字体作为连字。
• 像“fi”、“ff”或“fl”这样的字母有时在英文排版中会被特殊处理，并且通常将它们组合成一个字形以使其看起来更好。
• 所讨论的 PDF 正是这样做的，并使用“！”作为组合字母，当使用该专用字体呈现时，它可能看起来像“fi”或“ff”。
• 由于 PDFMiner 没有该信息，因此它总是尝试提取文档中的文字文本。

Shinyama 博士表示，除了将所有内容都放入 OCR 软件之外，没有什么好的解决方案。

我没有时间实现 OCR，因此我编写了一个非常简单的拼写检查器。拼写检查器会遍历我的文本，查找带有“！”的单词（使用正则表达式），然后将它们与具有连字的已知单词列表进行比较。

Shinyamas 博士表示，世界上仍然有很多这样的 PDF，将 PDF 转换为文本总是会得到“尽力而为”的结果。