PDFMinerToDocument

一个使用 pdfminer 参数将复杂的 PDF 文件转换为文档的组件。


pipeline 中的最常见位置	在预处理器之前或索引管道的开始处
强制运行变量	"sources": PDF 文件路径或 `ByteStream` 对象
输出变量	"documents": 文档列表
API 参考	Converters (转换器)
GitHub 链接	https://github.com/deepset-ai/haystack/blob/main/haystack/components/converters/pdfminer.py

概述

该 PDFMinerToDocument 组件使用 PDFMiner 提取工具参数将 PDF 文件转换为文档。

您可以在索引管道中使用它，将 PDF 文件内容索引到 Document Store 中。它接受文件路径或 ByteStream对象列表作为输入，并输出转换后的文档列表。您可以选择通过meta 输入参数为文档附加元数据。

初始化组件时，您可以调整几个参数来适应您的 PDF。有关完整的参数列表和描述，请参阅我们的 API 参考。

用法

首先，安装pdfminer 包以开始使用此转换器

pip install pdfminer.six

单独使用

from haystack.components.converters import PDFMinerToDocument

converter = PDFMinerToDocument()
results = converter.run(sources=["sample.pdf"], meta={"date_added": datetime.now().isoformat()})
documents = results["documents"]

print(documents[0].content)

# 'This is a text from the PDF file.'

在 pipeline 中

from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.converters import PDFMinerToDocument
from haystack.components.preprocessors import DocumentCleaner
from haystack.components.preprocessors import DocumentSplitter
from haystack.components.writers import DocumentWriter

document_store = InMemoryDocumentStore()

pipeline = Pipeline()
pipeline.add_component("converter", PDFMinerToDocument())
pipeline.add_component("cleaner", DocumentCleaner())
pipeline.add_component("splitter", DocumentSplitter(split_by="sentence", split_length=5))
pipeline.add_component("writer", DocumentWriter(document_store=document_store))
pipeline.connect("converter", "cleaner")
pipeline.connect("cleaner", "splitter")
pipeline.connect("splitter", "writer")

pipeline.run({"converter": {"sources": file_names}})

更新于大约 1 年前