TikaDocumentConverter

一个用于将不同类型文件（PDF、DOCX、HTML 等）转换为文档的集成。


pipeline 中的最常见位置	在预处理器之前，或在索引管道的开头。
强制运行变量	"sources": 文件路径
输出变量	"documents": 文档列表
API 参考	Converters (转换器)
GitHub 链接	https://github.com/deepset-ai/haystack/blob/main/haystack/components/converters/tika.py

概述

该TikaDocumentConverter 组件将不同类型的文件（pdf、docx、html 等）转换为文档。您可以在索引管道中使用它将文件内容索引到 Document Store 中。它接受文件路径列表或 ByteStream 对象作为输入，并将转换结果输出为文档列表。您还可以通过以下方式选择性地将元数据附加到文档：meta 输入参数向文档添加元数据。

此集成使用 Apache Tika 解析文件，并需要运行的 Tika 服务器。

运行 Tika 的最简单方法是使用 Dockerdocker run -d -p 127.0.0.1:9998:9998 apache/tika:latest.
有关在 Docker 上运行 Tika 的更多选项，请参阅 Tika 文档。

初始化TikaDocumentConverter 组件时，您可以通过参数指定正在使用的 Tika 服务器的自定义 URLtika_url。默认 URL 为"https://:9998/tika".

用法

您需要首先安装tika 包以使用TikaDocumentConverter 组件

pip install tika

单独使用

from haystack.components.converters import TikaDocumentConverter
from pathlib import Path

converter = TikaDocumentConverter()

converter.run(sources=[Path("my_file.pdf")])

在 pipeline 中

from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.converters import TikaDocumentConverter
from haystack.components.preprocessors import DocumentCleaner
from haystack.components.preprocessors import DocumentSplitter
from haystack.components.writers import DocumentWriter

document_store = InMemoryDocumentStore()

pipeline = Pipeline()
pipeline.add_component("converter", TikaDocumentConverter())
pipeline.add_component("cleaner", DocumentCleaner())
pipeline.add_component("splitter", DocumentSplitter(split_by="sentence", split_length=5))
pipeline.add_component("writer", DocumentWriter(document_store=document_store))
pipeline.connect("converter", "cleaner")
pipeline.connect("cleaner", "splitter")
pipeline.connect("splitter", "writer")

pipeline.run({"converter": {"sources": file_paths}})

更新于 7 个月前