TextFileToDocument
将文本文件转换为文档。
| pipeline 中的最常见位置 | 在 预处理器 之前或索引管道的开始处 |
| 强制运行变量 | "sources": A list of paths to text files you want to convert |
| 输出变量 | "documents": 文档列表 |
| API 参考 | Converters (转换器) |
| GitHub 链接 | https://github.com/deepset-ai/haystack/blob/main/haystack/components/converters/txt.py |
概述
该TextFileToDocument 组件将文本文件转换为文档。您可以在索引管道中使用它，将文本文件的内容索引到 Document Store 中。它接受文件路径列表或 ByteStream 对象作为输入，并以文档列表的形式输出转换后的结果。您可以选择通过meta 输入参数向文档添加元数据。
初始化组件时，您可以通过encoding 参数可选地设置文本文件的默认编码。如果您不提供任何值，该组件将默认使用"utf-8"。请注意，如果输入的 ByteStream 的元数据中指定了编码，它将覆盖此参数的设置。
用法
单独使用
from pathlib import Path
from haystack.components.converters import TextFileToDocument
converter = TextFileToDocument()
docs = converter.run(sources=[Path("my_file.txt")])
在 pipeline 中
from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.converters import TextFileToDocument
from haystack.components.preprocessors import DocumentCleaner
from haystack.components.preprocessors import DocumentSplitter
from haystack.components.writers import DocumentWriter
document_store = InMemoryDocumentStore()
pipeline = Pipeline()
pipeline.add_component("converter", TextFileToDocument())
pipeline.add_component("cleaner", DocumentCleaner())
pipeline.add_component("splitter", DocumentSplitter(split_by="sentence", split_length=5))
pipeline.add_component("writer", DocumentWriter(document_store=document_store))
pipeline.connect("converter", "cleaner")
pipeline.connect("cleaner", "splitter")
pipeline.connect("splitter", "writer")
pipeline.run({"converter": {"sources": file_names}})
其他参考资料
📓 教程：预处理不同文件类型
更新于 11 个月前