MarkdownToDocument
将 Markdown 文件转换为文档的组件。
| pipeline 中的最常见位置 | 在 预处理器 之前，或在索引管道的开头。 |
| 强制运行变量 | "sources": Markdown 文件路径或 ByteStream 对象 |
| 输出变量 | "documents": 文档列表 |
| API 参考 | Converters (转换器) |
| GitHub 链接 | https://github.com/deepset-ai/haystack/blob/main/haystack/components/converters/markdown.py |
概述
该MarkdownToDocument 组件将 Markdown 文件转换为文档。您可以在索引管道中使用它，将 Markdown 文件的内容索引到 Document Store 中。它接受文件路径列表或 ByteStream 对象作为输入，并将转换结果作为文档列表输出。您可以选择通过以下方式向文档添加元数据：meta 输入参数向文档添加元数据。
初始化组件时，您可以通过设置来选择关闭进度条。progress_bar 为False。如果您想将表格内容转换为单行，可以通过以下方式启用：table_to_single_line 参数。
用法
您需要首先安装markdown-it-py 和mdit_plain 包 来使用MarkdownToDocument 组件。
pip install markdown-it-py mdit_plain
单独使用
from haystack.components.converters import MarkdownToDocument
converter = MarkdownToDocument()
docs = converter.run(sources=Path("my_file.md"))
在 pipeline 中
from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.converters import MarkdownToDocument
from haystack.components.preprocessors import DocumentCleaner
from haystack.components.preprocessors import DocumentSplitter
from haystack.components.writers import DocumentWriter
document_store = InMemoryDocumentStore()
pipeline = Pipeline()
pipeline.add_component("converter", MarkdownToDocument())
pipeline.add_component("cleaner", DocumentCleaner())
pipeline.add_component("splitter", DocumentSplitter(split_by="sentence", split_length=5))
pipeline.add_component("writer", DocumentWriter(document_store=document_store))
pipeline.connect("converter", "cleaner")
pipeline.connect("cleaner", "splitter")
pipeline.connect("splitter", "writer")
pipeline.run({"converter": {"sources": file_names}})
其他参考资料
📓 教程：预处理不同文件类型
更新于 大约 1 年前