CSVToDocument

将 CSV 文件转换为文档。


pipeline 中的最常见位置	在预处理器之前，或在索引管道的开头。
强制运行变量	"sources": 文件路径或 ByteStream 对象的列表
输出变量	"documents": 文档列表
API 参考	Converters (转换器)
GitHub 链接	https://github.com/deepset-ai/haystack/blob/main/haystack/components/converters/csv.py

概述

CSVToDocument 将一个或多个 CSV 文件转换为文本文档。

该组件默认使用 UTF-8 编码，但您可以在初始化时根据需要指定不同的编码。
您还可以通过在运行组件时提供meta 参数来选择性地为每个文档附加元数据。

用法

单独使用

from haystack.components.converters.csv import CSVToDocument

converter = CSVToDocument()
results = converter.run(sources=["sample.csv"], meta={"date_added": datetime.now().isoformat()})
documents = results["documents"]

print(documents[0].content)
# 'col1,col2\now1,row1\nrow2row2\n'

在 pipeline 中

from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.converters import CSVToDocument
from haystack.components.preprocessors import DocumentCleaner
from haystack.components.preprocessors import DocumentSplitter
from haystack.components.writers import DocumentWriter

document_store = InMemoryDocumentStore()

pipeline = Pipeline()
pipeline.add_component("converter", CSVToDocument())
pipeline.add_component("cleaner", DocumentCleaner())
pipeline.add_component("splitter", DocumentSplitter(split_by="sentence", split_length=5))
pipeline.add_component("writer", DocumentWriter(document_store=document_store))
pipeline.connect("converter", "cleaner")
pipeline.connect("cleaner", "splitter")
pipeline.connect("splitter", "writer")

pipeline.run({"converter": {"sources": file_names}})

更新于大约 1 年前