
pipeline 中的最常见位置	在索引管道中的 `DocumentWriter` 之前
必需的初始化变量	"api_key": Cohere API 密钥。可以通过`COHERE_API_KEY` 或`CO_API_KEY` 环境变量设置。
强制运行变量	"documents": 文档列表，其中包含一个包含图像文件路径的 meta 字段
输出变量	"documents": 文档列表（已添加 embedding）
API 参考	Cohere
GitHub 链接	https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/cohere

概述

CohereDocumentImageEmbedder 期望文档列表包含元字段中的图像或 PDF 文件路径。元字段可以通过file_path_meta_field 初始化参数指定。

嵌入器高效加载图像，使用 Cohere 模型计算嵌入，并将每个嵌入存储在embedding 字段中。

CohereDocumentImageEmbedder 通常在索引管道中使用。在检索时，您需要使用相同的模型与CohereTextEmbedder 来嵌入查询，然后再使用嵌入检索器。

此组件兼容 Cohere Embed 模型 v3 及更高版本。支持的模型列表，请参阅 Cohere 文档。

安装

要开始使用此集成与 Haystack，请使用以下命令安装软件包：

pip install cohere-haystack

身份验证

该组件默认使用COHERE_API_KEY 或CO_API_KEY 环境变量，否则，您可以在初始化时使用 Secret 和Secret.from_token 方法传递 API 密钥。

embedder = CohereTextEmbedder(api_key=Secret.from_token("<your-api-key>"))

要获取 Cohere API 密钥，请前往 https://cohere.com/。

用法

单独使用

请记住，首先要将COHERE_API_KEY 设置为环境变量。

from haystack import Document
from haystack_integrations.components.embedders.cohere import CohereDocumentImageEmbedder

embedder = CohereDocumentImageEmbedder(model="embed-v4.0")
embedder.warm_up()

documents = [
    Document(content="A photo of a cat", meta={"file_path": "cat.jpg"}),
    Document(content="A photo of a dog", meta={"file_path": "dog.jpg"}),
]

result = embedder.run(documents=documents)
documents_with_embeddings = result["documents"]
print(documents_with_embeddings)

# [Document(id=...,
#           content='A photo of a cat',
#           meta={'file_path': 'cat.jpg',
#                 'embedding_source': {'type': 'image', 'file_path_meta_field': 'file_path'}},
#           embedding=vector of size 1536),
#  ...]

在 pipeline 中

在此示例中，我们可以看到一个包含三个组件的索引管道：

ImageFileToDocument 转换器，它创建空的文档，并在meta.file_path 字段中包含图像的引用；
CohereDocumentImageEmbedder，它加载图像，计算嵌入并将它们存储在文档中；
DocumentWriter，它将文档写入InMemoryDocumentStore.

还有一个多模态检索管道，由一个CohereTextEmbedder（使用与之前相同的模型）和一个InMemoryEmbeddingRetriever.

from haystack import Pipeline
from haystack.components.converters.image import ImageFileToDocument
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever
from haystack.components.writers import DocumentWriter
from haystack.document_stores.in_memory import InMemoryDocumentStore

from haystack_integrations.components.embedders.cohere import CohereDocumentImageEmbedder, CohereTextEmbedder

document_store = InMemoryDocumentStore()

# Indexing pipeline
indexing_pipeline = Pipeline()
indexing_pipeline.add_component("image_converter", ImageFileToDocument())
indexing_pipeline.add_component(
    "embedder",
    CohereDocumentImageEmbedder(model="embed-v4.0")
)
indexing_pipeline.add_component(
    "writer", DocumentWriter(document_store=document_store)
)
indexing_pipeline.connect("image_converter", "embedder")
indexing_pipeline.connect("embedder", "writer")

indexing_pipeline.run(data={"image_converter": {"sources": ["dog.jpg", "hyena.jpeg"]}})

# Multimodal retrieval pipeline
retrieval_pipeline = Pipeline()
retrieval_pipeline.add_component(
    "embedder",
    CohereTextEmbedder(model="embed-v4.0")
)
retrieval_pipeline.add_component(
    "retriever",
    InMemoryEmbeddingRetriever(document_store=document_store, top_k=2)
)
retrieval_pipeline.connect("embedder.embedding", "retriever.query_embedding")

result = retrieval_pipeline.run(data={"text": "man's best friend"})
print(result)

# {
#     'retriever': {
#         'documents': [
#             Document(
#                 id=0c96...,
#                 meta={
#                     'file_path': 'dog.jpg',
#                     'embedding_source': {
#                         'type': 'image',
#                         'file_path_meta_field': 'file_path'
#                     }
#                 },
#                 score=0.288
#             ),
#             Document(
#                 id=5e76...,
#                 meta={
#                     'file_path': 'hyena.jpeg',
#                     'embedding_source': {
#                         'type': 'image',
#                         'file_path_meta_field': 'file_path'
#                     }
#                 },
#                 score=0.248
#             )
#         ]
#     }
# }

其他参考资料

📓 教程：创建 Vision+Text RAG 管道