
pipeline 中的最常见位置	在查询/RAG 管道中的嵌入检索器之前
必需的初始化变量	"api_key": NVIDIA NIM 的 API 密钥。可以通过以下方式设置环境变量 `NVIDIA_API_KEY`。
强制运行变量	“text”: 一个字符串
输出变量	“embedding”：浮点数列表（向量） “meta”：字符串元数据字典
API 参考	Nvidia
GitHub 链接	https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/nvidia

概述

NvidiaTextEmbedder 将简单字符串（例如查询）嵌入到向量中。

可与自托管模型（使用 NVIDIA NIM）或托管在 NVIDIA API catalog 上的模型一起使用。

要嵌入文档列表，请使用 NvidiaDocumentEmbedder，它会用计算出的嵌入（也称为向量）来丰富文档。

用法

要开始使用NvidiaTextEmbedder，首先，安装nvidia-haystack 包

pip install nvidia-haystack

您可以使用NvidiaTextEmbedder，它使用 NVIDIA API catalog 上所有可用的嵌入器模型，或使用已通过 NVIDIA NIM 部署的模型。请遵循部署文本嵌入模型指南，了解如何在您的基础架构上部署所需模型。

单独使用

要使用 NVIDIA API catalog 中的 LLM，您需要指定正确的api_url 和您的 API 密钥。您可以直接从 catalog 网站获取您的 API 密钥。

该NvidiaTextEmbedder 需要 Nvidia API 密钥才能工作。它使用NVIDIA_API_KEY 环境变量。否则，您可以在初始化时通过api_key 传递 API 密钥，如下例所示。

from haystack.utils.auth import Secret
from haystack_integrations.components.embedders.nvidia import NvidiaTextEmbedder

embedder = NvidiaTextEmbedder(
    model="nvidia/nv-embedqa-e5-v5",
    api_url="https://integrate.api.nvidia.com/v1",
    api_key=Secret.from_token("<your-api-key>"),
)
embedder.warm_up()

result = embedder.run("A transformer is a deep learning architecture")
print(result["embedding"])
print(result["meta"])

要使用本地部署的模型，您需要将api_url 设置为您的 localhost 并取消设置您的api_key.

from haystack_integrations.components.embedders.nvidia import NvidiaTextEmbedder

embedder = NvidiaTextEmbedder(
    model="nvidia/nv-embedqa-e5-v5",
    api_url="http://0.0.0.0:9999/v1",
    api_key=None,
)
embedder.warm_up()

result = embedder.run("A transformer is a deep learning architecture")
print(result["embedding"])
print(result["meta"])

在 pipeline 中

以下是 RAG 管道的示例

from haystack import Pipeline, Document
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack_integrations.components.embedders.nvidia import NvidiaTextEmbedder, NvidiaDocumentEmbedder
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever

document_store = InMemoryDocumentStore(embedding_similarity_function="cosine")

documents = [Document(content="My name is Wolfgang and I live in Berlin"),
             Document(content="I saw a black horse running"),
             Document(content="Germany has many big cities")]

indexing_pipeline = Pipeline()
indexing_pipeline.add_component("embedder", NvidiaDocumentEmbedder(
    model="nvidia/nv-embedqa-e5-v5",
    api_url="https://integrate.api.nvidia.com/v1",
    api_key=Secret.from_token("<your-api-key>"),
))
indexing_pipeline.add_component("writer", DocumentWriter(document_store=document_store))
indexing_pipeline.connect("embedder", "writer")

indexing_pipeline.run({"embedder": {"documents": documents}})

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", NvidiaTextEmbedder(
    model="NV-Embed-QA",
    api_url="https://integrate.api.nvidia.com/v1",
    api_key=Secret.from_token("<your-api-key>"),
))
query_pipeline.add_component("retriever", InMemoryEmbeddingRetriever(document_store=document_store))
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "Who lives in Berlin?"

result = query_pipeline.run({"text_embedder":{"text": query}})

print(result['retriever']['documents'][0])

其他参考资料

🧑‍🍳 食谱：使用 NVIDIA NIMs 的自部署 AI 模型的 Haystack RAG 管道