NvidiaChatGenerator

此生成器使用英伟达托管的模型实现聊天完成。


pipeline 中的最常见位置	在 ChatPromptBuilder 之后
必需的初始化变量	"api_key": NVIDIA NIM 的 API 密钥。可以通过以下方式设置环境变量 `NVIDIA_API_KEY`。
强制运行变量	"messages": 一个 ChatMessage 对象列表
输出变量	"replies": 一个 ChatMessage 对象列表
API 参考	NVIDIA API
GitHub 链接	https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/nvidia

概述

NvidiaChatGenerator 通过 NVIDIA API 使用 NVIDIA 的生成模型实现聊天完成。它兼容 ChatMessage 格式的输入和输出，确保在基于聊天的管道中无缝集成。

您可以使用通过 NVIDIA NIM 自我托管的大语言模型，或使用 NVIDIA API 目录上托管的模型。此组件的默认模型是meta/llama-3.1-8b-instruct.

要使用此集成，您必须拥有 NVIDIA API 密钥。您可以通过NVIDIA_API_KEY 环境变量或使用 Secret 提供。

此生成器支持从大语言模型流式传输响应。要启用流式传输，请将一个可调用对象传递给streaming_callback参数。

用法

要开始使用NvidiaChatGenerator，首先，使用 NVIDIA API 目录中所有可用的大语言模型或使用 NVIDIA NIM 部署的模型来安装nvidia-haystack 包

pip install nvidia-haystack

您可以使用NvidiaChatGenerator。遵循 NVIDIA NIM for LLMs Playbook 来学习如何在您的基础设施上部署所需的模型。

单独使用

要使用 NVIDIA API catalog 中的 LLM，您需要指定正确的api_url（如果需要）（默认 URL 是https://integrate.api.nvidia.com/v1），以及您的 API 密钥。您可以直接从目录网站获取您的 API 密钥。

from haystack_integrations.components.generators.nvidia import NvidiaChatGenerator
from haystack.dataclasses import ChatMessage

generator = NvidiaChatGenerator(
    model="meta/llama-3.1-8b-instruct",  # or any supported NVIDIA model
    api_key=Secret.from_env_var("NVIDIA_API_KEY")
)

messages = [ChatMessage.from_user("What's Natural Language Processing? Be brief.")]
result = generator.run(messages)
print(result["replies"])
print(result["meta"])

在 Pipeline 中

from haystack import Pipeline
from haystack.components.builders import ChatPromptBuilder
from haystack.dataclasses import ChatMessage
from haystack_integrations.components.generators.nvidia import NvidiaChatGenerator
from haystack.utils import Secret

pipe = Pipeline()
pipe.add_component("prompt_builder", ChatPromptBuilder())
pipe.add_component("llm", NvidiaChatGenerator(
    model="meta/llama-3.1-8b-instruct",
    api_key=Secret.from_env_var("NVIDIA_API_KEY")
))
pipe.connect("prompt_builder", "llm")

country = "Germany"
system_message = ChatMessage.from_system("You are an assistant giving out valuable information to language learners.")
messages = [system_message, ChatMessage.from_user("What's the official language of {{ country }}?")]

res = pipe.run(data={"prompt_builder": {"template_variables": {"country": country}, "template": messages}})
print(res)

更新于 4 个月前