模块 haystack_integrations.components.generators.openrouter.chat.chat_generator

OpenRouterChatGenerator

使用 OpenRouter 生成模型进行文本生成。支持的模型请参阅 OpenRouter 文档。

用户可以通过generation_kwargs 参数，将 Llama Chat Completion API 支持的任何文本生成参数直接传递给此组件，该参数位于__init__ 或generation_kwargs 参数，将 Llama Chat Completion API 支持的任何文本生成参数直接传递给此组件，该参数位于run 方法中。

主要特性和兼容性

• 主要兼容性：设计用于与 OpenRouter 聊天补全端点无缝协作。
• 流式支持：支持从 OpenRouter 聊天补全端点流式传输响应。
• 可定制性：支持 OpenRouter 聊天补全端点支持的所有参数。

该组件使用 ChatMessage 格式来构建输入和输出，确保在基于聊天的文本生成场景中获得连贯且与上下文相关的响应。关于 ChatMessage 格式的详细信息，请参阅 Haystack 文档。

有关 OpenRouter API 支持的参数的更多详细信息，请参阅 OpenRouter API 文档。

使用示例

from haystack_integrations.components.generators.openrouter import OpenRouterChatGenerator
from haystack.dataclasses import ChatMessage

messages = [ChatMessage.from_user("What's Natural Language Processing?")]

client = OpenRouterChatGenerator()
response = client.run(messages)
print(response)

>>{'replies': [ChatMessage(_content='Natural Language Processing (NLP) is a branch of artificial intelligence
>>that focuses on enabling computers to understand, interpret, and generate human language in a way that is
>>meaningful and useful.', _role=<ChatRole.ASSISTANT: 'assistant'>, _name=None,
>>_meta={'model': 'openai/gpt-4o-mini', 'index': 0, 'finish_reason': 'stop',
>>'usage': {'prompt_tokens': 15, 'completion_tokens': 36, 'total_tokens': 51}})]}

OpenRouterChatGenerator.__init__

def __init__(*,
             api_key: Secret = Secret.from_env_var("OPENROUTER_API_KEY"),
             model: str = "openai/gpt-4o-mini",
             streaming_callback: Optional[StreamingCallbackT] = None,
             api_base_url: Optional[str] = "https://openrouter.ai/api/v1",
             generation_kwargs: Optional[Dict[str, Any]] = None,
             tools: Optional[Union[List[Tool], Toolset]] = None,
             timeout: Optional[float] = None,
             extra_headers: Optional[Dict[str, Any]] = None,
             max_retries: Optional[int] = None,
             http_client_kwargs: Optional[Dict[str, Any]] = None)

创建 OpenRouterChatGenerator 的实例。除非另有说明，

默认模型是openai/gpt-4o-mini.

参数:

• api_key：OpenRouter API 密钥。
• model：要使用的 OpenRouter 聊天补全模型的名称。
• streaming_callback: 当从流中接收到新 token 时调用的回调函数。回调函数接受 StreamingChunk 作为参数。
• api_base_url：OpenRouter API 基础 URL。有关更多详细信息，请参阅 OpenRouter 文档。
• generation_kwargs：用于模型的其他参数。这些参数会直接发送到 OpenRouter 端点。有关更多详细信息，请参阅 OpenRouter API 文档。一些支持的参数
• max_tokens：输出文本可以拥有的最大 token 数。
• temperature：要使用的采样温度。值越高，模型承担的风险越大。对于更具创造性的应用，请尝试 0.9，对于有明确答案的应用，请尝试 0（argmax 采样）。
• top_p：一种替代温度采样的方法，称为 nucleus 采样，其中模型考虑具有 top_p 概率质量的 token 的结果。因此，0.1 意味着只考虑构成前 10% 概率质量的 token。
• stream：是否流式传输部分进度。如果设置，token 将作为数据（仅数据）服务器发送事件（SSE）可用时发送，流的结束由 data: [DONE] 消息终止。
• safe_prompt：是否在所有对话之前注入安全提示。
• random_seed：用于随机采样的种子。
• tools: 一个工具列表或 Toolset，模型可以为此准备调用。此参数可以接受一个Tool 对象列表或一个Toolset 实例。
• timeout：OpenRouter API 调用的超时时间。
• extra_headers：添加到 OpenRouter API 请求的其他 HTTP 标头。这对于添加 openrouter.ai 上的排名网站 URL 或标题可能很有用。有关更多详细信息，请参阅 OpenRouter 文档。
• max_retries: 在发生内部错误后联系 OpenAI 的最大重试次数。如果未设置，则默认为OPENAI_MAX_RETRIES 环境变量，或设置为 5。
• http_client_kwargs：用于配置自定义的关键字参数字典httpx.Client或httpx.AsyncClient。有关更多信息，请参阅 HTTPX 文档。

OpenRouterChatGenerator.to_dict

def to_dict() -> Dict[str, Any]

将此组件序列化为字典。

返回值:

序列化后的组件（字典格式）。