文档API 参考📓 教程🧑‍🍳 食谱🤝 集成💜 Discord🎨 Studio
文档

Generators (生成器)

生成器负责在你给出提示后生成文本。它们针对每种 LLM 技术(OpenAI、本地、TGI 等)是特定的。

生成器描述流式支持
AmazonBedrockChatGenerator通过 Amazon Bedrock 服务启用使用模型的聊天补全。
AmazonBedrockGenerator通过 Amazon Bedrock 服务启用使用模型的文本生成。
AnthropicChatGenerator此组件支持使用 Anthropic 大型语言模型 (LLM) 进行聊天补全。
AnthropicVertexChatGenerator此组件支持使用 AnthropicVertex API 进行聊天补全。
AnthropicGenerator此组件支持使用 Anthropic 大型语言模型 (LLM) 进行文本补全。
AzureOpenAIChatGenerator通过 Azure 服务启用使用 OpenAI 的 LLM 进行聊天补全。
AzureOpenAIGenerator通过 Azure 服务启用使用 OpenAI 的 LLM 进行文本生成。
CohereChatGenerator启用使用 Cohere 的 LLM 进行聊天补全。
CohereGenerator使用 Cohere API 查询 LLM。
GoogleAIGeminiChatGenerator启用使用 Google Gemini 模型进行聊天补全。此集成即将弃用。我们建议改用 GoogleGenAIChatGenerator 集成。
GoogleAIGeminiGenerator启用使用 Google Gemini 模型进行文本生成。此集成即将弃用。我们建议改用 GoogleGenAIChatGenerator 集成。
GoogleGenAIChatGenerator通过 Google Gen AI SDK 启用使用 Google Gemini 模型进行聊天补全。
HuggingFaceAPIChatGenerator通过各种 Hugging Face API 启用使用文本生成。
HuggingFaceAPIGenerator通过各种 Hugging Face API 启用使用文本生成。
HuggingFaceLocalChatGenerator提供一个接口,用于使用在本地运行的 Hugging Face 模型进行聊天补全。
HuggingFaceLocalGenerator提供一个接口,用于使用在本地运行的 Hugging Face 模型生成文本。
LlamaCppChatGenerator启用使用 Llama.cpp 上运行的 LLM 进行聊天补全。
LlamaCppGenerator使用 Llama.cpp 运行的 LLM 生成文本。
LlamaStackChatGenerator启用使用 Llama Stack 服务器提供的 LLM 进行聊天补全
MetaLlamaChatGenerator启用使用 Meta Llama API 提供的任何托管模型进行聊天补全。
MistralChatGenerator启用使用 Mistral 的文本生成模型进行聊天补全。
NvidiaChatGenerator启用使用 Nvidia 托管模型进行聊天补全。
NvidiaGenerator提供一个接口,用于使用通过 NVIDIA NIM 自行托管的 LLM 或 NVIDIA API catalog 上托管的模型进行文本生成。
OllamaChatGenerator启用使用 Ollama 上运行的 LLM 进行聊天补全。
OllamaGenerator提供一个接口,用于使用 Ollama 上运行的 LLM 生成文本。
OpenAIChatGenerator启用使用 OpenAI 的大型语言模型 (LLM) 进行聊天补全。
OpenAIGenerator启用使用 OpenAI 的大型语言模型 (LLM) 进行文本生成。
OpenRouterChatGenerator启用使用 OpenRouter 上托管的任何模型进行聊天补全。
SagemakerGenerator启用使用部署在 Amazon Sagemaker 上的 LLM 进行文本生成。
STACKITChatGenerator启用使用 STACKIT API 进行聊天补全。
VertexAICodeGenerator启用使用 Google Vertex AI 生成模型进行代码生成。
VertexAIGeminiChatGenerator通过 GCP Vertex AI 使用 Google Gemini 模型进行聊天补全。此集成即将弃用。我们建议改用 GoogleGenAIChatGenerator 集成。
VertexAIGeminiGenerator通过 GCP Vertex AI 使用 Google Gemini 模型进行文本生成。此集成即将弃用。我们建议改用 GoogleGenAIChatGenerator 集成。
VertexAIImageCaptioner通过 Google Vertex AI 进行文本生成imagetext 生成模型。
VertexAIImageGenerator启用使用 Google Vertex AI 生成模型进行图像生成。
VertexAIImageQA启用使用 Google Vertex AI 生成模型进行文本生成(图像字幕)。
VertexAITextGenerator启用使用 Google Vertex AI 生成模型进行文本生成。
WatsonxGenerator启用使用 IBM Watsonx 模型进行文本生成。
WatsonxChatGenerator启用使用 IBM Watsonx 模型进行聊天补全。

相关链接

在我们的 API 参考中查看参数详情