文档API 参考📓 教程🧑‍🍳 食谱🤝 集成💜 Discord🎨 Studio
文档

AzureOpenAITextEmbedder

在执行嵌入检索时,您可以使用此组件将查询转换为向量。然后,嵌入检索器会查找相似或相关的文档。

pipeline 中的最常见位置在查询/RAG 管道中的嵌入 检索器 之前
必需的初始化变量"api_key": Azure OpenAI API 密钥。可以通过以下方式设置环境变量 AZURE_OPENAI_API_KEY
"azure_endpoint":部署在 Azure 上的模型的端点。
强制运行变量"text": 字符串
输出变量"embedding": 浮点数列表

"meta": 元数据字典
API 参考Embedders (嵌入器)
GitHub 链接https://github.com/deepset-ai/haystack/blob/main/haystack/components/embedders/azure_text_embedder.py

概述

AzureOpenAITextEmbedder 使用 Azure 上的 OpenAI 嵌入模型,将字符串转换为捕获其语义的向量。它利用 Azure 认知服务进行文本和文档嵌入,模型部署在 Azure 上。

要查看兼容的嵌入模型列表,请访问 Azure 文档。默认模型为AzureOpenAITextEmbeddertext-embedding-ada-002.

使用AzureOpenAITextEmbedder 可用于将单个字符串(例如查询)嵌入为向量。对于嵌入文档列表,请使用 AzureOpenAIDocumentEmbedder,它会使用计算出的嵌入(也称为向量)来丰富文档。

要使用 Azure 组件,您将需要一个 Azure OpenAI API 密钥以及一个 Azure OpenAI 端点。您可以在 Azure 文档 中了解有关它们的更多信息。

该组件使用AZURE_OPENAI_API_KEY 或 AZURE_OPENAI_AD_TOKEN 环境变量。否则,您可以在初始化时传递api_key 或 azure_ad_token

client = AzureOpenAITextEmbedder(azure_endpoint="<Your Azure endpoint e.g. `https://your-company.azure.openai.com/>",
                        api_key=Secret.from_token("<your-api-key>"),
                        azure_deployment="<a model name>")

📘

我们建议使用环境变量而不是初始化参数。

用法

单独使用

以下是独立使用该组件的方法:

from haystack.components.embedders import AzureOpenAITextEmbedder

text_to_embed = "I love pizza!"

text_embedder = AzureOpenAITextEmbedder()

print(text_embedder.run(text_to_embed))

# {'embedding': [0.017020374536514282, -0.023255806416273117, ...],
# 'meta': {'model': 'text-embedding-ada-002-v2',
#          'usage': {'prompt_tokens': 4, 'total_tokens': 4}}}

在 pipeline 中

from haystack import Document
from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.embedders import AzureOpenAITextEmbedder, AzureOpenAIDocumentEmbedder
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever

document_store = InMemoryDocumentStore(embedding_similarity_function="cosine")

documents = [Document(content="My name is Wolfgang and I live in Berlin"),
             Document(content="I saw a black horse running"),
             Document(content="Germany has many big cities")]

document_embedder = AzureOpenAIDocumentEmbedder()
documents_with_embeddings = document_embedder.run(documents)['documents']
document_store.write_documents(documents_with_embeddings)

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", AzureOpenAITextEmbedder())
query_pipeline.add_component("retriever", InMemoryEmbeddingRetriever(document_store=document_store))
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "Who lives in Berlin?"

result = query_pipeline.run({"text_embedder":{"text": query}})

print(result['retriever']['documents'][0])

# Document(id=..., mimetype: 'text/plain', 
#  text: 'My name is Wolfgang and I live in Berlin')

相关链接

在我们的 API 参考中查看参数详情