OpenAITextEmbedder

OpenAITextEmbedder 使用 OpenAI 嵌入模型将字符串转换为捕获其语义的向量。

在执行嵌入检索时，您可以使用此组件将查询转换为向量。然后，嵌入检索器会查找相似或相关的文档。


pipeline 中的最常见位置	在查询/RAG 管道中的嵌入检索器之前
必需的初始化变量	"api_key": OpenAI API 密钥。可以使用`OPENAI_API_KEY` 环境变量设置。
强制运行变量	"text": 字符串
输出变量	"embedding": 浮点数列表 "meta": 元数据字典
API 参考	Embedders (嵌入器)
GitHub 链接	https://github.com/deepset-ai/haystack/blob/main/haystack/components/embedders/openai_text_embedder.py

概述

要查看兼容的 OpenAI 嵌入模型列表，请参阅 OpenAI 文档。默认模型为OpenAITextEmbedder 为text-embedding-ada-002。您可以使用model 参数指定其他模型。

使用OpenAITextEmbedder 将简单字符串（例如查询）嵌入到向量中。要嵌入文档列表，请使用 OpenAIDocumentEmbedder，它会用计算出的嵌入（也称为向量）来丰富文档。

该组件默认使用OPENAI_API_KEY 环境变量，默认为此。否则，您可以在初始化时使用api_key:

embedder = OpenAITextEmbedder(api_key=Secret.from_token("<your-api-key>"))

用法

单独使用

以下是独立使用该组件的方法：

from haystack.components.embedders import OpenAITextEmbedder

text_to_embed = "I love pizza!"

text_embedder = OpenAITextEmbedder(api_key=Secret.from_token("<your-api-key>"))

print(text_embedder.run(text_to_embed))

# {'embedding': [0.017020374536514282, -0.023255806416273117, ...],
# 'meta': {'model': 'text-embedding-ada-002-v2',
#              'usage': {'prompt_tokens': 4, 'total_tokens': 4}}}

📘
我们建议将 OPENAI_API_KEY 设置为环境变量，而不是将其设置为参数。

在 pipeline 中

from haystack import Document
from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.embedders import OpenAITextEmbedder, OpenAIDocumentEmbedder
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever

document_store = InMemoryDocumentStore(embedding_similarity_function="cosine")

documents = [Document(content="My name is Wolfgang and I live in Berlin"),
             Document(content="I saw a black horse running"),
             Document(content="Germany has many big cities")]

document_embedder = OpenAIDocumentEmbedder()
documents_with_embeddings = document_embedder.run(documents)['documents']
document_store.write_documents(documents_with_embeddings)

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", OpenAITextEmbedder())
query_pipeline.add_component("retriever", InMemoryEmbeddingRetriever(document_store=document_store))
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "Who lives in Berlin?"

result = query_pipeline.run({"text_embedder":{"text": query}})

print(result['retriever']['documents'][0])

# Document(id=..., mimetype: 'text/plain', 
#  text: 'My name is Wolfgang and I live in Berlin')

更新于大约 1 年前