JinaDocumentEmbedder

此组件计算文档列表的嵌入，并将获得的向量存储在每个文档的 embedding 字段中。它使用 Jina AI Embeddings 模型。此组件计算的向量对于在文档集合上执行嵌入检索是必需的。在检索时，表示查询的向量将与文档的向量进行比较，以找到最相似或相关的文档。


pipeline 中的最常见位置	在索引管道中的 `DocumentWriter` 之前
必需的初始化变量	"api_key": Jina API 密钥。可以通过以下方式设置：`JINA_API_KEY` 环境变量设置。
强制运行变量	“documents”：文档列表
输出变量	“documents”：文档列表（已添加嵌入信息） “meta”：元数据字典
API 参考	Jina
GitHub 链接	https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/jina

概述

JinaDocumentEmbedder 使用其内容的嵌入丰富文档的元数据。要嵌入字符串，您应该使用 JinaTextEmbedder。要查看兼容的 Jina Embeddings 模型列表，请访问 Jina AI 的网站。默认模型为JinaDocumentEmbedder 是jina-embeddings-v2-base-en.

要开始使用此集成与 Haystack，请使用以下命令安装软件包：

pip install jina-haystack

该组件默认使用默认的 JINA_API_KEY 环境变量。否则，您可以在初始化时使用以下方式传递 API 密钥：api_key:

embedder = JinaDocumentEmbedder(api_key=Secret.from_token("<your-api-key>"))

要获取 Jina Embeddings API 密钥，请访问 https://jina.ai/embeddings/。

Embedding 元数据

文本文档通常附带一组元数据。如果它们具有辨识度和语义意义，您可以将它们与文档文本一起 embedding，以提高检索效果。

您可以通过使用 Document Embedder 轻松做到这一点

from haystack import Document
from haystack_integrations.components.embedders.jina import JinaDocumentEmbedder

doc = Document(content="some text",
	       meta={"title": "relevant title",
			"page number": 18})

embedder = JinaDocumentEmbedder(api_key=Secret.from_token("<your-api-key>"), meta_fields_to_embed=["title"])

docs_w_embeddings = embedder.run(documents=[doc])["documents"]

用法

单独使用

以下是独立使用该组件的方法：

from haystack_integrations.components.embedders.jina import JinaDocumentEmbedder

doc = Document(content="I love pizza!")

document_embedder = JinaDocumentEmbedder(api_key=Secret.from_token("<your-api-key>"))

result = document_embedder.run([doc])
print(result['documents'][0].embedding)

# [0.017020374536514282, -0.023255806416273117, ...]

📘
我们建议将 JINA_API_KEY 设置为环境变量，而不是将其作为参数设置。

在 pipeline 中

from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack_integrations.components.embedders.jina import JinaDocumentEmbedder
from haystack_integrations.components.embedders.jina import JinaTextEmbedder
from haystack.components.writers import DocumentWriter
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever

document_store = InMemoryDocumentStore(embedding_similarity_function="cosine")

documents = [Document(content="My name is Wolfgang and I live in Berlin"),
             Document(content="I saw a black horse running"),
             Document(content="Germany has many big cities")]

indexing_pipeline = Pipeline()
indexing_pipeline.add_component("embedder", JinaDocumentEmbedder(api_key=Secret.from_token("<your-api-key>")))
indexing_pipeline.add_component("writer", DocumentWriter(document_store=document_store))
indexing_pipeline.connect("embedder", "writer")

indexing_pipeline.run({"embedder": {"documents": documents}})

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", JinaTextEmbedder(api_key=Secret.from_token("<your-api-key>")))
query_pipeline.add_component("retriever", InMemoryEmbeddingRetriever(document_store=document_store))
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "Who lives in Berlin?"

result = query_pipeline.run({"text_embedder":{"text": query}})

print(result['retriever']['documents'][0])

# Document(id=..., mimetype: 'text/plain',
#  text: 'My name is Wolfgang and I live in Berlin')

其他参考资料

🧑‍🍳 食谱：在 Haystack RAG 管道中使用 Jina-embeddings-v2-base-en 模型进行法律文档分析