启用 GPU 加速

Haystack 中使用的 Transformer 模型旨在在 GPU 加速硬件上运行。 GPU 加速设置步骤取决于您所处环境。

一旦您在机器上启用了 GPU，您就可以设置device，在该设备上加载组件的给定模型。

例如，要加载一个用于HuggingFaceLocalGenerator的模型，请在初始化时设置device="ComponentDevice.from_single(Device.gpu(id=0)) 或device = ComponentDevice.from_str("cuda:0")。

您可以在 设备管理 页面找到更多信息。

在 Linux 中启用 GPU

1. 确保您已安装适配的 NVIDIA CUDA 版本。有关如何安装 CUDA 的信息，请参阅 NVIDIA CUDA Linux 安装指南。

2. 运行在命令行中运行 nvidia-smi 以检查 GPU 是否已启用。如果 GPU 已启用，输出将显示可用 GPU 列表及其内存使用情况。
   

在 Colab 中启用 GPU

1. 在您的 Colab 环境中，选择 **Runtime > Change Runtime type**。

2. 选择 **Hardware accelerator > GPU**。
3. 要检查 GPU 是否已启用，请运行

%%bash

nvidia-smi

输出应显示可用的 GPU 及其使用情况。