配置 NVIDIA Tesla P40 进行 AI 推理

Tesla P40 是运行本地大语言模型的绝佳预算选择。凭借 24GB 显存和不错的计算性能，它可以运行 Llama 2 70B（量化版）或 Mixtral 8x7B 等模型。

为什么选择 Tesla P40

• 24GB 显存: 足以运行大型量化模型
• 价格: 二手市场约 200-300 美元
• 功耗: 250W TDP，适合家庭实验室
• ECC 内存: 长时间推理更稳定

硬件要求

开始之前，确保你有：

1. 带 PCIe x16 插槽的服务器或工作站
2. 足够的电源（至少 250W 余量）
3. 良好的散热或 GPU 散热方案（P40 是被动散热！）
4. Ubuntu 22.04 或类似的 Linux 发行版

第一步：散热方案

重要提示: Tesla P40 采用被动散热，需要强劲的气流。选项：

1. 机架服务器: 使用机架风扇
2. 台式机机箱: 添加 92mm 风扇配合 3D 打印导风罩
3. 第三方散热器: Gelid ICY Vision 或类似产品

第二步：安装 NVIDIA 驱动

添加 NVIDIA 仓库并安装驱动：

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-535
sudo reboot

安装完成后验证：

nvidia-smi

第三步：安装 CUDA 工具包

从 NVIDIA 官网下载 CUDA 安装程序并运行：

sudo sh cuda_12.2.0_535.54.03_linux.run --toolkit --silent

然后将 CUDA 添加到环境变量。

第四步：设置 Ollama

Ollama 让运行 LLM 变得非常简单：

curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl enable ollama
sudo systemctl start ollama
ollama pull llama2:70b-chat-q4_K_M

第五步：测试设置

运行交互式会话：

ollama run llama2:70b-chat-q4_K_M

性能优化技巧

1. 量化: 使用 Q4_K_M 或 Q5_K_M 获得最佳速度/质量平衡
2. 上下文长度: 保持合理范围（4096-8192 tokens）
3. 批处理大小: 增加可提高吞吐量，减少可降低延迟
4. 温度控制: 监控 GPU 温度，保持在 85 度以下

总结

Tesla P40 是预算 AI 推理的绝佳选择。虽然它的速度不如新显卡，但 24GB 显存使它足以在家中运行大型模型。

祝推理愉快！