在本地部署 DeepSeek-R1 模型，包含電腦和手機，附帶硬件和模型版本

2025.01.30

本文將引導您完成在本地機器上設(shè)置和運行 DeepSeek-R1 模型的全過程，涵蓋硬件要求、必要工具的安裝以及客戶端的使用。

DeepSeek 的 R1 模型因其先進的功能和成本效益而備受關(guān)注。在本地運行此模型將是有益的體驗，能夠深入了解最先進的 AI 技術(shù)。

1、DeepSeek-R1 模型各個版本說明和硬件需求

DeepSeek-R1 提供多種版本，每個版本都有特定的硬件要求，下面分別列出：

全參數(shù)的模型

這是 R1 的原始版本，包含大量的參數(shù)，精度高，但需要大量計算資源；

參數(shù)為 671B，需要顯存為 1342GB。

兩個模型都要求使用多 GPU，比如 NVDIA-A100 80GB 顯卡一共 16 張。

不支持單獨的 Mac 電腦，但是支持 Mac 電腦集群。

蒸餾模型

蒸餾模型是“老師教學生”，通過知識蒸餾，教小的模型學會復制較大模型的行為，擴充性能，減少資源需求。

可以看到蒸餾模型對顯存的需求相比全參數(shù)模型來說可以忽略不計了。

其中 7B 和 8B 模型可以用于 32GB 的 Mac 算是性能和參數(shù)平衡后最佳選擇。

Quantized Models (4-bit) 精度為 4bit 的模型

在了解什么 Quantized Models 前，我們先了解以下幾個關(guān)鍵點：

2、電腦安裝推薦 Ollama：安裝指南

Ollama 是一款流行的在本地運行大模型的工具。

現(xiàn)在不論是 macOS 還是 Windows 都可以直接下載客戶端安裝。

注意：安裝 Ollama 后，操作一般是在終端中操作。

通過命令運行 Ollama，比如在 Ollama 官網(wǎng)搜索DeepSeek

安裝后，一般就會在本地的 11434 端口開啟服務了。

你可以在終端實時體驗，但是要獲得像官網(wǎng)一樣的體驗，還是需要額外的套殼 UI 客戶端

3、開源大模型 UI 客戶端

關(guān)于套殼 UI 有很多可以選擇，可以根據(jù)喜好自行選擇。

我這里推薦兩個。

一個是 Open WebUI

Open WebUI 可以使用 Docker 部署，簡單方便。

一個是 Chatbox

Chatbox可以使用各種模型的 api，也可以使用本地 Ollama 11434 端口的服務。

4、安卓手機部署

手機目前的話推薦使用安卓部署本地模型。

推薦 MNN 框架。

可以直接下載目前打包好的 apk-MNN 大模型 Android App

下載安裝后，可以在模型列表里下載 DeepSeek-R1-1.5B-Qwen-MNN

本站僅提供存儲服務，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊舉報。

免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版