經(jīng)過了一年多時間的迭代，大模型種類繁多，使用也越來越簡單了。
在本地跑大模型，個人認(rèn)為目前最好的軟件肯定是Ollama無疑了，
不管你是在PC上跑大模型，在Mac上跑大模型，還有在樹莓派上跑大模型，
我們都可以用Ollama去跑各種大大小小的模型，而且它的擴展性非常強。
現(xiàn)在安裝Ollama超級簡單的，只需要進(jìn)入Ollama官網(wǎng)下載安裝包，然后安裝即可。
以下是我個人安裝為例（macOS系統(tǒng)）：
直接點擊Next：
如果自己不確定模型名稱可以去官網(wǎng)查看模型
每款大模型都有不同版本，根據(jù)自己的機器來選擇，根據(jù)官網(wǎng)的文檔也說明了，一般7B的模型至少需要8G的內(nèi)存，13B的模型至少需要16G內(nèi)存，70B的模型至少需要64G內(nèi)存。
ollama沒有界面化的頁面使用，它是在終端里交互的，所有我們要使用圖形化的界面里去操作，這是我們可以使用Open WebUI。
Open WebUI是一個開源的Web UI界面，github地址：https://github.com/open-webui/open-webui
使用Docker方式運行Open WebUI，直接一條命令解決下載和運行：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
命令解釋：
-d：后臺運行-p 3000:8080：將容器的8080端口映射到主機的3000端口--add-host=host.docker.internal:host-gateway：添加主機映射，用于訪問主機的Docker容器-v open-webui:/app/backend/data：將主機的open-webui目錄映射到容器的/app/backend/data目錄--name open-webui：設(shè)置容器名稱--restart always：設(shè)置容器總是重啟ghcr.io/open-webui/open-webui:main：鏡像地址啟動日志：
注意：open-webui啟動時有點慢，需要等待一會?？梢酝ㄟ^docker logs open-webui查看日志。紅框的可以不用理會。
第一次使用時需要進(jìn)行注冊，這個數(shù)據(jù)都是本地存儲。
1、open-webui界面文檔設(shè)置
2、加載網(wǎng)頁或者文檔
在對話窗口通過#+鏈接加載網(wǎng)頁，通過對話框的+上傳文件，也可以在文檔中導(dǎo)入。
如果對知識庫有更高的需求，可以使用AnythingLLM這個軟件，github地址：https://github.com/Mintplex-Labs/anything-llm
一鍵三連：點贊、分享、在看
