現(xiàn)在開源的大模型其實(shí)挺多的，今天搭建Gemma這個(gè)谷歌開源的大模型，但是你想搭建別的只要你看完你都會(huì)了。

介紹

Ollama：一款可以讓你在本地快速搭建大模型的工具

官網(wǎng)：https:///

github：https://github.com/ollama/ollama

Gemma：谷歌開源的大模型

open-webui：非常不錯(cuò)的大模型webui

github：https://github.com/open-webui/open-webui

開始搭建

第一步選擇系統(tǒng)版本：

因?yàn)榇竽Ｐ托枰腉PU來運(yùn)算，當(dāng)然其實(shí)CPU也可以，但我們今天講的是要用GPU來跑的，所以我們?cè)谫?gòu)買服務(wù)器的時(shí)候，一定要選擇GPU服務(wù)器，然后看看服務(wù)器的系統(tǒng)版本對(duì)GPU顯卡支持的更好。

這里我選擇的是阿里的Alibaba Cloud Linux 3.2104 LTS 64位

第二步部署Ollama：

部署ollama非常簡(jiǎn)單直接輸入：

curl -fsSL https:///install.sh | sh

等待安裝完成后，就如下圖：

你還可以輸入：ollama 看看一些基本操作

因?yàn)槲覀冃枰_放API，ollama的開放端口是11434，我們?cè)诜?wù)器商那邊打開11434端口，然后直接ip:11434進(jìn)行訪問。

這時(shí)候我就發(fā)現(xiàn)了ollama的一個(gè)坑，我們?cè)诔晒?dòng)ollama的時(shí)候就已經(jīng)直接占用了11434端口，但是我們直接訪問發(fā)現(xiàn)是無法訪問的，通過防火墻各種排查發(fā)現(xiàn)是ollama的配置文件里面出現(xiàn)了問題，解決方法如下：

直接輸入：

sudo vi /etc/systemd/system/ollama.service

按i進(jìn)入插入模式，在ExecStart=/usr/local/bin/ollama serve上面插入：Environment=”O(jiān)LLAMA_HOST=0.0.0.0:11434″

按ESC再輸入:wq回車保存

我們直接重啟服務(wù)器，重啟后輸入：ollama

然后在打開ip:11434就可以直接訪問了

這樣就是成功了

第三步部署：Gemma

gemma是靠ollama來部署的，所以我們直接輸入：

ollama run gemma

耐心等待部署完成，如下圖：

完成后我們可以直接進(jìn)行提問，這就好啦！

第四步部署：open-webui

因?yàn)?strong>open-webui是在Docker里面部署的，所以我們需要先部署Docker，因?yàn)槲沂怯玫陌⒗镌频腁libaba Cloud Linux 3系統(tǒng)，所以我直接是按照阿里云的官方教程來的，建議你們也是按照自己的系統(tǒng)去安裝Docker，我就不過多的說了。

安裝open-webui直接輸入：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果你直接輸入的話你就入坑了，如果你的服務(wù)器是國(guó)內(nèi)的話，直接下載ghcr.io的鏡像簡(jiǎn)直就是折磨，下一天都不一定下的完，所以我們需要改一下，把ghcr.io改成ghcr.nju.edu.cn再輸入：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

這樣就嘎嘎的快，像上面這樣就成功了

我們?cè)佥斎耄?/p>

sudo docker images

查看一下當(dāng)前的容器，然后再輸入我們要啟動(dòng)的容器：

docker run -d ghcr.nju.edu.cn/open-webui/open-webui

如下圖：

我們?cè)侔?strong>open-webui的端口3000去打開一下，直接訪問IP:3000就可以啦

注冊(cè)一個(gè)賬號(hào)進(jìn)去

在設(shè)置里面看看ollama連接狀態(tài)是成功的就好了，直接用起來吧！