我有一名AI助手，名字叫'老六'。為什么呢？是因為它有時候會一本正經(jīng)的胡說八道。

沒錯，這是大模型的缺點——'幻覺'。所以LLMs+知識庫是解決'幻覺'的方法。

同時對于企業(yè)來說，需要考慮信息安全，企業(yè)私有的知識庫顯然不能利用公域的大模型。那么搭建一套基于本地大模型的個人/企業(yè)知識庫，是一個很好的解決方案。

1. 搭建本地大模型

安裝Ollama

我們先進入Ollama的官網(wǎng)，下載對應(yīng)操作系統(tǒng)的安裝包。下載完成后，直接安裝即可，沒有任何選項。

https://

拉取大模型

在Ollama的官網(wǎng)上可以進入Models頁面中查看可以下載的模型，其中Meta的Llama2 7b版本需要大概8GB內(nèi)存就可以跑起來。如果你條件足夠，可以跑13b和70b版本，分別對應(yīng)16GB和64GB內(nèi)存。除了Meta的Llama模型，你也可以下載其它的模型。

打開終端，鍵入如下代碼，即可自動下載模型。

等待下載完成后，你就可以直接在終端中與大模型進行對話了。怎么樣，如此簡單你就擁有了一個屬于你自己私人的chatAI。

但是不是覺得終端里運行對話不那么好看，你希望在chatGPT那樣的網(wǎng)頁上進行對話。沒問題，讓open WebUI來幫你解決問題。

2. 搭建用戶界面

Open WebUI是一個可擴展的、功能豐富的、用戶友好的自托管網(wǎng)頁用戶界面，旨在完全離線運行。它支持各種LLM運行程序，包括與Ollama和openAI兼容的API。

安裝Docker

在此之前，需要先安裝Docker，它就像一個容器，為每個項目裝載了必備的環(huán)境和必要條件。

首先我們?nèi)ocker官網(wǎng)，下載Docker Desktop的安裝包，并進行安裝。

安裝完成后，等待程序加載完成，即可進入Docker。如果你是首次使用，則Containers中是沒有任何項目的。

安裝open WebUI

剛才已經(jīng)裝完ollama以及成功安裝并運行模型后。在終端中運行以下代碼，即可開始安裝WebUI。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待下載和安裝完成后，進入Docker Desktop中，即可看見安裝成功的WebUI項目。

此時，進入任意瀏覽器中，在地址欄中輸入：http://localhost:3000 即可訪問WebUI。

首次登錄，輸入郵箱密碼注冊，即可登錄。

選擇模型llama2，即可在對話框中輸入文字，開始對話。界面是不是很熟悉，很像chatGPT，用著順手多了。

open WebUI還有很多其它功能，比如它本身自帶RAG?？梢栽趯υ捒蛑休斎搿?”，然后跟上網(wǎng)址，即可訪問網(wǎng)頁的實施信息，并進行內(nèi)容生成。

還可以上傳文檔，基于文本進行更深層次的知識交互。如果你對知識庫的要求不高，做到這一點以后，基本能滿足大多數(shù)個人的需求了。

3. 與知識庫相連

如果你對知識庫交互有更大的需求，可以安裝以下這款應(yīng)用。

AngthingLLM

https://

這是一個可以基于大模型的知識庫交互軟件，可以應(yīng)用本地大模型，或調(diào)用公域大模型API。知識庫也同樣可以使用本地的，而且?guī)缀醪徽加煤艽蟮馁Y源。

完成安裝后，先會要求配置大模型。這里可以選擇Ollama的本地模型，選擇Llama2 7b。

然后會讓你選擇嵌入模式和向量數(shù)據(jù)庫，我們選擇默認的即可，或者接入外部API。

配置完成后，再為你的工作空間起個名字，即可進入AnythingLLM中。

在正式使用前，你需要上傳你的知識文檔，支持多種形式，但圖片形式PDF不可讀取。

最后，你就可以在對話框中，和你的知識進行對話交流了。

這樣，你就擁有了一個本地化的大模型，且能和你自己的知識庫交互，信息安全，內(nèi)容可靠。還等什么，趕緊配置起來吧。

—— E N D ——

文字：Jason

封面、配圖：GPT4 DALLE3 MJ