2024年底，DeepSeek發(fā)布了新一代大語言模型V3，同時宣布開源。測試結(jié)果顯示，它的多項評測成績超越了一些主流開源模型，并且還具有成本優(yōu)勢。

DeepSeek官網(wǎng)地址：https://www./

DeepSeek實在是太火了，最近一段時間DeepSeek反應時間巨長，甚至小圓圈轉(zhuǎn)半天最后卻提示“服務器繁忙，請稍后再試。”

本文通過在本地部署 DeepSeek+Dify，零成本搭建自己的私有知識庫。學會搭建方法后，我們就可以把自己的個人資料，之間輸出的文章、日記等所有個人信息上傳到本地知識庫，打造專屬的AI數(shù)字助理。

當然，還有其他應用場景，比如搭建企業(yè)自有的客服平臺，學習可以建立自己的智能題庫等等。

一、下載并安裝docker

docker網(wǎng)址：https://www./

以上圖片中docker是已經(jīng)安裝的鏡像，剛安裝的界面是空白的（特此說明）

二、下載Ollama并安裝

Ollama是一個免費的開源工具，網(wǎng)址：https:///，允許用戶在他們的計算機上本地運行大型語言模型（LLM）。它適用于macOS、Linux和Windows。

下載完成后，直接進行安裝，版本查看：

三、安裝****deepseek-r1模型

在ollama官網(wǎng)首頁的搜索框，點擊一下即可看到deepseek-r1在第一個位置，可以看到模型有根據(jù)參數(shù)分為1.5b，7b，8b，14b，32b，70b，671b等，我們需要根據(jù)自己電腦選擇下載對應參數(shù)的模型。

1、GPU和顯存要求

關(guān)于顯存使用的關(guān)鍵說明：

1. 大模型的分布式 GPU 設置：運行 DeepSeek-R1-Zero 和 DeepSeek-R1 需要大量顯存，因此需要分布式 GPU 配置（例如，在多 GPU 設置中使用 NVIDIA A100 或 H100）以獲得最佳性能。
2. 精簡模型的單 GPU 兼容性：精簡模型已經(jīng)優(yōu)化，可在顯存需求較低的單個 GPU 上運行，最低要求僅為 0.7 GB。
3. 額外的內(nèi)存使用：激活、緩沖區(qū)和批處理任務可能會消耗額外的內(nèi)存。

**2、**根據(jù)自己電腦的配置，選擇要安裝的版本

先在主頁中點擊“models”,然后看到一個就是deepseek-r1，直接點擊進去，

3、安裝deepseek-r1模型

ollama run deepseek-r1:32b

4、測試r1模型

四、安裝Dify

Dify.AI 是一個開源的大模型應用開發(fā)平臺，旨在幫助開發(fā)者輕松構(gòu)建和運營生成式 AI 原生應用。該平臺提供從 Agent 構(gòu)建到 AI workflow 編排、RAG 檢索、模型管理等全方位的能力，使開發(fā)者能夠?qū)Ｗ⒂趧?chuàng)造應用的核心價值，而無需在技術(shù)細節(jié)上耗費過多精力。

1、下載dify項目壓縮包

dify中g(shù)ithub地址：https://github.com/langgenius/dify

2、下載并解壓，然后進入項目根目錄找到docker文件夾，找到文件“.env.exmple”重命名“.env”

3、準備dify的docker環(huán)境

在該文件夾頁面中點擊鼠標右鍵，選擇“在終端中打開”

輸入命令：

docker compose up -d

此時回到docker桌面客戶端可看到，所有dify所需要的環(huán)境都已經(jīng)運行起來了

4、注冊dify

在瀏覽器地址欄輸入：

http://127.0.0.1/install

五、將本地大模型與dify關(guān)聯(lián)起來

由于dify是通過docker部署的，ollama也是運行在本地，要想dify能夠訪問ollama提供的服務，需要獲取到本地的內(nèi)網(wǎng)IP即可。

1、配置docker下的env文件（文件末尾）

# 啟用自定義模型
CUSTOM_MODEL_ENABLED=true
# 指定 Ollama 的 API 地址（根據(jù)部署環(huán)境調(diào)整 IP）
OLLAMA_API_BASE_URL=host.docker.internal:11434

2、配置大模型

3、設置系統(tǒng)模型

到此，dify就與前面部署的本地大模型關(guān)聯(lián)起來了

六、創(chuàng)建應用

進行測試：

這表明，dify與本地部署的大模型deepseek-r1連通了，但是，我想讓他的回答是基于我的私有知識庫作為上下文來和我聊天怎么辦？這就需要用到本地知識庫了

七、創(chuàng)建本地知識庫

1、添加Embedding模型

Embedding模型的作用是將高維數(shù)據(jù)（如文本、圖像）轉(zhuǎn)換為低維向量。

我們上傳的資料要通過Embedding模型轉(zhuǎn)換為向量數(shù)據(jù)存入向量數(shù)據(jù)庫，這樣回答問題時，才能根據(jù)自然語言，準確獲取到原始數(shù)據(jù)的含義并召回，因此我們需要提前將私有數(shù)據(jù)向量化入庫。

Embedding 模型那么多，個人感覺bge-m3對中文場景支持效果更好,當然還有其他的Embedding可以選擇，這里就以bge-m3舉例。

下載命令：

ollama pull bge-m3

2、配置 Embedding 模型

3、創(chuàng)建知識庫

4、上傳資料并設置參數(shù)

4、知識庫創(chuàng)建完成

八、在對話上下文中添加知識庫

回到剛才的聊天頁面中，在上下文中添加知識庫中文檔信息，并發(fā)布更新

測試效果：

跟著以上的操作步驟，就可以在本地成功搭建自己的私有知識庫了！

DeepSeek無疑是2025開年AI圈的一匹黑馬，在一眾AI大模型中，DeepSeek以低價高性能的優(yōu)勢脫穎而出。DeepSeek的上線實現(xiàn)了AI界的又一大突破，各大科技巨頭都火速出手，爭先搶占DeepSeek大模型的流量風口。

DeepSeek的爆火，遠不止于此。它是一場屬于每個人的科技革命，一次打破界限的機會，一次讓普通人也能逆襲契機。

DeepSeek的優(yōu)點

掌握DeepSeek對于轉(zhuǎn)行大模型領(lǐng)域的人來說是一個很大的優(yōu)勢，目前懂得大模型技術(shù)方面的人才很稀缺，而DeepSeek就是一個突破口?，F(xiàn)在越來越多的人才都想往大模型方向轉(zhuǎn)行，對于想要轉(zhuǎn)行創(chuàng)業(yè)，提升自我的人來說是一個不可多得的機會。

那么應該如何學習大模型

大模型時代，火爆出圈的LLM大模型讓程序員們開始重新評估自己的本領(lǐng)。 “AI會取代那些行業(yè)？”“誰的飯碗又將不保了？”等問題熱議不斷。

不如成為「掌握AI工具的技術(shù)人」，畢竟AI時代，誰先嘗試，誰就能占得先機！

想正式轉(zhuǎn)到一些新興的 AI 行業(yè)，不僅需要系統(tǒng)的學習AI大模型。同時也要跟已有的技能結(jié)合，輔助編程提效，或上手實操應用，增加自己的職場競爭力。

大模型崗位需求越來越大，但是相關(guān)崗位人才難求，薪資持續(xù)走高，AI運營薪資平均值約18457元，AI工程師薪資平均值約37336元，大模型算法薪資平均值約39607元。

掌握大模型技術(shù)你還能擁有更多可能性：

· 成為一名全棧大模型工程師，包括Prompt，LangChain，LoRA等技術(shù)開發(fā)、運營、產(chǎn)品等方向全棧工程；

· 能夠擁有模型二次訓練和微調(diào)能力，帶領(lǐng)大家完成智能對話、文生圖等熱門應用；

· 薪資上浮10%-20%，覆蓋更多高薪崗位，這是一個高需求、高待遇的熱門方向和領(lǐng)域；

· 更優(yōu)質(zhì)的項目可以為未來創(chuàng)新創(chuàng)業(yè)提供基石。

可能大家都想學習AI大模型技術(shù)，也想通過這項技能真正達到升職加薪，就業(yè)或是副業(yè)的目的，但是不知道該如何開始學習，因為網(wǎng)上的資料太多太雜亂了，如果不能系統(tǒng)的學習就相當于是白學。為了讓大家少走彎路，少碰壁，這里我直接把都打包整理好，希望能夠真正幫助到大家。

??AI大模型學習路線匯總??

大模型學習路線圖，整體分為7個大的階段：（全套教程文末領(lǐng)取哈）

第一階段： 從大模型系統(tǒng)設計入手，講解大模型的主要方法；

第二階段： 在通過大模型提示詞工程從Prompts角度入手更好發(fā)揮模型的作用；

第三階段： 大模型平臺應用開發(fā)借助阿里云PAI平臺構(gòu)建電商領(lǐng)域虛擬試衣系統(tǒng)；
第四階段： 大模型知識庫應用開發(fā)以LangChain框架為例，構(gòu)建物流行業(yè)咨詢智能問答系統(tǒng)；
第五階段： 大模型微調(diào)開發(fā)借助以大健康、新零售、新媒體領(lǐng)域構(gòu)建適合當前領(lǐng)域大模型；
第六階段： 以SD多模態(tài)大模型為主，搭建了文生圖小程序案例；
第七階段： 以大模型平臺應用與開發(fā)為主，通過星火大模型，文心大模型等成熟大模型構(gòu)建大模型行業(yè)應用。

??大模型實戰(zhàn)案例??
光學理論是沒用的，要學會跟著一起做，要動手實操，才能將自己的所學運用到實際當中去，這時候可以搞點實戰(zhàn)案例來學習。

??大模型視頻和PDF合集??
觀看零基礎(chǔ)學習書籍和視頻，看書籍和視頻學習是最快捷也是最有效果的方式，跟著視頻中老師的思路，從基礎(chǔ)到深入，還是很容易入門的。

??學會后的收獲：??

· 基于大模型全棧工程實現(xiàn)（前端、后端、產(chǎn)品經(jīng)理、設計、數(shù)據(jù)分析等），通過這門課可獲得不同能力；

· 能夠利用大模型解決相關(guān)實際項目需求： 大數(shù)據(jù)時代，越來越多的企業(yè)和機構(gòu)需要處理海量數(shù)據(jù)，利用大模型技術(shù)可以更好地處理這些數(shù)據(jù)，提高數(shù)據(jù)分析和決策的準確性。因此，掌握大模型應用開發(fā)技能，可以讓程序員更好地應對實際項目需求；

· 基于大模型和企業(yè)數(shù)據(jù)AI應用開發(fā)，實現(xiàn)大模型理論、掌握GPU算力、硬件、LangChain開發(fā)框架和項目實戰(zhàn)技能， 學會Fine-tuning垂直訓練大模型（數(shù)據(jù)準備、數(shù)據(jù)蒸餾、大模型部署）一站式掌握；

· 能夠完成時下熱門大模型垂直領(lǐng)域模型訓練能力，提高程序員的編碼能力： 大模型應用開發(fā)需要掌握機器學習算法、深度學習框架等技術(shù)，這些技術(shù)的掌握可以提高程序員的編碼能力和分析能力，讓程序員更加熟練地編寫高質(zhì)量的代碼。