|
最近，DeepSeek大火，想必大家都有所耳聞，各路媒體從各個方面報道了DeepSeek這家神秘的公司的各方面消息，這家低調的技術公司用一組硬核數(shù)據(jù)回應了所有關注： 千億參數(shù)規(guī)模下實現(xiàn)0.5元/百萬tokens的API調用成本，91.5%的中文基準測試得分，推理效率較傳統(tǒng)架構提升5倍。 DeepSeek的AI大模型作為國產(chǎn)之光，不僅刷新了國產(chǎn)大模型的天花板，更標志著普惠AI時代的實質性突破。 我們看新聞的同時，不應該只停留在聽說的層面上，應該深入體驗并實踐于各種應用場景：有人用它來幫自己寫文章，有人用它來幫自己思考做決策，甚至有人用它來suanming，真是腦洞大開，破局圈友應該是行動最快的那群人。 本文將帶領大家本地部署 DeepSeek+Dify，零成本搭建自己的私有知識庫。 學會本文搭建方法后，我們也可以把自己的個人資料，過往輸出文章，日記等所有個人信息上傳到本地知識庫，打造自己的私人助理。 當然，還可以有很多其他應用場景，比如：智能客服，智能題庫。 本文，將按照以下主線展開：
 一、下載并安裝docker網(wǎng)址：https://www./  一路點擊下一步安裝即可，因為docker會用到hyper-v，如果電腦沒開啟hyper-v，可能會需要重啟一次。  二、下載ollamaOllama 是一個開源的本地化工具，旨在簡化大型語言模型（LLMs）的本地運行和部署。它專注于讓用戶能夠輕松在個人計算機或服務器上運行多種開源語言大模型（如deepseek ，qwen，Llama、Mistral、Gemma等），而無需依賴云端服務或復雜的配置流程。 網(wǎng)址：https:///   安裝完成后，桌面右下角會顯示ollama圖標  三、安裝deepseek-r1模型一）找到模型在ollama官網(wǎng)首頁的搜索框，點擊一下即可看到deepseek-r1在第一個位置，可見熱度之高??！ 可以看到模型有根據(jù)參數(shù)分為1.5b，7b，8b，14b，32b，70b，671b等，我們需要根據(jù)自己電腦選擇下載對應參數(shù)的模型。  二）如何選擇適合自己電腦的模型？我的電腦配置如下：    問一下deepseek，讓他幫我們選擇，提示詞如下：  三）安裝r1模型ollama安裝完后，沒有圖形界面，安裝大模型，可以類比為docker拉取鏡像，因為很多操作命令類似 四）測試安裝完成后，會自動運行大模型，我們輸入一個問題測試一下： 四、安裝difydify官網(wǎng)地址： http:/// dify官網(wǎng)文檔： https://docs./zh-hans dify項目github地址： https://github.com/langgenius/dify 一）先了解一下dify這里簡單介紹一下dify，需要詳細了解的可以看dify的官網(wǎng)或官方文檔。 Dify.AI 是一個開源的大模型應用開發(fā)平臺，旨在幫助開發(fā)者輕松構建和運營生成式 AI 原生應用。該平臺提供從 Agent 構建到 AI workflow 編排、RAG 檢索、模型管理等全方位的能力，使開發(fā)者能夠專注于創(chuàng)造應用的核心價值，而無需在技術細節(jié)上耗費過多精力。 從創(chuàng)建應用頁面可以看到，他可以創(chuàng)建：聊天助手，Agent，文生文應用，對話工作流，任務編排工作流等 支持接入的大模型供應商幾乎涵蓋了全球所有知名大模型供應商 當然也包括國內(nèi)的deepseek，ollama 他也支持從已有文本，Notion，網(wǎng)頁等數(shù)據(jù)源創(chuàng)建知識庫： 這就意味著，我們可以通過部署本地大模型，企業(yè)知識庫，來部署企業(yè)私有化AI應用，比如：企業(yè)垂直領域的銷售客服，HR用來培訓企業(yè)招聘來的新員工，教育機構可以部署私有題庫。并通過api的形式靈活構建自己的應用。 二）下載dify項目壓縮包三）安裝dify環(huán)境1、進入項目根目錄找到docker文件夾2、.env文件重命名3、右鍵打開命令行4、運行docker環(huán)境此時回到docker桌面客戶端可看到，所有dify所需要的環(huán)境都已經(jīng)運行起來了 四）安裝dify在瀏覽器地址欄輸入即可安裝： 然后登錄賬號 進入dify主頁如下： 五、如何將本地大模型與dify關聯(lián)起來？由于本教程的dify是通過docker部署的，也就是說，項目是運行在docker容器內(nèi)部的，但是我們的ollama是運行在本地電腦的，但是他們是在同一臺電腦上的，這就意味著，要想dify能夠訪問ollama提供的服務，需要獲取到本地電腦的內(nèi)網(wǎng)IP即可。 一）獲取本機內(nèi)網(wǎng)IP打開命令行：win+r 輸入：cmd 在命令行輸入：ipconfig，并找到當前連接的網(wǎng)絡適配器（如“無線局域網(wǎng)適配器 WLAN”或“以太網(wǎng)適配器”），下方顯示的 二）配置本地內(nèi)網(wǎng)IP到dify的docker部署配置文件內(nèi)找到dify項目下的docker文件夾并進入，前面已經(jīng)將 三）配置大模型四）設置系統(tǒng)模型到此，dify就與前面部署的本地大模型關聯(lián)起來了 六、創(chuàng)建一個應用一）創(chuàng)建空白應用二）應用配置三）配置當前應用的大模型四）測試這表明，dify與本地部署的大模型deepseek-r1連通了，但是，我想讓他的回答是基于我的私有知識庫作為上下文來和我聊天怎么辦？這就需要用到本地知識庫了 七、創(chuàng)建本地知識庫一）添加Embedding模型為什么要添加Embedding模型？ Embedding模型的作用是將高維數(shù)據(jù)（如文本、圖像）轉換為低維向量，這些向量能夠捕捉原始數(shù)據(jù)中的語義信息。常見的應用包括文本分類、相似性搜索、推薦系統(tǒng)等。 我們上傳的資料要通過Embedding模型轉換為向量數(shù)據(jù)存入向量數(shù)據(jù)庫，這樣回答問題時，才能根據(jù)自然語言，準確獲取到原始數(shù)據(jù)的含義并召回，因此我們需要提前將私有數(shù)據(jù)向量化入庫。 二）創(chuàng)建知識庫三）上傳資料四）保存并處理五）知識庫創(chuàng)建完成八、添加知識庫為對話上下文一）應用內(nèi)添加知識庫回到剛才的應用聊天頁面，添加知識庫 二）保存當前應用設置如果只是當前應用內(nèi)調試可以不必更新，但是如果想把當前應用發(fā)布為對外api服務或者持久化保存，就需要保存當前應用設置，記得實時保存當前設置。 二）測試如果感覺回答的效果還不滿意，可以對召回參數(shù)進行調整。 或者可以參考官方文檔，做其他詳細設置： https://docs./zh-hans/guides/knowledge-base 九、結語DeepSeek作為可以私有化本地部署的大模型，加上Dify這個組合，我們還可以有很多其他應用場景，比如：智能客服，智能題庫。 也可以把自己的個人資料，過往輸出文章，日記等所有個人信息上傳到本地知識庫，打造自己的私人助理。 Dify還有很多其他功能，有了deepseek這樣的優(yōu)秀國產(chǎn)AI大模型加持，我們可以做更多智能體應用。當然，Dify也可以像coze一樣，發(fā)布為對外服務的api，這樣，它就可以結合cursor快速做出更多的AI應用。 何以破局，唯有行動！希望看到這里的你能夠積極行動起來，做出自己的AI應用！ 我是阿坡，專注于AI+RPA自動化提效。 如果在RPA學習過程中有任何問題，歡迎加我v：ao-ai-coding，拉你進RPA實戰(zhàn)交流群。 我和明鑒老師在平時和學員交流溝通的過程中，經(jīng)常會遇到，智能體玩的很好的小伙伴，有提效的需求；玩RPA很好的小伙伴，有內(nèi)容創(chuàng)作的需求。 所以，我們覺得是時候讓 RPA和智能體 來一個合體了！ 我敢說，你要是學會了 RPA+智能體，分分鐘起飛！簡直是降維打擊！ 因為看到了這個趨勢，我們研發(fā)了一個小冊子，目的是讓更多人能夠了解什么是RPA和智能體，也能讓大家實操學會怎么樣玩轉RPA和智能體！ 我們這個小冊子主要提供一個文檔和一個技術交流群，群里會交流各種好玩的 RPA+智能體 的技術！低成本的學習自動化提效，享受效率人生！ 內(nèi)容大綱可看下圖，干貨滿滿，內(nèi)容會持續(xù)完善更新，并在群內(nèi)進行講解答疑！
|
|
|
