打開(kāi)Ollama的官網(wǎng)，整個(gè)網(wǎng)頁(yè)上就只有一句顯眼的話：Get up and running with large language models, locally. 中文意思是：在本地快速上手并運(yùn)行大型語(yǔ)言模型。

1 什么是 Ollama？

Ollama 是一種假設(shè)存在的本地大模型運(yùn)行框架，允許用戶在自己的硬件環(huán)境中輕松部署和使用大規(guī)模預(yù)訓(xùn)練模型。

1.1 Ollama 特性概覽：

• 易用性與廣泛支持：
  Ollama具有良好的生態(tài)支持，可以兼容不同架構(gòu)的大語(yǔ)言模型，截至今天（2024年3月20日），Ollama官網(wǎng)上公開(kāi)支持的大模型就有70個(gè)之多。
• 量化與推理能力：
  提供了對(duì)模型的量化和推理優(yōu)化能力，這使得模型能夠在有限計(jì)算資源下進(jìn)行高效推理，并且能夠近乎無(wú)縫地遷移至相同架構(gòu)的開(kāi)源大模型上。
• 安全、快速、穩(wěn)定的服務(wù)：
  使用Ollama，個(gè)人開(kāi)發(fā)者或企業(yè)可以在不依賴云端的情況下，在本地設(shè)備上實(shí)現(xiàn)大模型的服務(wù)化，從而滿足隱私保護(hù)、實(shí)時(shí)響應(yīng)或其他特定需求。

1.2 Ollama 資源網(wǎng)址

官網(wǎng)：https:///
Gtihub：https://github.com/ollama/ollama

2 安裝 Ollama

訪問(wèn) Ollama 下載地址：https:///download
1）macOS 版本

點(diǎn)擊下方的“Download for macOS”按鈕，下載安裝文件的zip壓縮包。打開(kāi)解壓縮后生成的文件 ollama.app，直接執(zhí)行即可完成安裝并運(yùn)行。在終端窗口里輸入：

ollama --version

返回版本信息即表示安裝完成并正在運(yùn)行。

2） Windows 版本

點(diǎn)擊下方的“Download for Windows（preview）”按鈕，下載 .exe 可執(zhí)行安裝文件。
執(zhí)行下載的文件，安裝過(guò)程中殺毒軟件提示有病毒，關(guān)閉殺毒軟件，或者將提示的執(zhí)行文件加入信任白名單，即可完成安裝和運(yùn)行。

打開(kāi) cmd 窗口，在命令行輸入執(zhí)行：

ollama --version

如果返回版本信息，即表示安裝成功！

3 使用 Ollama

Windows 和 macOS 在使用上幾乎沒(méi)有區(qū)別。訪問(wèn) Ollama 官網(wǎng)，列舉了很多大模型，我們可以從中找一個(gè)模型進(jìn)行測(cè)試：

ollama pull qwen:0.5b-chat

下載完成后，運(yùn)行此模型，在 cmd 中輸入下面的命令：

ollama run qwen:0.5b-chat

簡(jiǎn)單測(cè)試一些，可以運(yùn)行了：