https://blog.csdn.net/m0_66076989/article/details/135346212

目錄

前言

1 Prompt Engineering

2 LangChain

3 Fine-tuning

總結(jié)

前言

接上次的AI初步了解，繼續(xù)探索一下大模型。LangChain+Fine-tune實現(xiàn)模型定制化。

1 Prompt Engineering

--如何適應(yīng)大模型

 這里的model=gpt-3.5....這是默認(rèn)的gpt模型（openai其實有很多大模型）。

messages就是輸入的提問，temperature對應(yīng)隨機(jī)性，每次回答不一樣。

多輪交互除了輸入user的內(nèi)容，也還要輸入每輪model的回答。

大環(huán)境可以設(shè)定安全性問題等問題。

2 LangChain

--如何使用大模型

這里的i就是prompts輸入，歸一化 ；

根據(jù)要求選擇不同的model；

解析結(jié)果，提取信息。

原始的數(shù)據(jù)有很多（source）

也有很多l(xiāng)oaders，下圖是一些文檔類的loaders

 數(shù)據(jù)的預(yù)處理：

到這一步也不能直接使用，都還是人類語言，還需要處理（回溯算法），變成模型看懂的“特征”（feather），也就是張量 （tensor）。

 之后，

retrieve就是檢索

3 Fine-tuning

--如何改變大模型

 太貴了

有全參數(shù)量和小參數(shù)量的分別。 

LoRA:

理智到大師。

總結(jié)

其實還是迷迷糊糊的，但大致了解了一下大模型的分類以及如果想要研究的話應(yīng)該從哪些方面入手。之后有機(jī)會可以玩玩吧。