通義千問(wèn)-7B（Qwen-7B）是阿里云研發(fā)的通義千問(wèn)大模型系列的70億參數(shù)規(guī)模的模型。Qwen-7B是基于Transformer的大語(yǔ)言模型，在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。預(yù)訓(xùn)練數(shù)據(jù)類(lèi)型多樣，覆蓋廣泛，包括大量網(wǎng)絡(luò)文本、專(zhuān)業(yè)書(shū)籍、代碼等。