|
背景 你是否曾面對結(jié)構(gòu)化數(shù)據(jù)中的文本列,不知如何處理？文本數(shù)據(jù)作為一種常見的數(shù)據(jù)類型，包含了大量重要特征，如情感、意圖等。為了高效地將文本轉(zhuǎn)換為可供模型使用的特征，AutoX_nlp提供了文本列自動特征提取的解決方案。通過該方案，可以很方便地調(diào)用文本處理工具，將文本特征變成數(shù)值特征，進行后續(xù)訓(xùn)練、預(yù)測。 效果 目前AutoX_nlp結(jié)合AutoX端到端自動機器學(xué)習(xí)建模方案，已在多個包含文本域的數(shù)據(jù)集上取得優(yōu)于其他自動建模工具的結(jié)果。  案例說明 你可以很容易地使用AutoX_nlp，幾行代碼即可完成文本特征提?。?/p> AutoX_nlp介紹  主要流程包括: 1. 分詞：將單條文本拆分為多個token，將文本信息拆分細(xì)化。默認(rèn)為空格分詞，無監(jiān)督分詞器可以動態(tài)選擇較合適的分詞粒度； 2. 特征提取：將拆分后的文本表示為數(shù)值特征向量，默認(rèn)為TFIDF，此外還支持Word2Vec、FastText、Glove、Bert、Zero-shot labeling。其中zero shot labeling使用在NLI任務(wù)下訓(xùn)練的模型對文本潛在的類別進行預(yù)測，適用于提前知曉文本列所指代特征的情況； 3. 輸出：將特征轉(zhuǎn)化為期望的輸出格式，默認(rèn)為離散型，此外也可以直接以稀疏矩陣輸出第二步的特征，以及使用有監(jiān)督的方式輸出連續(xù)型特征。 |
|
|
