大家好，歡迎來到 Crossin的編程教室 ！ 我們在寫代碼的時候經(jīng)常會遇到需要替換文本中字符串的情況。如果替換的不是固定字符，而是某種字符規(guī)律，那就要用到正則表達(dá)式。今天我們要給大家分享一個效率更高的替代庫：FlashText 
FlashText 算法是由 Vikash Singh 于2017年發(fā)表的大規(guī)模關(guān)鍵詞替換算法，這個算法的時間復(fù)雜度僅由文本長度（N）決定，算法時間復(fù)雜度為O(N)。 而對于正則表達(dá)式的替換，算法時間復(fù)雜度還需要考慮被替換的關(guān)鍵詞數(shù)量（M），因此時間復(fù)雜度為O(MxN)。 簡而言之，基于FlashText算法的字符串替換比正則表達(dá)式替換快M倍以上，這個M是需要替換的關(guān)鍵詞數(shù)量，關(guān)鍵詞越多，F(xiàn)lashText算法的優(yōu)勢就越明顯。 下面就給大家介紹如何在 Python 中基于 flashtext 模塊使用 FlashText 算法進(jìn)行字符串查找和替換，如果覺得對你的項目團(tuán)隊很有幫助，請記得幫作者轉(zhuǎn)發(fā)一下哦。 開始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上，如果沒有，可以在公眾號回復(fù)關(guān)鍵詞：安裝，獲取相關(guān)教程文章。 如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：我也曾經(jīng)因安裝庫而抓狂，直到我遇到了Anaconda，它內(nèi)置了Python和pip。 此外，如果你是使用 PyCharm 作為你的代碼編輯器，可以回復(fù)關(guān)鍵詞：PyCharm，獲取上手指南。 請選擇以下任一種方式輸入命令安裝依賴：
1. Windows 環(huán)境 打開 Cmd (開始-運(yùn)行-CMD)
2. MacOS 環(huán)境 打開 Terminal (command 空格輸入Terminal)
3. 如果你用的是 PyCharm 或 VSCode，可以直接使用界面下方的Terminal 安裝 flashtext 庫：
提取關(guān)鍵詞 一個最基本的提取關(guān)鍵詞的例子如下： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞
keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')
# 4. 結(jié)果
print(keywords_found)
# ['New York', 'Bay Area']
其中 add_keyword 的第一個參數(shù)代表需要被查找的關(guān)鍵詞，第二個參數(shù)是給這個關(guān)鍵詞一個別名，如果找到了則以別名顯示。 替換關(guān)鍵詞 如果你想要替換關(guān)鍵詞，只需要調(diào)用處理器的 replace_keywords 函數(shù)： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('New Delhi', 'NCR region')
# 3. 替換關(guān)鍵詞
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
# 4. 結(jié)果
print(new_sentence)
# 'I love New York and NCR region.'
關(guān)鍵詞大小寫敏感 如果你需要精確提取，識別大小寫字母，那么你可以在處理器初始化的時候設(shè)定 sensitive 參數(shù): from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器, 注意設(shè)置大小寫敏感(case_sensitive)為TRUE
keyword_processor = KeywordProcessor(case_sensitive=True)
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.')
# 4. 結(jié)果
print(keywords_found)
# ['Bay Area']
標(biāo)記關(guān)鍵詞位置 如果你需要獲取關(guān)鍵詞在句子中的位置，在 extract_keywords 的時候添加 span_info=True 參數(shù)即可： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞, 并標(biāo)記關(guān)鍵詞的起始、終止位置
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True)
# 4. 結(jié)果
print(keywords_found)
# [('New York', 7, 16), ('Bay Area', 21, 29)]
獲取目前所有的關(guān)鍵詞 如果你需要獲取當(dāng)前已經(jīng)添加的所有關(guān)鍵詞，只需要調(diào)用處理器的 get_all_keywords 函數(shù)： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('j2ee', 'Java')
keyword_processor.add_keyword('colour', 'color')
# 3. 獲取所有關(guān)鍵詞
keyword_processor.get_all_keywords()
# output: {'colour': 'color', 'j2ee': 'Java'}
批量添加關(guān)鍵詞 批量添加關(guān)鍵詞有兩種方法，一種是通過詞典，一種是通過數(shù)組： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. （第一種）通過字典批量添加關(guān)鍵詞
keyword_dict = {
'java': ['java_2e', 'java programing'],
'product management': ['PM', 'product manager']
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 2. （第二種）通過數(shù)組批量添加關(guān)鍵詞
keyword_processor.add_keywords_from_list(['java', 'python'])
# 3. 第一種的提取效果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# output ['product management', 'java']
單一或批量刪除關(guān)鍵詞 刪除關(guān)鍵詞也非常簡單，和添加類似： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 通過字典批量添加關(guān)鍵詞
keyword_dict = {
'java': ['java_2e', 'java programing'],
'product management': ['PM', 'product manager']
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 3. 提取效果如下
print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))
# ['product management', 'java']
# 4. 單個刪除關(guān)鍵詞
keyword_processor.remove_keyword('java_2e')
# 5. 批量刪除關(guān)鍵詞，也是可以通過詞典或者數(shù)組的形式
keyword_processor.remove_keywords_from_dict({'product management': ['PM']})
keyword_processor.remove_keywords_from_list(['java programing'])
# 6. 刪除了java programing關(guān)鍵詞后的效果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# ['product management']
支持額外信息 前面提到在添加關(guān)鍵詞的時候第二個參數(shù)為其別名，其實你不僅可以指示別名，還可以將額外信息放到第二個參數(shù)中： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
kp = KeywordProcessor()
# 2. 添加關(guān)鍵詞并附帶額外信息
kp.add_keyword('Taj Mahal', ('Monument', 'Taj Mahal'))
kp.add_keyword('Delhi', ('Location', 'Delhi'))
# 3. 效果如下
kp.extract_keywords('Taj Mahal is in Delhi.')
# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]
這樣，在提取關(guān)鍵詞的時候，你還能拿到其他一些你想要在得到此關(guān)鍵詞時輸出的信息。 支持特殊單詞邊界 Flashtext 檢測的單詞邊界一般局限于 \w [A-Za-z0-9_] 外的任意字符，但是如果你想添加某些特殊字符作為單詞的一部分也是可以實現(xiàn)的： from flashtext import KeywordProcessor
# 1. 初始化關(guān)鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關(guān)鍵詞
keyword_processor.add_keyword('Big Apple')
# 3. 正常效果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# ['Big Apple']
# 4. 將 '/' 作為單詞一部分
keyword_processor.add_non_word_boundary('/')
# 5. 優(yōu)化后的效果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# []
這個模塊可以滿足我們的日?；臼褂谩Ｈ绻阌幸恍┰撃K提供的功能之外的使用需求，可以給 flashtext 提交 issue：
https://github.com/vi3k6i5/flashtext 附： FlashText 與正則相比 查詢關(guān)鍵詞 所花費的時間之比： 
FlashText 與正則相比 替換關(guān)鍵詞 所花費的時間之比： 
以上就是對 FlashText 的介紹和使用演示。
|
