一、中文分詞工具

（1）Jieba

（2）snowNLP分詞工具

（3）thulac分詞工具

（4）pynlpir 分詞工具

（5）StanfordCoreNLP分詞工具

1.from stanfordcorenlp import StanfordCoreNLP

2.with StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05',) as nlp:

3.    print("stanfordcorenlp分詞：\n",nlp.word_tokenize(Chinese))

（6）Hanlp分詞工具

分詞結(jié)果如下：

二、英文分詞工具

1. NLTK：

二者之間的區(qū)別在于，如果先分句再分詞，那么將保留句子的獨立性，即生成結(jié)果是一個二維列表，而對于直接分詞來說，生成的是一個直接的一維列表，結(jié)果如下：

2. SpaCy：

3. StanfordCoreNLP：

分詞結(jié)果