需要的時間也不同我的電腦上大概分詞需要800+ms分詞器工作流程：name?不同分詞器分法不同→消除停用詞()what)...

分詞器不能做詞匯的過濾，之進行詞匯的分析和分割。使用空格作為間隔符的詞匯分割分詞器。分詞器不做詞匯過濾，也不進行小寫字符轉(zhuǎn)換。針對郵政編碼，地址等文本信息使用關(guān)鍵詞分詞器進行索引項建立非常方便。內(nèi)部調(diào)用分詞器，對中文進行分詞，同時使用過濾器完成過濾功能，可以實現(xiàn)中文的多元切分和停用詞過濾。1G內(nèi)存?zhèn)€人機器上，1秒可準確分詞100萬漢字。...