使用步驟
- 把文字貼上到輸入框,或點「載入示例」看看效果。
- 選擇按單詞還是片語統計,設定最短長度和要忽略的內容。
- 在表格裡檢視排名,點「下載 CSV」匯出全部結果。
引數說明
- 分詞
- 使用瀏覽器內建的分詞功能,中文、英文、日文混排都能切分。專業術語可能被拆成幾個詞,可以用「兩詞組合」統計把它們找回來。
- 片語統計
- 統計相鄰兩個或三個詞的組合,適合找「自然語言處理」「machine learning」這類固定搭配,不跨越句子。
- 最短長度
- 中文建議設為 2 個字,過濾掉大量單字詞;英文一般設為 1。
完整示例
以這段文字為例:
The cat sat on the mat. The cat ate the fish. Machine learning helps machine learning researchers; the cat sleeps.
摘要顯示「共 20 個詞,去重後 10 個」,因為 the、on 這樣的停用詞會被算作詞,但隨後被跳過。把「統計單位」設為「單詞」時,排在前面的幾行是:
| 詞語 | 次數 | 佔比 |
|---|---|---|
| cat | 3 | 21.43% |
| learning | 2 | 14.29% |
| machine | 2 | 14.29% |
佔比除以的是實際統計的 14 個詞,而不是文字中的 20 個。選擇「兩詞組合」時,machine learning 在 8 個片語中出現了兩次(25%)。片語不會跨越句子或逗號的邊界,以停用詞開頭或結尾的片語會被跳過。
頁面列出前 100 行,「顯示全部」會列出其餘的行。「下載 CSV」包含每一行,列為 term、count 和 share。
常見問題
分詞結果不準確怎麼辦?
瀏覽器的分詞基於通用詞典,新詞、人名和專業術語可能被切開。可以改用兩詞、三詞組合統計,或者把結果匯出後在 Excel 裡合併。
能處理多長的文字?
幾十萬字以內都可以流暢處理,更長的文字分成幾段分別統計即可。
文字會上傳嗎?
不會,分詞和統計都在瀏覽器裡完成。
隱私說明
本工具完全在瀏覽器中執行,檔案和文字都在你的裝置上處理,不會上傳到我們的伺服器。