跳到正文
馬克工具箱

詞頻統計(中英文分詞)

貼上一段文章、論文摘要、使用者評論或問卷回答,自動分詞並按出現次數排序,顯示每個詞的次數和佔比,以及高頻詞的詞雲。可以統計兩個詞、三個詞的固定搭配,忽略「的、了、the、of」這類虛詞和數字,結果可以匯出為 CSV 用 Excel 繼續分析。

在瀏覽器本地執行,輸入的內容和檔案都不會上傳

統計單位

使用步驟

  1. 把文字貼上到輸入框,或點「載入示例」看看效果。
  2. 選擇按單詞還是片語統計,設定最短長度和要忽略的內容。
  3. 在表格裡檢視排名,點「下載 CSV」匯出全部結果。

引數說明

分詞
使用瀏覽器內建的分詞功能,中文、英文、日文混排都能切分。專業術語可能被拆成幾個詞,可以用「兩詞組合」統計把它們找回來。
片語統計
統計相鄰兩個或三個詞的組合,適合找「自然語言處理」「machine learning」這類固定搭配,不跨越句子。
最短長度
中文建議設為 2 個字,過濾掉大量單字詞;英文一般設為 1。

完整示例

以這段文字為例:

The cat sat on the mat. The cat ate the fish. Machine learning helps machine learning researchers; the cat sleeps.

摘要顯示「共 20 個詞,去重後 10 個」,因為 the、on 這樣的停用詞會被算作詞,但隨後被跳過。把「統計單位」設為「單詞」時,排在前面的幾行是:

詞語 次數 佔比
cat 3 21.43%
learning 2 14.29%
machine 2 14.29%

佔比除以的是實際統計的 14 個詞,而不是文字中的 20 個。選擇「兩詞組合」時,machine learning 在 8 個片語中出現了兩次(25%)。片語不會跨越句子或逗號的邊界,以停用詞開頭或結尾的片語會被跳過。

頁面列出前 100 行,「顯示全部」會列出其餘的行。「下載 CSV」包含每一行,列為 term、count 和 share。

常見問題

分詞結果不準確怎麼辦?

瀏覽器的分詞基於通用詞典,新詞、人名和專業術語可能被切開。可以改用兩詞、三詞組合統計,或者把結果匯出後在 Excel 裡合併。

能處理多長的文字?

幾十萬字以內都可以流暢處理,更長的文字分成幾段分別統計即可。

文字會上傳嗎?

不會,分詞和統計都在瀏覽器裡完成。

隱私說明

本工具完全在瀏覽器中執行,檔案和文字都在你的裝置上處理,不會上傳到我們的伺服器。

相關工具