創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)成立于2013年，我們提供高端重慶網(wǎng)站建設(shè)公司、重慶網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、網(wǎng)站定制、營(yíng)銷型網(wǎng)站建設(shè)、成都小程序開發(fā)、微信公眾號(hào)開發(fā)、網(wǎng)站推廣服務(wù)，提供專業(yè)營(yíng)銷思路、內(nèi)容策劃、視覺設(shè)計(jì)、程序開發(fā)來(lái)完成項(xiàng)目落地，為成都輕質(zhì)隔墻板企業(yè)提供源源不斷的流量和訂單咨詢。

小編給大家分享一下Python統(tǒng)計(jì)文本文件中詞頻的方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家學(xué)習(xí)，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去學(xué)習(xí)方法吧！

寫篇適合Python入門練習(xí)的文章，比較簡(jiǎn)單。

如何用python統(tǒng)計(jì)一個(gè)純文本文件中的詞頻？這是我每次面試的時(shí)候都會(huì)問的一個(gè)問題。對(duì)于有些經(jīng)驗(yàn)的程序員來(lái)說，這是一個(gè)很簡(jiǎn)單

的問題。但實(shí)際情況是，很多面試者都不能很好甚至不能解決這個(gè)問題。

對(duì)文本做詞頻統(tǒng)計(jì)在爬蟲抓取了數(shù)據(jù)后對(duì)數(shù)據(jù)做分類、去重等都有應(yīng)用，算是一個(gè)數(shù)據(jù)處理的基本功能。

這里我們以英文內(nèi)容為例來(lái)解決這個(gè)問題，而中文還涉及到文本的編碼和分詞。

讀取文本文件

python讀取文本很簡(jiǎn)單：

#讀取整個(gè)文件的內(nèi)容：
text = open('file.txt').read()
#按行讀取文本，并返回一個(gè)list，每一行是list的一個(gè)item
lines = open('file.txt').readlines()

切分單詞

英文行文以空格和標(biāo)點(diǎn)符合來(lái)分隔單詞，我們切分單詞也以空格和標(biāo)點(diǎn)符號(hào)來(lái)且分。但大多之考慮到空格而忽略了標(biāo)點(diǎn)符號(hào)。英文中標(biāo)點(diǎn)

符合是直接挨著單詞的，只以空格分割，會(huì)把表達(dá)符號(hào)也分到單詞里面去。如下文本：

Google introduced its TPU at Google I/O 2016. Distinguished hardware engineer – and top MIPS CPU architect – Norm Jouppi in a blog post said Google had been running TPUs in its data centers since 2015 and that the specialized silicon delivered “an order of magnitude better-optimized performance per watt for machine learning.”

# 僅僅以空格切分：
words = text.split(' ')
#切分更準(zhǔn)確的話就要使用正則表達(dá)式模塊re
import re
# 下面的正則表達(dá)式的含義是，
# 切分符包括空白符號(hào)(空格、換行符\n, Tab符\t等看不見的符號(hào)）、
# 英文逗號(hào)、英文句號(hào).、英文問號(hào)？、感嘆號(hào)！、英文冒號(hào):
# 中括號(hào)[]擴(kuò)起來(lái)表示任意匹配這些符號(hào)其一即可
# 最后的加號(hào)+表示如果這些符號(hào)是連續(xù)挨著的則當(dāng)成一個(gè)分割符切分
pattern = r'[\s,\.?!:"]+'
words = re.split(pattern, text)

統(tǒng)計(jì)詞頻

上面切分得到的words是一個(gè)list，里面有重復(fù)和不重復(fù)的單詞。
使用dict這個(gè)key-value數(shù)據(jù)結(jié)構(gòu)來(lái)進(jìn)行統(tǒng)計(jì)和保存統(tǒng)計(jì)結(jié)果。
key就是單詞，value就是單詞的個(gè)數(shù)。

result = {}
for w in words:
    if w in result:
        result[w] += 1
    else:
        result[2] = 1
#或者用defaultdict
from collections import defaultdict
result = defaultdict(int)
for w in words:
    result[w] += 1

defaultdict比dict少了一個(gè)if w in result的判斷，這正是defaultdict的特點(diǎn)：當(dāng)key不存在時(shí)默認(rèn)其value為零。

把以上程序片段寫出一個(gè).py文件就是一個(gè)比較完整的統(tǒng)計(jì)詞頻的程序。可以當(dāng)作是Python入門小練習(xí)。

以上是Python統(tǒng)計(jì)文本文件中詞頻的方法的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

文章題目：Python統(tǒng)計(jì)文本文件中詞頻的方法-創(chuàng)新互聯(lián)
URL分享：http://newbst.com/article38/dgigsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、域名注冊(cè)、自適應(yīng)網(wǎng)站、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)