Python 采集 QQ音樂 熱歌榜首數(shù)據(jù)
一.初步測試
我們首先使用selenium測試一下環(huán)境:
from selenium import webdriver
import time
url = 'https://y.qq.com/n/ryqq/songDetail/0006wgUu1hHP0N'
driver = webdriver.Chrome()
driver.get(url)
time.sleep(1)
driver.maximize_window()
截圖如下:
測試后發(fā)現(xiàn)沒有問題。
注意:為了避免登錄,使用谷歌模擬登錄之前最好手動登錄QQ音樂,瀏覽器記錄了cookie信息,比較穩(wěn)妥。
二.頁面分析
通過分析頁面可以知道評論數(shù)據(jù)是類似于瀑布流布局,頁面數(shù)據(jù)會隨著右側(cè)滾動條的滾動被加載出來,換句話說,頁面的url沒有改變,我們要通過selenium控制滾輪操作頁面,獲取更多數(shù)據(jù),然后我們看下評論數(shù)據(jù)在頁面中對應的標簽元素。
如下圖所示:
我們可以看到一條評論就是一條li標簽,那么由此可以確定數(shù)據(jù)采集思路:通過selenium控制滾輪滑到頁面底部,然后經(jīng)過短暫的時間(數(shù)據(jù)加載完全)后,實時監(jiān)測頁面的li標簽數(shù)目(也就是評論數(shù)目),達到了目標數(shù)目之后進行數(shù)據(jù)解析和數(shù)據(jù)存儲。
三.滾輪操作
通過循環(huán)的滾輪操作(控制滾輪到頁面底部),來加載數(shù)據(jù)。
num = int(input('請輸入目標評論數(shù):')) # 控制采集評論數(shù)量(由自己掌控)
_single = True
while _single:
# items:頁面評論數(shù)據(jù)
items = driver.find_elements_by_xpath("//li[@class='comment__list_item c_b_normal']")
print(len(items))
if len(items) < num: # 通過頁面監(jiān)測評論數(shù)量,與目標數(shù)量對比
# 拖動滾動條至底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2) # 等待2s,數(shù)據(jù)加載完全
else:
_single = False # 退出循環(huán)
四.解析頁面
通過觀察頁面li標簽下的內(nèi)容:
我們的目標就是要爬取每個用戶的頭像鏈接,昵稱,評論時間和評論內(nèi)容。
info_list = []
for index,item in enumerate(items):
dic = {}
try: # 以防萬一,try語句,便于爬蟲進行
headPortraits = item.find_element_by_xpath("./div[1]/a/img").get_attribute('src')
# 頭像圖片鏈接
name = item.find_element_by_xpath("./div[1]/h4/a").text # 昵稱
time = item.find_element_by_xpath("./div[1]/div[1]").text # 評論時間
content = item.find_element_by_xpath("./div[1]/p/span").text # 評論內(nèi)容
content = content.replace('\n','')
# 因為考慮到有的用戶評論較長,所以需要將換行符改成空格或者空字符,便于存儲
dic['headPor'] = headPortraits
dic['name'] = name
dic['time'] = time
dic['cont'] = content
print(index+1)
print(dic)
info_list.append(dic)
except Exception as e:
print(e)
最后再運行的過程中,try語句還是有用的,因為數(shù)據(jù)沒有爬取完全,有的數(shù)據(jù)有問題,如下所示:
五.數(shù)據(jù)存儲
由于在上面我們把每一條評論數(shù)據(jù)以字典的形式保存在info_list的列表中,所以這里我們使用csv模塊,把數(shù)據(jù)寫入到csv文件中。
import csv
head = ['headPor','name','time','cont']
with open('bscxComment.csv', 'w', encoding='utf-8', newline='') as f:
writer = csv.DictWriter(f, head)
writer.writeheader()
writer.writerows(info_list)
print('寫入成功')
六.運行程序
開始:
結(jié)束:
然后我們打開csv文件:
好的,大致就是這樣的5000條評論數(shù)據(jù)。
七.詞云展示
一.導入相關(guān)庫
# 導入相應的庫
import jieba
from PIL import Image
import numpy as np
import pandas as pd
from wordcloud import WordCloud
二.得到評論數(shù)據(jù)
注意:這里需要對評論那一列數(shù)據(jù)進行數(shù)據(jù)清洗,因為可能有的數(shù)據(jù)類型不是str,需要跳過,或者剔除
with open('data.txt',encoding='utf-8',mode='a') as f:
for item in data['cont']:
if type(item) != str:
continue
else:
f.write(item,)
print('寫入成功!')
三.詞云展示
# 入文本數(shù)據(jù)并進行簡單的文本處理
# 去掉換行符和空格
text = open("./data.txt",encoding='utf-8').read()
# 分詞,返回結(jié)果為詞的列表
text_cut = jieba.lcut(text)
# 將分好的詞用某個符號分割開連成字符串
text_cut = ' '.join(text_cut)
word_list = jieba.cut(text)
space_word_list = ' '.join(word_list)
# print(space_word_list)
# 調(diào)用包PIL中的open方法,讀取圖片文件,通過numpy中的array方法生成數(shù)組
mask_pic = np.array(Image.open("./cat.png"))
word = WordCloud(
font_path='C:/Windows/Fonts/simfang.ttf', # 設(shè)置字體,本機的字體
mask=mask_pic, # 設(shè)置背景圖片
background_color='white', # 設(shè)置背景顏色
max_font_size=150, # 設(shè)置字體最大值
max_words=2000, # 設(shè)置最大顯示字數(shù)
stopwords={'的'} # 設(shè)置停用詞,停用詞則不在詞云途中表示
).generate(space_word_list)
image = word.to_image()
word.to_file('bsx.png') # 保存圖片
image.show()
最后運行:
八.總結(jié)
本文使用selenium采集QQ音樂評論數(shù)據(jù),其實使用selenium模擬人操作瀏覽器,可以避免一些反爬,不失為一種獲取數(shù)據(jù)的好方法,但是需要注意的點還是有的,最后感興趣的小伙伴可以去嘗試一下。