2734-python+selenium爬蟲按關(guān)鍵詞搜索實(shí)現(xiàn)自動(dòng)化抓取淘寶商品寫入mongodb數(shù)據(jù)庫

2734-python+selenium爬蟲按關(guān)鍵詞搜索實(shí)現(xiàn)自動(dòng)化抓取淘寶商品寫入mongodb數(shù)據(jù)庫

使用selenium、webdriver爬取淘寶的圖片、商品、價(jià)格等信息。在命令行界面輸入爬取的參數(shù)，把參數(shù)信息記錄到txt文件中，運(yùn)行爬蟲程序后，先使用手機(jī)掃碼登陸，然后pc端網(wǎng)頁會(huì)自動(dòng)翻淘寶的網(wǎng)頁，知道翻到淘寶的最后一頁，就會(huì)停止對(duì)商品的爬取

web端功能：

1.下拉框選擇商品搜索

2.點(diǎn)擊圖片放大

3.點(diǎn)擊詳情，查看商品詳情

4.用餅圖查看交易量占比

運(yùn)行：

1.新建命令行記錄文件。命令行記錄文件是記錄爬蟲時(shí)，你輸入的商品名字和數(shù)據(jù)庫名字(具體位置是E:\a\cmd.txt) 2.pip安裝selenium，然后查看你的chrome版本，根據(jù)你的版本安裝webdriver.exe。具體教程： 3.啟動(dòng)爬蟲（商品名字是要在淘寶搜索的商品，數(shù)據(jù)庫名字是爬取的商品要存在哪個(gè)數(shù)據(jù)庫里面，數(shù)據(jù)庫名字最好是拼音或者英文） python crawl_taobao.py -k 商品名字 -d 數(shù)據(jù)庫名字 4.啟動(dòng)web: python runserver.py

運(yùn)行環(huán)境

python+pycharm

項(xiàng)目技術(shù)

python+selenium+mongodb+layui

數(shù)據(jù)庫文件

mongodb

依賴包文件

>pip install pyquery

>pip install pymongo

·進(jìn)入下載地址列表