[徵求]數據爬蟲專家已刪文
目標是爬蟲Google Trends platform, 一個可以根據關鍵字下載搜尋量的平台
想要爬取數十個國家、上百個類別、約20年左右的逐日搜尋量數據
(數據量算是中型大小, 頂多數GB, 不是特別大)
想要爬取的數據如下面這個例子, 需要下載時間序列的趨勢數據, 平台已有提供下載csv檔
案的功能(需要重複大概幾萬次這樣的操作):
https://trends.google.com/trends/explore?cat=74&date=2022-01-22%202022-09-22&geo
=SG
雖然已有python package (pytrends)提供了非官方的下載管道, 但僅有針對關鍵字, 目前
沒有針對類別(category)搜尋量的功能
這是第一個想要解決的問題, 解決方法可以是改既有的pytrends或是從平台透過瀏覽器直接
下載
此外, 對於大量的數據下載, 平台也會偶爾擋住該IP, 這是另一個問題
這邊提供的報酬預算為一萬元, 如果有遇到其他特別的問題可以再往上談報酬
另外, 如果此案成功, 也會有基於此案的追加案
P.S. 我個人已經對此平台非常熟練, 上面提到的pytrends也相當熟悉, 可以以我過去的cod
e和經驗繼續往下做:
https://www.kaggle.com/....../googletrendsdownload/notebook
有興趣可以先看一下上面提供的Google Trends網址和code評估一下, 再來信續談細節
感謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.56.109.62 (新加坡)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1663834069.A.F91.html
※ 編輯: patrick0302 (119.56.96.152 新加坡), 09/23/2022 07:26:38
※ 編輯: patrick0302 (119.56.96.152 新加坡), 09/23/2022 07:27:45
DataScience 近期熱門文章
PTT數位生活區 即時熱門文章