［徵求］數據爬蟲專家已刪文

看板DataScience作者patrick0302 (青平飛)時間1年前 (2022/09/22 16:07)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

目標是爬蟲Google Trends platform, 一個可以根據關鍵字下載搜尋量的平台想要爬取數十個國家、上百個類別、約20年左右的逐日搜尋量數據 (數據量算是中型大小, 頂多數GB, 不是特別大) 想要爬取的數據如下面這個例子, 需要下載時間序列的趨勢數據, 平台已有提供下載csv檔案的功能(需要重複大概幾萬次這樣的操作): https://trends.google.com/trends/explore?cat=74&date=2022-01-22%202022-09-22&geo =SG 雖然已有python package (pytrends)提供了非官方的下載管道, 但僅有針對關鍵字, 目前沒有針對類別(category)搜尋量的功能這是第一個想要解決的問題, 解決方法可以是改既有的pytrends或是從平台透過瀏覽器直接下載此外, 對於大量的數據下載, 平台也會偶爾擋住該IP, 這是另一個問題這邊提供的報酬預算為一萬元, 如果有遇到其他特別的問題可以再往上談報酬另外, 如果此案成功, 也會有基於此案的追加案 P.S. 我個人已經對此平台非常熟練, 上面提到的pytrends也相當熟悉, 可以以我過去的cod e和經驗繼續往下做: https://www.kaggle.com/....../googletrendsdownload/notebook 有興趣可以先看一下上面提供的Google Trends網址和code評估一下, 再來信續談細節感謝！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.56.109.62 (新加坡) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1663834069.A.F91.html ※ 編輯: patrick0302 (119.56.96.152 新加坡), 09/23/2022 07:26:38 ※ 編輯: patrick0302 (119.56.96.152 新加坡), 09/23/2022 07:27:45