[問題] 爬蟲下載影片 愈到權限問題

看板Python作者 (楚留香雞排)時間5年前 (2020/06/29 03:41), 5年前編輯推噓1(1019)
留言20則, 6人參與, 5年前最新討論串1/1
如題目 我在下載某公開課的影片 基本上網站原始碼就可以看到url了 格式.mp4清清楚楚 不過後面會用"?"來加上一串字符 當作辨認權限 ex: mp4.?e=1593381585&ri=1024&rs=85&h=d70001afb7cc65a247c2af14c1a242dc' 而小弟本人使用以下方法來下載影片 : import requests import shutil def download_file(url): local_filename = url.split('/')[-1] with requests.get(url, stream=True) as r: with open(local_filename, 'wb') as f: shutil.copyfileobj(r.raw, f) return local_filename 除非影片本身純粹是.mp4 否則加上?後一串似乎就無法requests 成為Invalid argument 想請問各位該如何解決? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.220.255.143 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1593373314.A.329.html

06/29 04:13, 5年前 , 1F
去觀察是不是需要攜帶header or cookie吧
06/29 04:13, 1F

06/29 14:19, 5年前 , 2F
我有加了 不是這個問題 主要是網站後面要加一串碼 但加
06/29 14:19, 2F

06/29 14:19, 5年前 , 3F
了不知道該怎麼下載
06/29 14:19, 3F

06/29 14:50, 5年前 , 4F
若只是純 url, 你開無痕瀏覽模式瀏覽器貼上去是否可下載
06/29 14:50, 4F

06/29 16:07, 5年前 , 5F

06/29 16:07, 5年前 , 6F
細節網頁裡有
06/29 16:07, 6F

06/29 16:13, 5年前 , 7F
工研院人工智慧課程推薦https://reurl.cc/4RDRaK
06/29 16:13, 7F

06/29 16:41, 5年前 , 8F
你requests url有query string他也會一起送,爬蟲要模仿
06/29 16:41, 8F

06/29 16:41, 5年前 , 9F
整個瀏覽器,先跟k大說的你用無痕看能不能載
06/29 16:41, 9F

06/29 16:45, 5年前 , 10F
你貼的function中requests也不是session 你試試看吧
06/29 16:45, 10F

06/29 17:31, 5年前 , 11F
和無 沒關係吧
06/29 17:31, 11F

06/29 17:32, 5年前 , 12F
無痕*
06/29 17:32, 12F
對的 跟那個沒關係xd 我發現是因為存檔名稱是非法字元 所以檔名用000來排列就沒問題了 謝謝各位 ※ 編輯: neiltsang (61.220.255.143 臺灣), 06/29/2020 21:32:04

06/30 03:46, 5年前 , 13F
用無痕可以快速排除是不是會檢查cookie
06/30 03:46, 13F

06/30 11:04, 5年前 , 14F
其實你用無痕貼上mp4 url就能知道是哪邊問題了
06/30 11:04, 14F

07/01 13:23, 5年前 , 15F
我看解釋是無痕會"自動移除"cookie,不是檢查.純討論非戰
07/01 13:23, 15F

07/01 16:46, 5年前 , 16F
像這個網址我看不出來有什麼不同
07/01 16:46, 16F

07/01 16:46, 5年前 , 17F

07/01 17:13, 5年前 , 18F
但你可以看到該url被拆解成不用成份
07/01 17:13, 18F

07/01 17:13, 5年前 , 19F

07/01 17:14, 5年前 , 20F
不*同成份
07/01 17:14, 20F
文章代碼(AID): #1U-FA2Cf (Python)
文章代碼(AID): #1U-FA2Cf (Python)