PTT數位生活區 / Python

[問題] 檔案下載完畢後 才繼續

看板Python作者 (逢甲阿法)時間4年前 (2020/11/07 16:15), 編輯推噓9(9推 0噓 10→)
留言19則, 10人參與, 4年前最新討論串1/1
我現在用爬蟲去抓資料 可是有時候在下載還沒完成之前 他就又去重新找新的資料 然後就會少抓一筆資料 然後就會跳過一筆資料 害我的資料常常會有缺少 請問一下 selenium 有沒有 "檔案下載完成之後 再做接著的動作" 這種機制 謝謝 -- ◢███◣ 真是太令我興奮了，教授BOY~~ █████ █▉◥█◤ 覆蓋一張空白考卷在桌上 結束這學期 ██ ◤ \ ◤◤╲╰┤ ㊣ ｊｕｓｔｌａｓａｉ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.134.51.64 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1604736948.A.C96.html
推
11/07 17:41, 4年前 , 1F
加一個檢查檔案是否存在的機制？
11/07 17:41, 1F
→
11/07 18:00, 4年前 , 2F
可是 我下載的檔案都是隨機的亂碼 有辦法判別嗎？
11/07 18:00, 2F
→
11/07 18:02, 4年前 , 3F
而且其實都很小 他們下載很快 點了下載之後 因為他伺服器
11/07 18:02, 3F
→
11/07 18:02, 4年前 , 4F
端處理下載會有延遲 才會發生下載錯誤的問題...
11/07 18:02, 4F
推
11/07 18:06, 4年前 , 5F
已經知道延遲 不然就sleep一下？
11/07 18:06, 5F
→
11/07 18:27, 4年前 , 6F
設太短會沒用 設太長等很久...
11/07 18:27, 6F
→
11/07 18:30, 4年前 , 7F
我剛剛試了一下 大概200~300個檔案會跳一次 很討厭....
11/07 18:30, 7F
推
11/07 22:49, 4年前 , 8F
直接先判定好要下載哪些資料 在for 起來載勒？
11/07 22:49, 8F
→
11/07 22:52, 4年前 , 9F
time.sleep()
11/07 22:52, 9F
推
11/08 00:23, 4年前 , 10F
土炮一下，搜索下載資料夾檔案有沒有.tmp之類，下載
11/08 00:23, 10F
→
11/08 00:23, 4年前 , 11F
中檔案印象chrome會有不同副檔名
11/08 00:23, 11F
→
11/08 03:10, 4年前 , 12F
因為資料名稱是亂碼 沒辦法先放在for裡面給他跑
11/08 03:10, 12F
→
11/08 03:10, 4年前 , 13F
最後我還是給他sleep...雖然我覺得應該有方法才對...
11/08 03:10, 13F
推
11/08 09:11, 4年前 , 14F
11/08 09:11, 14F
推
11/08 09:14, 4年前 , 15F
感覺可以用以上chrome內建機制解
11/08 09:14, 15F
推
11/08 11:08, 4年前 , 16F
用 「檔案數量 」作判斷啊..
11/08 11:08, 16F
推
11/09 10:22, 4年前 , 17F
你有辦法下載檔案就會知道檔名吧？
11/09 10:22, 17F
推
11/10 09:14, 4年前 , 18F
檔案數量和 .temp 應該是合理解
11/10 09:14, 18F
→
11/11 11:53, 4年前 , 19F
我最後是去比對 如果沒有crdownload 就繼續抓這樣
11/11 11:53, 19F
‣ 更多 MAGICXX 的文章
文章代碼(AID): #1VfbUqoM (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 MAGICXX 的文章
文章代碼(AID): #1VfbUqoM (Python)