[問題] selenium爬蟲新手問題

看板Python作者 (xyz6206a)時間9年前 (2016/05/05 09:30), 編輯推噓2(2015)
留言17則, 6人參與, 最新討論串1/1
各位前輩好, 小弟為python爬蟲新手,因為對python有點興趣 接下了系上老師的研究助理撰寫網路爬蟲 目前在學校想幫老師爬Factiva資料庫 但必須利用學校ip再利用學校圖書館連結進去 不過在跳轉過程中會不小心蹦出新的頁面 而且跳出後網址好像跳了好幾次 新手面對這狀況讓我非常困惑,不知道該如何是好 http://imgur.com/KUECSly
http://imgur.com/42OdNRD
附圖為我目前遇到的狀況 不知道板上前輩們有沒有什麼好方法解決? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.25.106 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1462411841.A.ABB.html

05/05 10:21, , 1F
標題好像跟內容無關,先說好我沒寫過selenium,不過你
05/05 10:21, 1F

05/05 10:22, , 2F
要先確定手動連線是正常的嗎,感覺上似乎跟自動化無
05/05 10:22, 2F

05/05 10:22, , 3F
關啊,單純連線上就有問題吧XD
05/05 10:22, 3F

05/05 13:50, , 4F
直接用request設proxy連進去呢?
05/05 13:50, 4F

05/05 22:05, , 5F
用 requests
05/05 22:05, 5F

05/06 00:31, , 6F
各位前輩因為我沒用過REQUEST是否有推薦的書籍呢?
05/06 00:31, 6F

05/06 01:38, , 7F
先不談 request ,你怎不直接到 Factiva 的頁面?
05/06 01:38, 7F

05/06 01:39, , 8F
為何要特意從圖書館的連結進去@@
05/06 01:39, 8F

05/06 01:48, , 9F
05/06 01:48, 9F

05/06 01:49, , 10F
把它直接放在你 driver.get('連結網址')
05/06 01:49, 10F

05/06 01:54, , 11F
我記得 selenium 會直接把轉跳完的頁面當作你請求的頁面
05/06 01:54, 11F

05/06 11:45, , 12F
requests網路上有官方的教學文件
05/06 11:45, 12F

05/06 16:50, , 13F
05/06 16:50, 13F

05/10 01:20, , 14F
回S大因為FACTIVA是學校資源,我沒法直接從他頁面登入@
05/10 01:20, 14F

05/10 05:43, , 15F
了解 但是圖書館連結到 CGI 讓你登入阿,只要是台大IP
05/10 05:43, 15F

05/10 05:44, , 16F
他CGI應該是以 reader 帳號登入,用 IP 做驗證
05/10 05:44, 16F

05/10 05:45, , 17F
只要你連著台大 VPN 或是直接用學校電腦應該可以直接登
05/10 05:45, 17F
文章代碼(AID): #1NAg91gx (Python)
文章代碼(AID): #1NAg91gx (Python)