[問題] 寫Web Crawler遇到JavaScript解析問題

看板Ajax作者 (千野羽)時間10年前 (2014/12/18 19:13), 編輯推噓1(101)
留言2則, 2人參與, 最新討論串1/1
抱歉可能跟JavaScript沒有直接相關,但是還是上來跟各位請教一下 最近工作上需要開始學習使用Java來撰寫Web Crawler 主要是去parsing 影音網頁上的一些資訊 但是遇到下面這個網站 http://www.cbs.com/shows/amazing_race/video/ 我想要把Full Episodes --> 底下的每個影片的URL link都抓出來 然後再連結到各個link去,但是看了一下網頁原始碼, 影片的選單似乎是從JavaScript產生出來的 我嘗試用HtmlUnit去解析網頁後取得Link也無效 想請教有什麼方法可以取得Javascript動態產生的linkage 或者是其他工具可以達成解析URL link的目的? 目前想到是自己呼叫網頁的Javascript...但有點不知從何下手... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 69.181.159.126 ※ 文章網址: http://www.ptt.cc/bbs/Ajax/M.1418901182.A.D58.html

12/18 19:31, , 1F
phantomJS
12/18 19:31, 1F

12/19 18:12, , 2F
後來用Chrome找到Json來源的URL..已解決
12/19 18:12, 2F
文章代碼(AID): #1KahQ-rO (Ajax)
文章代碼(AID): #1KahQ-rO (Ajax)