[問題] 寫Web Crawler遇到JavaScript解析問題
抱歉可能跟JavaScript沒有直接相關,但是還是上來跟各位請教一下
最近工作上需要開始學習使用Java來撰寫Web Crawler
主要是去parsing 影音網頁上的一些資訊
但是遇到下面這個網站 http://www.cbs.com/shows/amazing_race/video/
我想要把Full Episodes --> 底下的每個影片的URL link都抓出來
然後再連結到各個link去,但是看了一下網頁原始碼,
影片的選單似乎是從JavaScript產生出來的
我嘗試用HtmlUnit去解析網頁後取得Link也無效
想請教有什麼方法可以取得Javascript動態產生的linkage
或者是其他工具可以達成解析URL link的目的?
目前想到是自己呼叫網頁的Javascript...但有點不知從何下手...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 69.181.159.126
※ 文章網址: http://www.ptt.cc/bbs/Ajax/M.1418901182.A.D58.html
推
12/18 19:31, , 1F
12/18 19:31, 1F
→
12/19 18:12, , 2F
12/19 18:12, 2F
Ajax 近期熱門文章
PTT數位生活區 即時熱門文章