[問題] 請問關於抓網頁的語法
請問 我想從google搜尋引擎找出所輸入的關鍵字後 所出現的各頁面的連結
目前做到在google上 自動輸入某關鍵字 如:「台灣」
但找出來的資料量非常多,一定也有分成好多頁
所以 我就將下面分頁的連結全部存起來
再打算利用程式一頁一頁去抓每一個相關的網頁連結
但現在遇到一個問題 搜尋「台灣」後
我找了下面第二頁的連結,如下
http://www.google.com.tw/search?q=%E5%8F%B0%E7%81%A3&complete=1&hl=zh-TW&inlang=zh-TW&start=10&sa=N
縮網址是 http://0rz.tw/a93cK
要利用 get "網址" 這個語法 抓取這一頁上的連結時
卻沒辦法
是不是get語法只能用在固定的網址中
如 http://www.pchome.com.tw 或http://xxxx/index.htm
經過編譯過的符號 會沒辦法判斷出來
請問各位高手們
遇到這種問題應該如何解決呢
有沒有別的語法可以支援呢
感謝~~ orz
程式碼如下:
#! /usr/bin/perl
#--------------------------------------
use LWP::Simple;
use HTML::Parse;
use HTML::Element;
use URI::URL;
use DBI;
use WWW::Mechanize;
$http="http://www.google.com/search?q=%E5%8F%B0%E7%81%A3&hl=zh-TW&lr=&start=10&sa=N";
$htm = get $http;
print $htm;
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 163.25.10.198
※ 編輯: senhuo 來自: 163.25.10.198 (10/23 22:08)
※ 編輯: senhuo 來自: 163.25.10.198 (10/23 23:40)
討論串 (同標題文章)
以下文章回應了本文 (最舊先):
完整討論串 (本文為第 1 之 3 篇):
Perl 近期熱門文章
PTT數位生活區 即時熱門文章