PTT數位生活區 / Ajax

[問題]利用jQuery抓取網頁原始碼

看板Ajax作者 (jian)時間16年前 (2009/05/29 22:33), 編輯推噓9(9推 0噓 30→)
留言39則, 7人參與, 最新討論串1/1
請問如何利用jQuery使client自己本身去抓取指定網頁的原始碼(例如指定去抓Yahoo) 然後再將抓到的原始碼存入伺服端PHP變數中！ 因為如果使用PHP的函數去抓取指定網頁的話！ 因為都是使用伺服端IP去抓，所以一定會被那個網站給封殺（鎖IP） 不過根據瞭解jQuery有辦法達到這個目的 所以想請教各位高手們！請問哪裡有我說的這種效果的範例？ 或是有高手可以指點指點小弟我的：） 整個功能就像是http://imgs.ck101.com/?wretch這個網站一樣 利用client作為白手套來抓取原始碼然後加以利用！ 有請高手指點：） -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 59.127.64.178
推
05/29 23:28, , 1F
你上面不是問過了 java-script不能cross-domain抓東西
05/29 23:28, 1F
→
05/29 23:29, , 2F
一個是你用php當跳板抓 另一個是你要抓的站有支援
05/29 23:29, 2F
→
05/29 23:30, , 3F
回傳json 你才能用jquery接
05/29 23:30, 3F
→
05/29 23:32, , 4F
我想到的 要cross-domain只有這兩種方法
05/29 23:32, 4F
推
05/30 00:58, , 5F
你給的網站是用後端抓的
05/30 00:58, 5F
→
05/30 04:16, , 6F
謝謝兩位大大的解答：）
05/30 04:16, 6F
→
05/30 04:17, , 7F
但是如果他們是用後端抓，那...怎麼可能不被無名封鎖呢？
05/30 04:17, 7F
推
05/30 10:59, , 8F
因為後端抓的原理 就跟使用者在看網頁的道裡一樣阿XD
05/30 10:59, 8F
→
05/30 11:10, , 9F
不解！可以麻煩解說的詳細點嗎：）
05/30 11:10, 9F
推
05/30 11:45, , 10F
客戶端在看網頁 看的還不是"按右鍵檢視原始碼"的那些字串處
05/30 11:45, 10F
→
05/30 11:45, , 11F
裡的結果 php用curl就可以做到
05/30 11:45, 11F
→
05/30 12:05, , 12F
我的主要用意是使用客戶端IP連結！否則瀏覽頻繁會被鎖IP：）
05/30 12:05, 12F
→
05/30 13:01, , 13F
那你還是寫一個Windows Form程式吧XD
05/30 13:01, 13F
→
05/30 13:02, , 14F
或者你在後端機器上頻繁的換proxy不就好了XDDDDDD
05/30 13:02, 14F
→
05/30 13:07, , 15F
這太麻煩了ＸＤ所以才想找這種方法！
05/30 13:07, 15F
推
05/30 13:09, , 16F
寫一個shell script叫他換不就好了（誤
05/30 13:09, 16F
推
05/30 13:32, , 17F
只有用程式在短時間內大量存取才會被拒絕服務
05/30 13:32, 17F
→
05/30 13:33, , 18F
等你碰到這問題才來解決不遲, 大可不必剛開始就用複雜的方法
05/30 13:33, 18F
→
05/30 13:33, , 19F
我的網頁設計用途上確實會有這個問題...（做大的話）Orz"
05/30 13:33, 19F
→
05/30 13:34, , 20F
實不相瞞！我程式我本身已經用PHP函數設計完了！
05/30 13:34, 20F
→
05/30 13:35, , 21F
可是最近都碰到伺服器被鎖IP所以才再找替代方式的ＸＤ
05/30 13:35, 21F
→
05/30 13:36, , 22F
所以簡單來說！問題我已經遇到了Orz"
05/30 13:36, 22F
推
05/30 14:55, , 23F
我寫這個自己有將它做成網頁cache XD
05/30 14:55, 23F
→
05/30 14:55, , 24F
只要不要太頻繁就好了
05/30 14:55, 24F
→
05/30 18:24, , 25F
我的難做cache，因為每次要取得的東西都不一樣！
05/30 18:24, 25F
推
05/30 22:02, , 26F
可不可以拉長你的存取時間？
05/30 22:02, 26F
→
05/31 00:13, , 27F
如果是上網尖峰時段我就無法避免了…
05/31 00:13, 27F
→
05/31 00:23, , 28F
那你需要的是多個proxy輪著用...
05/31 00:23, 28F
推
05/31 00:39, , 29F
如果你流量很大, 怎麼不乾脆找無名合作?
05/31 00:39, 29F
→
05/31 01:49, , 30F
找無名合作＝叫我找死　ＸＤ
05/31 01:49, 30F
→
05/31 01:50, , 31F
proxy我有想過！只是想看看有沒有更好的！目前應該沒希望了
05/31 01:50, 31F
→
05/31 02:16, , 32F
有考慮用tor來做嗎？ 方法越來越邪惡了 XD
05/31 02:16, 32F
→
05/31 02:18, , 33F
不過這東西叫使用者裝greasemonkey然後你放script應該也可以吧
05/31 02:18, 33F
→
05/31 10:54, , 34F
HAHA!我還是想找方便使用者使用的方法!
05/31 10:54, 34F
→
05/31 11:09, , 35F
對使用者本來就很方便啊，他們又看不到後端
05/31 11:09, 35F
→
05/31 11:10, , 36F
喔greasemonkey時在太不普及了XD
05/31 11:10, 36F
→
05/31 11:31, , 37F
其實我是在架某部落格的音樂語法產生器！我架設好一陣了！
05/31 11:31, 37F
→
05/31 11:32, , 38F
經常遇到被這個某部落格短暫鎖IP(999)
05/31 11:32, 38F
→
05/31 11:33, , 39F
以方便免安裝為原則,而且對象都是不懂語法的…
05/31 11:33, 39F
‣ 更多 jians 的文章
文章代碼(AID): #1A7_8h_f (Ajax)
Ajax 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 jians 的文章
文章代碼(AID): #1A7_8h_f (Ajax)