PTT數位生活區 / C_Sharp (C#)

[問題] 網路爬蟲 八卦版

看板C_Sharp (C#)作者 (十八尖山內馬爾)時間7年前 (2018/04/25 15:57), 7年前編輯推噓5(5推 0噓 21→)
留言26則, 5人參與, 7年前最新討論串1/2 (看更多)
這個問題困擾我一段時間 因為網路上都是python或java的教學 想請問用C# console專案來爬蟲的問題 目前只要爬到八卦板或是西斯板之類的 像是我要求看這個網頁： https://www.ptt.cc/bbs/Gossiping/M.1234567890.A.D55.html 回傳卻是這個： https://www.ptt.cc/ask/over18 在思考要怎麼把自己已滿18歲認證的˙Cookies一起送給伺服器 亂試很多class： System.Net.Cookie、HttpWebRequest、WebRequest... 結果都不行 因為其實我也不懂原理 請問有板友可以教學嗎？非常感激！ ----- Sent from JPTT on my Xiaomi Redmi Note 4. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.131.73 ※ 文章網址: https://www.ptt.cc/bbs/C_Sharp/M.1524643031.A.ED6.html ※ 編輯: l8PeakNeymar (180.217.131.73), 04/25/2018 15:58:43
推
04/25 16:09, 7年前 , 1F
over18 設成 1 呢?
04/25 16:09, 1F
→
04/25 16:10, 7年前 , 2F
有在Python教學看到這行 可是我是很基礎的不懂QQ
04/25 16:10, 2F
→
04/25 18:08, 7年前 , 3F
不要用C#寫爬蟲 cookie跟session會搞到煩死
04/25 18:08, 3F
→
04/25 18:08, 7年前 , 4F
有個叫RestSharp的lib 不知道有沒有支援cookie了
04/25 18:08, 4F
→
04/25 18:08, 7年前 , 5F
你可以研究看看
04/25 18:08, 5F
推
04/25 19:07, 7年前 , 6F
用c#寫爬蟲不會有問題啊？cookie與seesion對client來
04/25 19:07, 6F
→
04/25 19:07, 7年前 , 7F
說都是cookie，會有問題表示cookie的處理不熟悉吧？
04/25 19:07, 7F
→
04/25 19:08, 7年前 , 8F
我猜樓主是domain問題
04/25 19:08, 8F
→
04/25 20:01, 7年前 , 9F
我寫C#但是沒碰過網頁 如果有範例願意5000P酬謝
04/25 20:01, 9F
→
04/25 22:48, 7年前 , 10F
500P請直接轉給我XDDD
04/25 22:48, 10F
→
04/26 01:20, 7年前 , 11F
C#遇到cookie麻煩的點在要把cookie用變數存起來
04/26 01:20, 11F
→
04/26 01:20, 7年前 , 12F
每次的request都要取需要的cookie
04/26 01:20, 12F
→
04/26 01:20, 7年前 , 13F
可以看看我寫的伊莉爬蟲https://goo.gl/U7SgHk
04/26 01:20, 13F
→
04/26 01:21, 7年前 , 14F
現在可能有比較方便的套件 或是我當時的寫法比較不成熟
04/26 01:21, 14F
→
04/26 01:21, 7年前 , 15F
不知道有沒有更好的處理方式
04/26 01:21, 15F
推
04/26 01:29, 7年前 , 16F
現在才看到有P幣XD 那我講解一下好了 32行宣告一個
04/26 01:29, 16F
→
04/26 01:29, 7年前 , 17F
HttpWebRequest 39行將CookieContainer初始化
04/26 01:29, 17F
→
04/26 01:30, 7年前 , 18F
42~44行 將同意瀏覽18禁的cookie加到CookieContainer
04/26 01:30, 18F
→
04/26 01:30, 7年前 , 19F
48~61行 組出一個post請求 64行取得回傳結果
04/26 01:30, 19F
推
04/26 07:58, 7年前 , 20F
我從你給的原始碼來看，因為你每次都是new新的request
04/26 07:58, 20F
→
04/26 07:58, 7年前 , 21F
物件，當然要用cookie要重設定
04/26 07:58, 21F
→
04/26 08:26, 7年前 , 22F
原來如此 找時間來測一下
04/26 08:26, 22F
推
04/26 08:28, 7年前 , 23F
已收到原po紅包 謝謝
04/26 08:28, 23F
→
04/26 08:41, 7年前 , 24F
f大 我有個問題 如果要向不同url發請求 要怎麼用同一個
04/26 08:41, 24F
→
04/26 08:42, 7年前 , 25F
HttpWebRequest物件呢
04/26 08:42, 25F
→
04/26 08:44, 7年前 , 26F
剛google到的範例 比較簡潔的寫法https://goo.gl/uKXWt4
04/26 08:44, 26F
‣ 更多 l8PeakNeymar 的文章
文章代碼(AID): #1Qu3JNxM (C_Sharp)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共2篇)
C_Sharp 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 l8PeakNeymar 的文章
文章代碼(AID): #1Qu3JNxM (C_Sharp)