• 周四. 6 月 20th, 2024

    GO抓取网页设置自动Cookie

    root

    10 月 31, 2019 #网页抓取

    抓取网页的需求是非常普遍的,在PHP中设置curl_setopt的参数项指定一个cookie文件即可,那么在Golang中是怎么处理的呢

    下边列出一个简单的示例

    func Img() {
       var client http.Client
       jar, err := cookiejar.New(nil)
       if err != nil {
          panic(err)
       }
       client.Jar = jar
    
       for i:=0; i<=100; i++ {
          url := "https://xxx.xxxxx.com"
          resp, err := client.Get(url)
          if err != nil {
             panic(err)
          }
          bytes, err := ioutil.ReadAll(resp.Body)
          if err != nil {
             panic(err)
          }
          fmt.Printf("%s\n", bytes)
       }
    }

    root

    发表回复