CSDN学习社区

目录

• python爬虫curl

python爬虫curl

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# BY:wenchao.Li time: 2021/11/18

# curl工具：c写的一个命令
#   -A 设置user-agent curl -A "Chrome" http://www.baidu.com
#   -b 设置cookies，发起一个带cookies的http请求 curl -b a=test http://httpbin.org/cookies
#   -X 用指定方法请求，比如访问 http://httpbin.org/post这个网址，他是github上可以拉取到并且部署到我们本机的，只能用特定方法请求他，
#直接curl http://httpbin.org/post 会报错，但是指定请求类型就可以 curl -X POST http://httpbin.org/post
#   -I 只返回头信息，HEAD，  curl -I https://www.baidu.com
#   -d 以post方法请求，并发送相关参数，curl -d  test=123 http://httpbin.org/post 多个参数：curl -d "a=1&b=2&c=3" http://httpbin.org/post
#或者  curl -d a=1 -d b=2 -d c=3http://httpbin.org/post,也可以以文件方式请求，把 a=1&b=2&c=3写进/tmp/aaa.data  curl -d @/tmp/aaa.data  http://httpbin.org/post 也可以
#   -O 下载文件并以远程文件名保存 curl -O http://httpbin.org/image/jpeg
#   -o 小写，另存为另一个名字  curl -o aaa.jpeg http://httpbin.org/image/jpeg
#   -L 跟随重定向请求，curl -IL https://baidu.com
#   -H 设置头信息，webp是一种图片格式，是google定义，在不降低清晰图的情况下缩小图片。curl -o image.webp -H "accept:image/webp" http://httpbin.org/image
# curl -o image.png -H "accept:image/png" http://httpbin.org/image 就是请求这个网址，接受png合适的图片，并保存image.png
#   -k 跳过ssl验证，允许发起不安全的ssl请求比如curl -k https://www.12306.cn
#   -s 不显示其他无关信息，只显示ip

#http请求返回 301是永久重定向，302是临时重定向  403是被禁止，没有权限  401是未授权，需要登录


# 返回访问的状态码
# curl -m 5 -s -o /dev/null   -w %{http_code} https://www.baidu.com/