常用linux命令:curl

liuian 2024-12-04 13:46 52 浏览

// 获取网页内容
// 不加任何选项使用 curl 时，默认会发送 GET 请求来获取内容到标准输出
$ curl http://www.baidu.com
// 输出
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>?2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a>  <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号  <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

// 显示 HTTP 头信息
// 使用 -i 选项，可以同时显示头和内容
$ curl -I http://www.baidu.com
// 输出
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: keep-alive
Content-Length: 277
Content-Type: text/html
Date: Thu, 08 Apr 2021 15:54:57 GMT
Etag: "575e1f60-115"
Last-Modified: Mon, 13 Jun 2016 02:50:08 GMT
Pragma: no-cache
Server: bfe/1.0.8.18

// 将链接保存到本地文件
$ curl http://www.baidu.com > baidu.txt

// 下载多个文件
// 使用 -o 或 -O 选项同时指定多个链接
$ curl -O http://www.baidu.com/page/1 -O http://www.baidu.com/page/2

// 使用 -A 自定义 User-Agent
// 使用 -A 来自定义用户代理，下面的命令将伪装成安卓火狐浏览器对网页进行请求
$ curl -A "Mozilla/5.0 (Android; Mobile; rv:35.0) Gecko/35.0 Firefox/35.0" http://www.baidu.com

// 使用 -H 自定义 header
$ curl -H "Referer: www.google.com" -H "User-Agent: Custom-User-Agent" http://www.baidu.com

// 使用 -c 保存 Cookie
// -c 后面跟上要保存的文件名
$ curl -c "baidu.txt" http://www.baidu.com

// 发送 POST 请求
// -d 用于指定发送的数据，-X 用于指定发送数据的方式
// 在使用 -d 的情况下，如果省略 -X，则默认为 POST 方式
$ curl -X POST http://www.baidu.com/login -d "userName=share&passwd=123456"

// 强制使用 GET 方式
$ curl -X GET http://www.baidu.com/login -d "xxx"

// 从文件中读取 data
$ curl -d "@data.txt" http://www.baidu.com/login

// 伪造referer(盗链)
// -e可以设定referer
$ curl -e "www.google.com" http://www.baidu.com/login

// 循环执行curl
$ while true; do curl -H 'User-Agent: Android10 HONOR CPU_ABI armeabi-v7a CPU_ABI2 armeabi HARDWARE kirin710 MODEL JSN-AL00a xinxin/2.0.20 sc(1f37600b9c07ceb5,kaluli)' -H 'v: 2.0.20' --compressed 'http://www.baidu.com/getImages?from=1&version=101'; done

// 常用参数汇总
-v, --verbose                          输出信息
-K, --config FILE                      指定配置文件
-L, --location                         跟踪重定向
-s, --silent                           Silent模式。不输出任务内容
-S, --show-error                       显示错误. 在选项 -s 中，当 curl 出现错误时将显示
-f, --fail                             不显示 连接失败时HTTP错误信息
-i, --include                          显示 response的header
-I, --head                             仅显示 响应文档头
-l, --list-only                        只列出FTP目录的名称
-#, --progress-bar                     以进度条 显示传输进度
-X, --request [GET|POST|PUT|DELETE|…]  使用指定的 http method 例如 -X POST
-H, --header <header>                  设定 request里的header 例如 -H "Content-Type: application/json"
-e, --referer                          设定 referer
-d, --data <data>                      设定 http body 默认使用 content-type application/x-www-form-urlencoded
    --data-raw <data>                  ASCII 编码 HTTP POST 数据
    --data-binary <data>               binary 编码 HTTP POST 数据
    --data-urlencode <data>            url 编码 HTTP POST 数据
-G, --get                              使用 HTTP GET 方法发送 -d 数据
-F, --form <name=string>               模拟 HTTP 表单数据提交 multipart POST
    --form-string <name=string>        模拟 HTTP 表单数据提交
-u, --user <user:password>             使用帐户，密码 例如 admin:password
-b, --cookie <data>                    cookie 文件
-j, --junk-session-cookies             读取文件中但忽略会话cookie
-A, --user-agent                       user-agent设置
-C, --continue-at OFFSET               断点续转
-x, --proxy [PROTOCOL://]HOST[:PORT]   在指定的端口上使用代理
-U, --proxy-user USER[:PASSWORD]       代理用户名及密码
-T, --upload-file <file>               上传文件
-a, --append                           添加要上传的文件 (F/SFTP)
-o, --output <file>                    将输出写入文件
-O, --remote-name                      将输出写入远程文件
-D, --dump-header <file>               将头信息写入指定的文件
-c, --cookie-jar <file>                操作结束后，要写入 Cookies 的文件位置

meta content