百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

常用linux命令:curl

liuian 2024-12-04 13:46 25 浏览

// 获取网页内容
// 不加任何选项使用 curl 时，默认会发送 GET 请求来获取内容到标准输出
$ curl http://www.baidu.com
// 输出
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>?2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a>  <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号  <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

// 显示 HTTP 头信息
// 使用 -i 选项，可以同时显示头和内容
$ curl -I http://www.baidu.com
// 输出
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: keep-alive
Content-Length: 277
Content-Type: text/html
Date: Thu, 08 Apr 2021 15:54:57 GMT
Etag: "575e1f60-115"
Last-Modified: Mon, 13 Jun 2016 02:50:08 GMT
Pragma: no-cache
Server: bfe/1.0.8.18

// 将链接保存到本地文件
$ curl http://www.baidu.com > baidu.txt

// 下载多个文件
// 使用 -o 或 -O 选项同时指定多个链接
$ curl -O http://www.baidu.com/page/1 -O http://www.baidu.com/page/2

// 使用 -A 自定义 User-Agent
// 使用 -A 来自定义用户代理，下面的命令将伪装成安卓火狐浏览器对网页进行请求
$ curl -A "Mozilla/5.0 (Android; Mobile; rv:35.0) Gecko/35.0 Firefox/35.0" http://www.baidu.com

// 使用 -H 自定义 header
$ curl -H "Referer: www.google.com" -H "User-Agent: Custom-User-Agent" http://www.baidu.com

// 使用 -c 保存 Cookie
// -c 后面跟上要保存的文件名
$ curl -c "baidu.txt" http://www.baidu.com

// 发送 POST 请求
// -d 用于指定发送的数据，-X 用于指定发送数据的方式
// 在使用 -d 的情况下，如果省略 -X，则默认为 POST 方式
$ curl -X POST http://www.baidu.com/login -d "userName=share&passwd=123456"

// 强制使用 GET 方式
$ curl -X GET http://www.baidu.com/login -d "xxx"

// 从文件中读取 data
$ curl -d "@data.txt" http://www.baidu.com/login

// 伪造referer(盗链)
// -e可以设定referer
$ curl -e "www.google.com" http://www.baidu.com/login

// 循环执行curl
$ while true; do curl -H 'User-Agent: Android10 HONOR CPU_ABI armeabi-v7a CPU_ABI2 armeabi HARDWARE kirin710 MODEL JSN-AL00a xinxin/2.0.20 sc(1f37600b9c07ceb5,kaluli)' -H 'v: 2.0.20' --compressed 'http://www.baidu.com/getImages?from=1&version=101'; done

// 常用参数汇总
-v, --verbose                          输出信息
-K, --config FILE                      指定配置文件
-L, --location                         跟踪重定向
-s, --silent                           Silent模式。不输出任务内容
-S, --show-error                       显示错误. 在选项 -s 中，当 curl 出现错误时将显示
-f, --fail                             不显示 连接失败时HTTP错误信息
-i, --include                          显示 response的header
-I, --head                             仅显示 响应文档头
-l, --list-only                        只列出FTP目录的名称
-#, --progress-bar                     以进度条 显示传输进度
-X, --request [GET|POST|PUT|DELETE|…]  使用指定的 http method 例如 -X POST
-H, --header <header>                  设定 request里的header 例如 -H "Content-Type: application/json"
-e, --referer                          设定 referer
-d, --data <data>                      设定 http body 默认使用 content-type application/x-www-form-urlencoded
    --data-raw <data>                  ASCII 编码 HTTP POST 数据
    --data-binary <data>               binary 编码 HTTP POST 数据
    --data-urlencode <data>            url 编码 HTTP POST 数据
-G, --get                              使用 HTTP GET 方法发送 -d 数据
-F, --form <name=string>               模拟 HTTP 表单数据提交 multipart POST
    --form-string <name=string>        模拟 HTTP 表单数据提交
-u, --user <user:password>             使用帐户，密码 例如 admin:password
-b, --cookie <data>                    cookie 文件
-j, --junk-session-cookies             读取文件中但忽略会话cookie
-A, --user-agent                       user-agent设置
-C, --continue-at OFFSET               断点续转
-x, --proxy [PROTOCOL://]HOST[:PORT]   在指定的端口上使用代理
-U, --proxy-user USER[:PASSWORD]       代理用户名及密码
-T, --upload-file <file>               上传文件
-a, --append                           添加要上传的文件 (F/SFTP)
-o, --output <file>                    将输出写入文件
-O, --remote-name                      将输出写入远程文件
-D, --dump-header <file>               将头信息写入指定的文件
-c, --cookie-jar <file>                操作结束后，要写入 Cookies 的文件位置

相关推荐

MySQL合集-mysql5.7及mysql8的一些特性

1、Json支持及虚拟列1.1jsonJson在5.7.8原生支持，在8.0引入了json字段的部分更新（jsonpartialupdate）以及两个聚合函数，JSON_OBJECTAGG，JS...

MySQL 双表架构在房产中介房源管理中的深度实践

MySQL房源与价格双表封神：降价提醒实时推送客户房产中介实战：MySQL空间函数精准定位学区房MySQL狠招：JSON字段实现房源标签自由组合筛选房源信息与价格变更联动：MySQL黄金搭档解决客户看...

MySQL 5.7 JSON 数据类型使用总结

从MySQL5.7.8开始，MySQL支持原生的JSON数据类型。MySQL支持RFC7159定义的全部json数据类型，具体的包含四种基本类型（strings,numbers,boolea...

MySQL 8.0 SQL优化黑科技，面试官都不一定知道!

前言提到SQL优化，大多数人想到的还是那些经典套路：建索引、避免全表扫描、优化JOIN顺序…这些确实是基础，但如果你还停留在MySQL5.7时代的优化思维，那就out了。MySQL8.0已经发布好...

如何在 MySQL 中使用 JSON 数据（mysql的json函数与实例）

在MySQL中学习“NoSQL”MySQL从5.7版本开始就支持JSON格式的数据类型，该数据类型支持JSON文档的自动验证和优化存储和访问。尽管JSON数据最好存储在MongoDB等...

MySQL中JSON的存储原理（mysql中json字段操作）

前言：表中有json字段后，非索引查询性能变得非常糟糕起因是我有一张表，里面有json字段后，而当mysql表中有200w数据的时候，走非索引查询性能变得非常糟糕需要3到5s。因此对mysql的jso...

mysql 之json字段详解(多层复杂检索)

MySQL5.7.8开始支持JSON数据类型。MySQL8.0版本中增加了对JSON类型的索引支持。示例表CREATETABLE`users`(`id`intNOTNULLAU...

VMware vCenter Server 8.0U3b 发布下载，新增功能概览

VMwarevCenterServer8.0U3b发布下载，新增功能概览ServerManagementSoftware|vCenter请访问原文链接：https://sysin.or...

Spring Boot 3.x 新特性详解:从基础到高级实战

1.SpringBoot3.x简介与核心特性1.1SpringBoot3.x新特性概览SpringBoot3.x是建立在SpringFramework6.0基础上的重大版...

如何设计Agent的记忆系统（agent记忆方法）

最近看了一张画Agent记忆分类的图我觉得分类分的还可以，但是太浅了，于是就着它的逻辑，仔细得写了一下在不同的记忆层，该如何设计和选型先从流程，作用，实力和持续时间的这4个维度来解释一下这几种记忆：1...

Spring Boot整合MyBatis全面指南:从基础到高级应用(全网最全)

一、基础概念与配置1.1SpringBoot与MyBatis简介技术描述优点SpringBoot简化Spring应用开发的框架，提供自动配置、快速启动等特性快速开发、内嵌服务器、自动配置、无需X...

5大主流方案对比:MySQL千亿级数据线上平滑扩容实战

一、扩容方案剖析1、扩容问题在项目初期，我们部署了三个数据库A、B、C，此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配，我们在Service服务层使用uid%3进行取模分片，从而将数据...

PostgreSQL 技术内幕(五)Greenplum-Interconnect模块

Greenplum是在开源PostgreSQL的基础上，采用MPP架构的关系型分布式数据库。Greenplum被业界认为是最快最具性价比的数据库，具有强大的大规模数据分析任务处理能力。Greenplu...

在实际操作过程中如何避免出现SQL注入漏洞

一前言本文将针对开发过程中依旧经常出现的SQL编码缺陷，讲解其背后原理及形成原因。并以几个常见漏洞存在形式，提醒技术同学注意相关问题。最后会根据原理，提供解决或缓解方案。二SQL注入漏洞的原理、形...

运维从头到尾安装日志服务器，看这一篇就够了

一、rsyslog部署1.1）rsyslog介绍Linux的日志记录了用户在系统上一切操作，看日志去分析系统的状态是运维人员必须掌握的基本功。rsyslog日志服务器的优势：1、日志统一，集中式管理...

一周热门
最近发表
标签列表