百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

常用linux命令:curl

liuian 2024-12-04 13:46 23 浏览

// 获取网页内容
// 不加任何选项使用 curl 时，默认会发送 GET 请求来获取内容到标准输出
$ curl http://www.baidu.com
// 输出
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>?2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a>  <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号  <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

// 显示 HTTP 头信息
// 使用 -i 选项，可以同时显示头和内容
$ curl -I http://www.baidu.com
// 输出
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
Connection: keep-alive
Content-Length: 277
Content-Type: text/html
Date: Thu, 08 Apr 2021 15:54:57 GMT
Etag: "575e1f60-115"
Last-Modified: Mon, 13 Jun 2016 02:50:08 GMT
Pragma: no-cache
Server: bfe/1.0.8.18

// 将链接保存到本地文件
$ curl http://www.baidu.com > baidu.txt

// 下载多个文件
// 使用 -o 或 -O 选项同时指定多个链接
$ curl -O http://www.baidu.com/page/1 -O http://www.baidu.com/page/2

// 使用 -A 自定义 User-Agent
// 使用 -A 来自定义用户代理，下面的命令将伪装成安卓火狐浏览器对网页进行请求
$ curl -A "Mozilla/5.0 (Android; Mobile; rv:35.0) Gecko/35.0 Firefox/35.0" http://www.baidu.com

// 使用 -H 自定义 header
$ curl -H "Referer: www.google.com" -H "User-Agent: Custom-User-Agent" http://www.baidu.com

// 使用 -c 保存 Cookie
// -c 后面跟上要保存的文件名
$ curl -c "baidu.txt" http://www.baidu.com

// 发送 POST 请求
// -d 用于指定发送的数据，-X 用于指定发送数据的方式
// 在使用 -d 的情况下，如果省略 -X，则默认为 POST 方式
$ curl -X POST http://www.baidu.com/login -d "userName=share&passwd=123456"

// 强制使用 GET 方式
$ curl -X GET http://www.baidu.com/login -d "xxx"

// 从文件中读取 data
$ curl -d "@data.txt" http://www.baidu.com/login

// 伪造referer(盗链)
// -e可以设定referer
$ curl -e "www.google.com" http://www.baidu.com/login

// 循环执行curl
$ while true; do curl -H 'User-Agent: Android10 HONOR CPU_ABI armeabi-v7a CPU_ABI2 armeabi HARDWARE kirin710 MODEL JSN-AL00a xinxin/2.0.20 sc(1f37600b9c07ceb5,kaluli)' -H 'v: 2.0.20' --compressed 'http://www.baidu.com/getImages?from=1&version=101'; done

// 常用参数汇总
-v, --verbose                          输出信息
-K, --config FILE                      指定配置文件
-L, --location                         跟踪重定向
-s, --silent                           Silent模式。不输出任务内容
-S, --show-error                       显示错误. 在选项 -s 中，当 curl 出现错误时将显示
-f, --fail                             不显示 连接失败时HTTP错误信息
-i, --include                          显示 response的header
-I, --head                             仅显示 响应文档头
-l, --list-only                        只列出FTP目录的名称
-#, --progress-bar                     以进度条 显示传输进度
-X, --request [GET|POST|PUT|DELETE|…]  使用指定的 http method 例如 -X POST
-H, --header <header>                  设定 request里的header 例如 -H "Content-Type: application/json"
-e, --referer                          设定 referer
-d, --data <data>                      设定 http body 默认使用 content-type application/x-www-form-urlencoded
    --data-raw <data>                  ASCII 编码 HTTP POST 数据
    --data-binary <data>               binary 编码 HTTP POST 数据
    --data-urlencode <data>            url 编码 HTTP POST 数据
-G, --get                              使用 HTTP GET 方法发送 -d 数据
-F, --form <name=string>               模拟 HTTP 表单数据提交 multipart POST
    --form-string <name=string>        模拟 HTTP 表单数据提交
-u, --user <user:password>             使用帐户，密码 例如 admin:password
-b, --cookie <data>                    cookie 文件
-j, --junk-session-cookies             读取文件中但忽略会话cookie
-A, --user-agent                       user-agent设置
-C, --continue-at OFFSET               断点续转
-x, --proxy [PROTOCOL://]HOST[:PORT]   在指定的端口上使用代理
-U, --proxy-user USER[:PASSWORD]       代理用户名及密码
-T, --upload-file <file>               上传文件
-a, --append                           添加要上传的文件 (F/SFTP)
-o, --output <file>                    将输出写入文件
-O, --remote-name                      将输出写入远程文件
-D, --dump-header <file>               将头信息写入指定的文件
-c, --cookie-jar <file>                操作结束后，要写入 Cookies 的文件位置

相关推荐

Docker 47 个常见故障的原因和解决方法

【作者】曹如熙，具有超过十年的互联网运维及五年以上团队管理经验，多年容器云的运维，尤其在Docker和kubernetes领域非常精通。Docker是一种相对使用较简单的容器，我们可以通过以下几种方式...

电脑30个快问快答，解决常见电脑问题

1.强行关机/停电对电脑有影响吗？答：可能损坏硬盘（机械硬盘风险高）、未保存数据丢失，偶尔一次影响小，但频繁操作会缩短硬件寿命。2.C盘满影响速度吗？答：会！系统运行需C盘空间缓存临时数据，空间不...

使用Tcpdump包抓取分析数据包的详细用法

TcpDump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。tcpdump就是一种...

电脑启动不了(BootDevice Not Found Hard Disk-3F0)解决方案

HP品牌机，开机启动不了，黑屏，开机取下主板电池恢复BIOS后，开机显示找不到启动盘。一、按F2键进入BIOS，出现硬盘内存检测界面的话，直接退出。就会出现这个界面，光标键向下，选择BIOSSetu...

电脑开机黑屏别慌!快码住!起底维修老师傅不能说的秘密

按下开机键却只收获黑屏大礼包？那些神秘的英文提示、刺耳的蜂鸣声，其实是电脑在给你发送求救信号！从按下电源到进入桌面的12秒里，你的电脑经历了史诗级的硬件自检与系统加载，今天我们就破译这段“摩斯电码”。...

电脑启动故障为何总要先看BIOS?新手必读的关键知识解析

最近在帮朋友们解答电脑无法正常开机的问题时，发现大家经常收到一句高频建议：“先检查BIOS”。对不少普通用户而言，BIOS依然是个神秘的存在。那么，BIOS到底是什么？电脑出现哪些故障会与它相关呢？本...

Windows 11 KB5053598更新:安全补丁还是系统噩梦?

2025年3月11日，微软发布了Windows1124H2的强制性更新KB5053598，作为“周二补丁日”（PatchTuesday）的一部分。然而，这款本应提升系统安全性的更新却引发了广泛的...

飞牛OS入门安装遇到问题，如何解决?

之前小编尝试了用旧电脑装飞牛OS安装之前特意查了一些硬件要求飞牛OS目前支持主流的x86架构硬件主机需能连网线飞牛OS暂时不支持只有无线网卡的安装貌似很多小伙伴在一开始安装就卡住了那今天咱们汇总分...

几种常见的电脑开机黑屏显示白色英文字母解决方法

当电脑开机出现黑屏并显示白色英文字母时，通常表示系统启动过程中遇到了错误。以下是几种常见原因及对应的解决方法，按照排查顺序整理：一、检查外接设备与硬件连接可能原因：外接U盘、移动硬盘等未拔出，或内部硬...

电脑启动出现问题，为什么都要先检查BIOS?

【ZOL中关村在线原创技巧应用】最近在回答问题的时候，总会发现很多朋友都在问“电脑无法正常开机怎么办？”这样类似的问题，而许多DIY大佬的回复总会出现一条高频建议“先检查BIOS”。但对于许多普通用户...

教你怎么用JavaScript检测当前浏览器是无头浏览器

什么是无头浏览器(headlessbrowser)？无头浏览器是指可以在图形界面情况下运行的浏览器。我可以通过编程来控制无头浏览器自动执行各种任务，比如做测试，给网页截屏等。为什么叫“无头”浏览器？...

12个高效的Python爬虫框架，你用过几个?

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实...

运维的报表之路，用 node.js 轻松发送 grafana 报表

在运维过程中，无论是监控还是报表，都会有一些通过邮件发送图表的需求，由于开源的zabbix，grafana和kibana等并不完全具有“想发送哪儿就发送哪儿”的图片生成功能，在grafana...

C#基于浏览器内核的高级爬虫（c#爬取网页内容）

基于C#.NET+PhantomJS+Sellenium的高级网络爬虫程序。可执行Javascript代码、触发各类事件、操纵页面Dom结构、甚至可以移除不喜欢的CSS样式。很多网站都用Ajax动态加...

如何优化一个秒杀项目?（秒杀实现思路）

问题1：使用jmeter性能压测，定位瓶颈代码步骤流程：线程组--->Http请求--->查看结果树--->聚合报告tips：host的文件--->优先调用映射，减少DNS的时...

一周热门
最近发表
标签列表