百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

【0基础学爬虫】爬虫基础之抓包工具的使用

liuian 2025-07-10 16:41 3 浏览

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫,本期为抓包工具的使用。

抓包工具概述

抓包工具,顾名思义,就是抓取网络数据包信息的工具。抓包工具最初主要应用于测试工作中,通过抓包工具查看网络数据包,并进行分析,来定位数据传输中的问题。随着不断发展,抓包工具的功能不断拓展,在网络数据传输中能够将获取到的数据包进行重发、编辑、替换等操作。作为爬虫开发者,我们需要模拟用户的真实请求来获取数据,所以我们需要了解目标网站交互中的数据信息是如何传输的,以及详细的请求信息、传递信息、接收信息。因此掌握各抓包工具的使用是一项必备的技能。

常见抓包工具及工作原理

目前流行的抓包工具有很多,这里只介绍实际开发中最为常见的。 常见的抓包工具可以分为两种:

1、抓取应用层的HTTP/HTTPS协议包,通过中间人代理截取协议包,如:Fiddler,Charles。

以Fiddler为例,此类抓包工具通过代理某个端口,拦截经过该端口的通信协议,并对传输数据进行解析展示,使用也起来非常简单。对于HTTP请求,数据传输都是明文,抓包工具可以直接看到数据报文。但HTTPS请求在HTTP基础上多了一层SSL/TLS协议,在数据传输中采用了双向加密,对于传输中的数据包需要密钥来进行解密,因此抓包工具即使拦截到了数据包,也无法对数据进行解析。因此Fiddler、Charles在使用前需要安装证书。

2、抓取传输层的TCP/UDP协议,在网卡的链路层截取数据包,如:Wireshark。

F12开发者工具

F12开发者工具是在爬虫开发中最常使用到的工具,它可以被用来查看网页HTML元素、调试网页、抓包等。

以谷歌开发者工具为例,打开F12工具可以看到此界面。

工具顶部有一些功能选项,在实际开发中,我们会经常用到以下几种:

元素(Elements):用来查看、修改HTML元素,修改CSS属性,查看样式,监听事件等

控制台(console):记录异常信息,执行JS代码

源代码(Sources):查看网页源码、设置断点、本地替换、运行JS脚本

网络(Network):监听请求资源

本次主要介绍网络(Network)面板。

关于网络面板,我们需要知道一些基本的功能按钮。

从左到右有六个选项:

1. 录制按钮: 红色代表正在录制网络活动,会持续监听该网页的网络活动,灰色代表停止录制。

2. 清除按钮: 会将录制到的网络活动清除。

3. 过滤按钮: 可以筛选出URL中包含输入信息的请求,也可以选择根据请求类型进行筛选。

4. 搜索按钮: 可以搜索出包含输入信息的所有请求。

5. 保留日志: 勾选时,当页面重新加载时不会清空上一次加载时的请求信息,未勾选时页面重新加载时会自动清除上一次加载时的请求信息。建议勾选。

6. 停用缓存: 建议勾选。

使用F12抓包

使用开发者工具进行抓包十分简单,只需要进行简单的操作。

1、打开F12开发者工具。

2、打开目标网址。

即可完成抓包操作。

请求列表

请求列表里面包含了与网站交互中每个请求资源的信息。

点开任意资源,数据信息主要分为5种:

1. 常规信息: 常规信息中记录了请求网址、请求方法、请求状态码,通过常规信息可以了解请求是否成功。

2. 响应头信息: 响应头信息中记录了服务端响应的头信息。

3. 请求头信息: 请求头信息中记录了客户端发起请求时携带的头信息。

4. 载荷信息: 记录了请求时提交的数据。

5. 响应信息: 记录了服务端的响应信息。

F12开发者工具功能很强大,使用起来也非常便捷。但是也存在着很大的弊端:

  1. 容易被网站检测,网站可以检测用户是否打开了F12,干扰开发者接下来的调试。
  2. 数据自动清空,浏览器为了减少资源信息的缓存,当一个资源被二次请求时,第一次的响应信息将会被清空。

因此在爬虫开发中,会用到更为强大的抓包工具。

Fiddler的安装与使用

下载与安装

可以在 Fiddler官网 下载Fiddler经典版,下载时需要提交邮箱等资料。

安装过程很简单,这里就不做介绍。

证书安装

安装完成后在安装目录中找到fiddler.exe运行。 如上文所述,Fiddler在使用前需要安装证书,否则无法抓到HTTPS包。

安装方法:Tools->Options->HTTPS

勾选以上三个选项。点击Actions-Trust Root Certificate-Yes,信任证书。

导出证书到桌面,并打开谷歌浏览器-设置-安全-管理设备证书,将导出的证书导入到浏览器。

面板

Fiddler内置了许多强大的功能,这里只介绍基本用法与常用功能。

基本用法:

当我们需要对某个网站进行抓包时,只需要打开Fiddler工具,观察状态栏中的Capturing是否存在,存在则代表正在记录会话。选择All Processes捕获所有进程会话。打开网站后,Fiddler会自动的记录每条会话信息,会话列表中记录了Fiddler抓到的每条请求数据包,包含:

编号(按请求顺序编号)、HOST(请求主机名)、URL、Content-Type(响应数据类型)、Result(响应状态码)、Protocol(请求协议)、Body(字节数)、Caching(可缓存信息)、Process(发起请求的进程)、Comment(注释)、Custom(备注)。

请求信息栏和响应信息栏中记录了请求和响应时的详细信息。

功能:

AutoResponder(响应替换): 通常在逆向开发中,会遇到一些网站的加密算法代码是动态变化的或者经过了高度混淆,也可能在某段代码中对F12进行了检测,通过各种手段干扰我们对网站进行调试。遇到这种情况,我们就可以使用AutoResponder功能,AutoResponder可以拦截目标请求,将目标请求的响应内容进行修改。利用AutoResponder,我们可以将干扰我们调试的代码文件进行修改调整,方便之后的调试。

  1. 将想要修改的请求拖入AutoResponder中
  2. 勾选Enable rules -> Add Rule
  3. 点击Rule Editor框的第二栏,滑倒最下,选择Find a file,选择进行替换的文件
  4. Save 保存

保存完成后刷新就可以发现目标请求被替换了。

重发: 选中需要重发的请求,点击工具栏中的Replay即可。

模拟请求: 点击工具栏中的Composer,输入目标网址、请求头,选择请求方式,点击Execute即可发起一次模拟请求。

Charles的使用

Charles与Fiddler的功能大同小异,但是Fiddler经典版不支持mac,Charles支持全系统,所以Charles算是Fiddler在mac系统中的一个替代品。所以只做简单介绍。

下载与安装

在Charles官网 下载对应的版本进行安装。

配置

安装证书:进入Charles界面,点击Help -> SLL Proxying -> Install Charles Root Certificate -> 安装证书 -> 本地计算机 -> 放入受信任的根证书颁发机构存储 -> 完成

设置SSL代理:Proxy -> Proxy Settings -> 勾选如下选项

Proxy -> SSL Proxying Settings

使用

Charles抓包方式与Fiddler一致,打开目标网站Charles会自动抓取请求,点击Stop Recording可以停止抓包。

面板

Charles面板与Fiddler有些区别,可以看到抓到的数据也详细一些。Charles有两种界面模式,可以选择Sequence,与Fildder比较接近。

功能

Filter 根据关键字筛选请求

重发 选择请求,点击上方Repeat selected requests进行重发

响应替换 效果与Fildder的AutoResponder一致,右键需要进行响应替换的请求,选择Map Local,在Local path中选择替换的文件即可。

结语

上文中讲到了F12开发者工具、Fiddler、Charles这三款工具,正常爬虫工作中一些抓包需求这三款工具都能很好的解决,但随着爬虫的不断发展,反爬虫措施也不断增加。如近年来TLS指纹检测逐渐被应用到反爬虫中,在服务端与客户端建立连接时就可以检测到客户端是否是爬虫程序。通过Fiddler、Charlse这类抓包工具无法看到在建立TCP连接时传输了哪些信息,无法得知服务端是否可能检测了TLS指纹信息,因此需要用到如Wireshark等更为强大的抓包工具,所以爬虫开发者在提升自身水平的同时也需要掌握更为强大的工具,才能更好的解决问题。

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...