百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

第42天，我终于意识到，爬虫这条路，真的好艰难

liuian 2025-07-03 17:05 3 浏览

昨天说到学爬虫的最初四行代码，第四行中的 print(res.text)，我没太懂。

为啥最后的输出的结果，不是显示百度网页全部的源代码呢？

这个世界上永远不缺好心人。

评论区的大神告诉我：

因为只包含静态html的内容。其他动态加载的内容是获取不到的。

至于啥是动态html、啥是动态加载的内容，这几个字单独拿出来我认识，连在一起嘛。。。呵呵

后面还有个老哥，提到了 selenium。

我查了一下，也是一个模块，而且貌似后面深入学习的话，肯定是要用到的。

昨天群里老哥也提醒我，requests只是第一步，后面解析信息还要用到 re，bs4，xpath 等等。

爬虫这条路，真是很漫长啊。

还是先继续深挖 requests 吧。

沿着 text 的思路走，又找到了一个关于 text 和 content 区别的文章。

结论是：

resp.text返回的是Unicode型的数据。

resp.content返回的是bytes型也就是二进制的数据。

试着运行了一下，感觉没啥区别。

啥是静态html呢？

度娘告诉我：

静态HTML指的是使用单纯的HTML或者结合CSS制作的包括图片、文字等的只供用户浏览但不包含任何脚本、不含有任何交互功能的网页！

动态的HTML指的是网页不仅提供给用户浏览，网页本身还有交互功能，存在着在脚本如JAVASCRIPT，并利用某种服务器端语言如PHP等实现如用户注册，用户登录，上传文件，下载文件等功能

我简单理解一下：前者就是一个不需要登录的纯文字、图片类浏览的网页；而后者就是贴吧之类需要登录、可以发帖的网页呗。

今天电脑出了点问题，折腾了好久，然后他么重装系统了。

于是所有软件包括Python、pycharm以及requests什么的，全都重新装了一遍，心里烦是一方面，关键是浪费了不少时间。

所以确实也就没啥时间学会爬虫了。

如你们所见，这篇文章，我水了。。。

最后，让我老婆代我跟大家赔个不是吧。

相关推荐

软件测试/测试开发丨Pytest 自动化测试框架(五)

公众号搜索：TestingStudio霍格沃兹测试开发的干货都很硬核测试报告在项目中是至关重要的角色，一个好的测试报告：可以体现测试人员的工作量；开发人员可以从测试报告中了解缺陷的情况；测试经理可以...

python爬虫实战之Headers信息校验-Cookie

一、什么是cookie上期我们了解了User-Agent，这期我们来看下如何利用Cookie进行用户模拟登录从而进行网站数据的爬取。首先让我们来了解下什么是Cookie：Cookie指某些网站为了辨别...

软件测试 | 结合Allure生成测试报告

简介测试报告在项目至关重要，测试人员可以在测试报告中体现自己的工作量，开发人员可以从测试报告中了解缺陷的情况，测试经理可以从测试报告中看到测试人员的执行情况及测试用例的覆盖率，项目负责人可以通过测...

使用FUSE挖掘文件上传漏洞（文件上传漏洞工具）

关于FUSEFUSE是一款功能强大的渗透测试安全工具，可以帮助广大研究人员在最短的时间内迅速寻找出目标软件系统中存在的文件上传漏洞。FUSE本质上是一个渗透测试系统，主要功能就是识别无限制可执行文件上...

第42天，我终于意识到，爬虫这条路，真的好艰难

昨天说到学爬虫的最初四行代码，第四行中的print(res.text)，我没太懂。为啥最后的输出的结果，不是显示百度网页全部的源代码呢？这个世界上永远不缺好心人。评论区的大神告诉我：因为只包含静态h...

详解Pytest单元测试框架，轻松搞定自动化测试实战

pytest是目前企业里面使用最多、最流行的Python的单元测试框架，那我们今天就使用这个框架来完成一个网易163邮箱登录的自动化实战案例。下面我们先把我们案例需要的工具进行相关的介绍:01pyt...

干货|Python大佬手把手带你破解哔哩哔哩网滑动验证(上篇)

/1前言/有爬虫经验的各位小伙伴都知道，正常我们需要登录才能获取信息的网站，是比较难爬的。原因就是在于，现在各大网站为了反爬，与爬虫机制斗智斗勇，一般的都加入了图片验证码、滑动验证码之类的干扰，让...

Python 爬虫-如何抓取需要登录的网页

本文是Python爬虫系列第四篇，前三篇快速入口：Python爬虫-开启数据世界的钥匙Python爬虫-HTTP协议和网页基础Python爬虫-使用requests和B...

使用Selenium实现微博爬虫:预登录、展开全文、翻页

前言想实现爬微博的自由吗？这里可以实现了！本文可以解决微博预登录、识别“展开全文”并爬取完整数据、翻页设置等问题。一、区分动态爬虫和静态爬虫1、静态网页静态网页是纯粹的HTML，没有后台数据库，不含程...

从零开始学Python——使用Selenium抓取动态网页数据

1.selenium抓取动态网页数据基础介绍1.1什么是AJAX　　AJAX（AsynchronouseJavaScriptAndXML：异步JavaScript和XML）通过在后台与服务器进...

PHP自动测试框架Top 10（php单元测试工具）

对于很多PHP开发新手来说，测试自己编写的代码是一个非常棘手的问题。如果出现问题，他们将不知道下一步该怎么做。花费很长的时间调试PHP代码是一个非常不明智的选择，最好的方法就是在编写应用程序代码之前就...

10款最佳PHP自动化测试框架（php 自动化测试）

为什么测试如此重要？PHP开发新手往往不会测试自己编写的代码，我们中的大多数通过不断测试我们刚刚所编写浏览器窗口的新特性和功能来进行检测，但是当事情出现错误的时候我们往往不知道应该做些什么。为我们的代...

自动化运维:Selenium 测试（seleniumbase搭建自动化测试平台）

本文将以Buddy中的Selenium测试流水线示例，来看看自动化测试就是如此简单易用！Selenium是一套用于浏览器测试自动化的工具。使用Buddy专有服务，您可以直接在Buddy中运行Selen...

Selenium自动化测试（selenium自动化测试工具）

Selenium是一系列基于web的自动化测试工具。它提供了一系列测试函数，用于支持Web自动化测试。这些函数非常灵活，它们能够通过多种方式定位界面元素，并可以将预期结果与系统实际表现进行比较。作为一...

技术分享 | Web自动化之Selenium安装

本文节选自霍格沃兹测试开发学社内部教材Web应用程序的验收测试常常涉及一些手工任务，例如打开一个浏览器，并执行一个测试用例中所描述的操作。但是手工执行的任务容易出现人为的错误，也比较费时间。因此，将...

一周热门
最近发表
标签列表