当前位置：网站首页 > IT知识 > 正文

第42天，我终于意识到，爬虫这条路，真的好艰难

liuian 2025-07-03 17:05 83 浏览

昨天说到学爬虫的最初四行代码，第四行中的 print(res.text)，我没太懂。

为啥最后的输出的结果，不是显示百度网页全部的源代码呢？

这个世界上永远不缺好心人。

评论区的大神告诉我：

因为只包含静态html的内容。其他动态加载的内容是获取不到的。

至于啥是动态html、啥是动态加载的内容，这几个字单独拿出来我认识，连在一起嘛。。。呵呵

后面还有个老哥，提到了 selenium。

我查了一下，也是一个模块，而且貌似后面深入学习的话，肯定是要用到的。

昨天群里老哥也提醒我，requests只是第一步，后面解析信息还要用到 re，bs4，xpath 等等。

爬虫这条路，真是很漫长啊。

还是先继续深挖 requests 吧。

沿着 text 的思路走，又找到了一个关于 text 和 content 区别的文章。

结论是：

resp.text返回的是Unicode型的数据。

resp.content返回的是bytes型也就是二进制的数据。

试着运行了一下，感觉没啥区别。

啥是静态html呢？

度娘告诉我：

静态HTML指的是使用单纯的HTML或者结合CSS制作的包括图片、文字等的只供用户浏览但不包含任何脚本、不含有任何交互功能的网页！

动态的HTML指的是网页不仅提供给用户浏览，网页本身还有交互功能，存在着在脚本如JAVASCRIPT，并利用某种服务器端语言如PHP等实现如用户注册，用户登录，上传文件，下载文件等功能

我简单理解一下：前者就是一个不需要登录的纯文字、图片类浏览的网页；而后者就是贴吧之类需要登录、可以发帖的网页呗。

今天电脑出了点问题，折腾了好久，然后他么重装系统了。

于是所有软件包括Python、pycharm以及requests什么的，全都重新装了一遍，心里烦是一方面，关键是浪费了不少时间。

所以确实也就没啥时间学会爬虫了。

如你们所见，这篇文章，我水了。。。

最后，让我老婆代我跟大家赔个不是吧。

php selenium

相关推荐