百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

「低代码爬虫系列二」Automa实现一个自动展开微博的爬虫

liuian 2024-12-13 14:53 164 浏览

Automa是一款开源的图形化&低代码爬虫工具,让用户在不懂代码的情况下,通过拖拽方式做一些实用的爬虫。例如爬取微博信息、批量搜索百度、解除某些网站不可复制限制、下载抖音视频、免费看VIP视频等等。

本系列教程将先介绍它的基本使用,然后基于它做一些有趣的项目实践(包括但不限于上述所举的例子)。本文是该系列的第二篇文章,实现一个自动展开微博的爬虫。

第一篇文章参见「低代码爬虫系列一」Automa实现一个天气预报爬虫

一、自动展开微博的爬虫背景

当我们在pc上刷微博时,微博页面会自动对长内容进行折叠。如果想要查看去全文,需要我们一一点击“展开”按钮来查看全文。那能不能实现一个爬虫,打开想要查看的微博页面,自动点击“展开”按钮呢?


二、实现方案

了解了上述背景后,我们使用Automa来实现对应效果。

先给出整个项目的工作流,如下所示,然后我们再一一介绍对应的组件及其参数。



1、触发器

整个工作流的开始节点。每条工作流都有这个触发器组件,默认是手动触发模式。

2、新建标签页

该组件是用于在浏览器中打开一个新的页面,双击该组件,在左侧参数栏填入对应博主的微博页面地址。

3、点击元素

模拟点击页面对应元素。这里我们需要点击每条博文中的“展开”按钮。Automa支持通过css选择器或者xpath来定位元素,通过开发者模式,不难得到“展开”按钮的css选择器为span.expand。在参数设置中勾选多选、等待选择器。


4、滚动元素

模拟页面左右滚动或者上下滚动的效果。由于微博是采用下拉异步加载的方式来实现之前的博文的,所以如果想要看之前的博文,就需要模拟下拉的功能,设置垂直滚动为10000即可。

5、延时

由于页面需要一定的加载时间,这里我们加入一个延时操作。即每次滚动下滑后,等待1000ms;

6、再次点击元素

和步骤3完全相同,对新加载的微博,再次点击“展开”按钮。

7、循环

类似程序设计中的循环功能。这个组件接口略微有点复杂,我们介绍下它的连线接口:

  • 左边接口,连接每次循环的最后一个组件;
  • 右边第一个接口,连接整个循环执行结束后的下一个组件;
  • 右边第二个接口,连接每次循环开始的第一个组件;

还需要设置对应的循环次数,这里我们设为3,表示将第4、5、6的步骤重复三次;


8、回到页面最上方

使用滚动组件,将垂直滚动参数设为-10000,如图所示:



到此,自动展开微博内容的爬虫就已经实现了。我们点击右上角的运行按钮来看下效果。

有朋友可能不仅想要自动展开内容,而且要自动抓取对应微博到excel,这应该如何实现呢?欲知后事如何,请听下回分解~

(如果需要完整例子项目文件、或者对步骤还存在疑问的朋友,可以在评论区留言或者私信)

后面文章会做一些更复杂、更有趣的例子,敬请期待~

如果你有什么想做的爬虫,也可以在评论区留言哦~

相关推荐

口碑最好的随身wifi品牌(随身wifi十大排名)

哪个牌子最好用性价比最高一目了然!格行设备价格:69/99/109/139/168(性价比高)芯片:进口马维尔芯片套餐:双网设备,套餐价格一致,随用随充续航:3000毫安18小时左右 33...

新买的台式电脑没声音(新买的台式机没有声音)

解决方法如下:1、查看主板的声卡驱动装没装上。2、驱动装好了,在右下角的小喇叭有没有,如果有,鼠标放在上面,右击就会看到声音的各种设置,如果没看到小喇叭,进入设备管理器看一下声音的硬件上是否有黄色标记...

dlink路由器设置密码步骤(dlink路由器设置教程)
  • dlink路由器设置密码步骤(dlink路由器设置教程)
  • dlink路由器设置密码步骤(dlink路由器设置教程)
  • dlink路由器设置密码步骤(dlink路由器设置教程)
  • dlink路由器设置密码步骤(dlink路由器设置教程)
三星笔记本u盘启动快捷键(三星笔记本u盘启动设置)

开机出现“SAMSUNG”画面时按F2进入BIOS设置,找到【Advanced】选项下,将快速启动“FastBIOSMode”项选为“Off”2.按F10键保存退出并重启,插入U盘,再次按F2键进入B...

普联无线路由器设置(普联路由器上网设置)

关于这个问题,以下是普联无线路由器的设置步骤:1.首先,将您的普联无线路由器与电脑或笔记本电脑连接。2.打开您的浏览器,输入路由器的IP地址(通常为192.168.1.1或192.168...

光盘映像文件怎么打开运行(光盘映像文件是干嘛的)
  • 光盘映像文件怎么打开运行(光盘映像文件是干嘛的)
  • 光盘映像文件怎么打开运行(光盘映像文件是干嘛的)
  • 光盘映像文件怎么打开运行(光盘映像文件是干嘛的)
  • 光盘映像文件怎么打开运行(光盘映像文件是干嘛的)
万兴数据恢复专家免费版(万兴数据恢复专家app)

手机版本目前还在开发当中,目前只有电脑版本跟网页版万兴数据管家,非常靠谱!这是一款专门针对苹果微信数据管理的软件,能够恢复苹果手机聊天记录、聊天记录备份、聊天记录导出!支持微信免费备到本地电脑,包括聊...

笔记本电脑怎么打开摄像头功能

看你的情况是,笔记本自带摄像头吧!如果是的话,只要和别人用通讯工具(支支视频,比如qqskype)聊天时,都可以自动打开!如果想单纯的自拍,打开“我的电脑”认真看,有一个选项(除了硬盘分区、光驱之外)...

w7主题设置(w7怎么换主题)

1、打开win7系统电脑左下角“开始”菜单,找到【控制面板】点击打开;2、进入控制面板界面,右上方【查看方式】更改为“小图标”,然后找到【管理工具】打开;3、进入“管理工具”,点击打开【服务】选项;4...

显卡温度多少正常范围(显卡温度一般在什么范围合理)
显卡温度多少正常范围(显卡温度一般在什么范围合理)

1、正常情况下显卡的温度是在30至85这个区间。2、如果是天气热一点的话,保持在50至85也是属于正常的。3、如果电脑在玩着大型游戏,显卡温度达到90以上都是有可能的。4、但如果你的显卡温度超过95度的话,就要注意一下了,这个时候可以保持室...

2026-01-03 01:55 liuian

惠普1008打印机驱动安装教程

首先,你可以从惠普官网下载最新的驱动程序并解压缩。接下来,双击解压后的驱动文件并跟随提示完成安装。如果你遇到任何问题,可以尝试用管理员权限运行安装程序或尝试重新启动电脑后再次安装驱动。最后,检查设备管...

惠普打印机官方售后维修服务中心

郑州市金水区文化路82硅谷广场B座1303室营业时间:周一至周日9:00-18:00支持品牌:惠普支持产品:笔记本电脑,台式机,显示器维修项目:不开机,死机重启,清理除尘,数据恢复等郑州市黄河南街与同...

全部游戏大全免费安装(全部游戏免费软件)
  • 全部游戏大全免费安装(全部游戏免费软件)
  • 全部游戏大全免费安装(全部游戏免费软件)
  • 全部游戏大全免费安装(全部游戏免费软件)
  • 全部游戏大全免费安装(全部游戏免费软件)
电脑怎么安装win10装系统(电脑怎么安装win10装系统按哪个键)

Windows10系统安装教程如下:准备好所需的文件和文件夹,包括安装介质(例如安装光盘、USB闪存驱动器或网络安装介质),以及需要包含Windows10镜像文件的文件和文件夹...

国内哪个ai写代码最强(ai用什么代码编程)

是的,coloros小布ai可以写代码。它具有图灵完备的编程能力,并且可以通过编程语言进行逻辑推理和计算,实现各种功能。通过编程,可以让coloros小布ai执行特定的任务、完成复杂的计算和处理数据,...