「低代码爬虫系列二」Automa实现一个自动展开微博的爬虫
liuian 2024-12-13 14:53 151 浏览
Automa是一款开源的图形化&低代码爬虫工具，让用户在不懂代码的情况下，通过拖拽方式做一些实用的爬虫。例如爬取微博信息、批量搜索百度、解除某些网站不可复制限制、下载抖音视频、免费看VIP视频等等。
本系列教程将先介绍它的基本使用，然后基于它做一些有趣的项目实践（包括但不限于上述所举的例子）。本文是该系列的第二篇文章，实现一个自动展开微博的爬虫。
第一篇文章参见「低代码爬虫系列一」Automa实现一个天气预报爬虫
一、自动展开微博的爬虫背景
当我们在pc上刷微博时，微博页面会自动对长内容进行折叠。如果想要查看去全文，需要我们一一点击“展开”按钮来查看全文。那能不能实现一个爬虫，打开想要查看的微博页面，自动点击“展开”按钮呢？
二、实现方案
了解了上述背景后，我们使用Automa来实现对应效果。
先给出整个项目的工作流，如下所示，然后我们再一一介绍对应的组件及其参数。
1、触发器
整个工作流的开始节点。每条工作流都有这个触发器组件，默认是手动触发模式。
2、新建标签页
该组件是用于在浏览器中打开一个新的页面，双击该组件，在左侧参数栏填入对应博主的微博页面地址。
3、点击元素
模拟点击页面对应元素。这里我们需要点击每条博文中的“展开”按钮。Automa支持通过css选择器或者xpath来定位元素，通过开发者模式，不难得到“展开”按钮的css选择器为span.expand。在参数设置中勾选多选、等待选择器。
4、滚动元素
模拟页面左右滚动或者上下滚动的效果。由于微博是采用下拉异步加载的方式来实现之前的博文的，所以如果想要看之前的博文，就需要模拟下拉的功能，设置垂直滚动为10000即可。
5、延时
由于页面需要一定的加载时间，这里我们加入一个延时操作。即每次滚动下滑后，等待1000ms；
6、再次点击元素
和步骤3完全相同，对新加载的微博，再次点击“展开”按钮。
7、循环
类似程序设计中的循环功能。这个组件接口略微有点复杂，我们介绍下它的连线接口：
- 左边接口，连接每次循环的最后一个组件；
- 右边第一个接口，连接整个循环执行结束后的下一个组件；
- 右边第二个接口，连接每次循环开始的第一个组件；
还需要设置对应的循环次数，这里我们设为3，表示将第4、5、6的步骤重复三次；
8、回到页面最上方
使用滚动组件，将垂直滚动参数设为-10000，如图所示：
到此，自动展开微博内容的爬虫就已经实现了。我们点击右上角的运行按钮来看下效果。
有朋友可能不仅想要自动展开内容，而且要自动抓取对应微博到excel，这应该如何实现呢？欲知后事如何，请听下回分解~
（如果需要完整例子项目文件、或者对步骤还存在疑问的朋友，可以在评论区留言或者私信）
后面文章会做一些更复杂、更有趣的例子，敬请期待~
如果你有什么想做的爬虫，也可以在评论区留言哦~
相关推荐
- 搭建一个20人的办公网络（适用于20多人的小型办公网络环境）
-
楼主有5台机上网，则需要一个8口路由器，组网方法如下：设备：1、8口路由器一台，其中8口为LAN（局域网）端口，一个WAN（广域网）端口，价格100--400元2、网线N米，这个你自己会看了：）...
- 笔记本电脑各种参数介绍（笔记本电脑各项参数新手普及知识）
-
1、CPU：这个主要取决于频率和二级缓存，频率越高、二级缓存越大，速度越快，现在的CPU有三级缓存、四级缓存等，都影响相应速度。2、内存：内存的存取速度取决于接口、颗粒数量多少与储存大小，一般来说，内...
- 汉字上面带拼音输入法下载（字上面带拼音的输入法是哪个）
-
使用手机上的拼音输入法打成汉字的方法如下：1.打开手机上的拼音输入法，在输入框中输入汉字的拼音，例如“nihao”。2.根据输入法提示的候选词，选择正确的汉字。例如，如果输入“nihao”，输...
- xpsp3安装版系统下载（windowsxpsp3安装教程）
-
xpsp3纯净版在采用微软封装部署技术的基础上，结合作者的实际工作经验，融合了许多实用的功能。它通过一键分区、一键装系统、自动装驱动、一键设定分辨率，一键填IP，一键Ghost备份(恢复)等一系列...
- 没有备份的手机数据怎么恢复
-
手机没有备份恢复数据方法如下1、使用数据线将手机与电脑连接好，在“我的电脑”中可以看到手机的盘符。 2、将手机开启USB调试模式。在手机设置中找到开发者选项，然后点击“开启USB调试模式”。 3、...
- 电脑怎么激活windows11专业版
-
win11专业版激活方法有多种，以下提供两种常用的激活方式：方法一：使用激活密钥激活。在win11桌面上右键点击“此电脑”，选择“属性”选项。进入属性页面后，点击“更改产品密钥或升级windows”。...
- 华为手机助手下载官网（华为手机助手app下载专区）
-
华为手机助手策略调整，已不支持从应用市场下载手机助手，目前华为手机助手是需要在电脑上下载或更新手机助手到最新版本，https://consumer.huawei.com/cn/support/his...
- 光纤线断了怎么接（宽带光纤线断了怎么接）
-
宽带光纤线断了可以重接，具体操作方法如下：1、光纤连接的时候要根据束管内，同色相连，同芯相连，按顺序进行连接，由大到小。一般有三种连接方法，分别是熔接、活动连接和机械连接。2、连接的时候要开剥光缆，抛...
- win7旗舰版和专业版区别（win7旗舰版跟专业版）
-
1、功能区别：Win7旗舰版比专业版多了三个功能，分别是Bitlocker、BitlockerToGo和多语言界面； 2、用途区别：旗舰版的功能是所有版本中最全最强大的，占用的系统资源，...
- 万能连接钥匙（万能wifi连接钥匙下载）
-
1、首先打开wifi万能钥匙软件，若手机没有开启WLAN，就根据软件提示打开WLAN开关;2、打开WLAN开关后，会显示附近的WiFi，如果知道密码，可点击相应WiFi后点击‘输入密码’连接;3、若不...
- 雨林木风音乐叫什么（雨林木风是啥）
-
雨林木风的创始人是陈年鑫先生。陈年鑫先生于1999年创立了雨林木风公司，其初衷是为满足中国市场对高品质、高性能电脑的需求。在陈年鑫先生的领导下，雨林木风以技术创新、产品质量和客户服务为核心价值，不断推...
- aics6序列号永久序列号（aics6破解序列号）
-
关于AICS6这个版本，虽然是比较久远的版本，但是在功能上也是十分全面和强大的，作为一名平面设计师的话，AICS6的现有的功能已经能够应付几乎所有的设计工作了……到底AICC2019的功能是不是...
- 手机可以装电脑系统吗（手机可以装电脑系统吗怎么装）
-
答题公式1：手机可以通过数据线或无线连接的方式给电脑装系统。手机安装系统需要一定的技巧和软件支持，一般需要通过数据线或无线连接的方式与电脑连接，并下载相应的软件和系统文件进行安装。对于大部分手机用户来...
- 一周热门
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)