我用 GPT-4o 试着进行网页抓取，但太贵了!

一个月前，OpenAI 在其 API 中新增了结构化输出功能，这意味着 OpenAI 现在能够根据开发者提供的 JSON 模式，准确地生成符合要求的输出结果。我看到了这个功能之后，对此非常感兴趣，因此决定试用一下，并开发了一个 AI 辅助网页抓取工具。本文将总结我的学习成果，也希望对大家有所裨益。

要求 GPT-4o 抓取数据

第一个实验是直接要求 GPT-4o 从 HTML 字符串中提取数据，因此我使用了新的结构化输出功能和以下 Pydantic 模型（https://docs.pydantic.dev/latest/）：

from typing import List, Dictclass ParsedColumn(BaseModel): name: str values: List[str]class ParsedTable(BaseModel): name: str columns: List[ParsedColumn]

使用的 Prompt 是：

你是一名网络爬虫专家。现在给你一张包含表格的 HTML 内容，你必须从中提取结构化数据。

下面是我在解析不同表格时发现的一些有趣现象。

注：我也试过 GPT-4o mini，但结果明显比 GPT-4o 差，所以我继续使用 GPT-4o 进行实验。

解析复杂表格

在对一些简单的表格进行实验后，我想看看模型在处理更复杂的表格时会有怎样的表现，因此我使用了 Weather.com 提供的 10 天天气预报。该表的顶部有一大行，用来展示当天的天气，其余 9 天所使用行数占得空间较小。有趣的是，GPT-4o 能够正确解析：

对于剩下的 9 天天气预报，表格显示了昼夜预报（见上面的截图）。模型正确解析了这些数据，并添加了日/夜列。下面是它在浏览器中的显示效果（注意，要显示这个效果，我们需要点击每一行右侧的按钮）：

起初，我以为我出现了幻觉，因为我在网站上没有看到 “条件”（Condition）一栏，但在查看源代码后，我意识到这些标记是存在的，但在表格中看不到。

合并行会破坏模型

当我思考在哪里可以找到简单的表格时，我首先想到的是维基百科。结果发现，维基百科上的一个简单表格（人类发展指数）破坏了模型，因为它具有重复值的行被合并了：

虽然模型能够检索单个列（按照系统 Prompt），但它们的大小并不相同，因此，我无法将数据表示为表格。

我尝试使用以下方式修改系统 Prompt：

表格可能会将多行折叠成一行。如果是这种情况，请将折叠的行提取为多个 JSON 值，以确保所有列都包含相同数量的行。

但它不起作用。我还没有尝试修改系统 Prompt 来告诉模型提取行而不是列。

要求 GPT-4o 返回 XPaths

每次运行 OpenAI API 调用可能会非常昂贵，因此我认为应该让模型返回 XPaths 而不是解析后的数据。这样我就可以抓取同一页面（例如获取更新后的数据），而无需花费太多。

经过一些调整后，我想出一个 Prompt：

你是一位网络爬虫专家。

用户将提供 HTML 内容和列名。您的任务是想出一个 XPaths，以返回该列的所有元素。

XPaths 应该是一个字符串，可以通过 Selenium 的 driver.find_elements(By.XPATH, xpath) 方法进行评估。

返回完整匹配的元素，而不仅仅是文本。

遗憾的是，这种方法效果不佳。有时，模型会返回无效的 XPaths（尽管使用提到 Selenium 的句子可以缓解这种情况），或者 XPaths 会返回不正确的数据或根本没有数据。

结合两种方法

我的下一个尝试是将两种方法结合起来：一旦模型提取了数据，我们就可以将其作为参考，向模型请求 XPaths。这比直接请求 XPaths 效果好得多！

我注意到有时生成的 XPaths 根本不会返回任何数据，因此我添加了一些愚蠢的重试逻辑：如果 XPaths 没有返回结果，则重试。这对我测试的表格很有效。

然而，我注意到一个新问题：有时第一步（提取数据）会将图像转换为文本（例如，指向上方的箭头可能会在提取的数据中显示为“箭头向上”），这会导致第二步失败，因为它会查找不存在的数据。我没有尝试解决这个问题。

GPT-4o 太昂贵

使用 GPT-4o 进行抓取可能会非常昂贵，因为即使是小型 HTML 表也可能包含大量字符。我已经试验了两天，已经花了 24 美元！

为了降低成本，我添加了一些清理逻辑，在将 HTML 字符串传递给模型之前，删除其中不必要的数据。一个简单的函数可以删除除 class、id 和 data-testid 之外的所有属性（我注意到生成的 XPaths 正在使用这些属性），将表中的字符数减少了一半。

我没有看到任何性能下降，并且我怀疑此举也有助于提高提取质量。

目前，第二步（生成 XPaths）对表中每个列进行一次模型调用，另一个改进可能是生成多个 XPaths，我还没有尝试这种方法并评估性能。

结论和演示

GPT-4o 的抓取质量让我有些吃惊（但当我看到我必须向 OpenAI 支付具体多少钱时，我又觉得心疼）。尽管如此，这是一个有趣的实验，我确实看到了人工智能辅助网页抓取工具的潜力。

我使用 Streamlit 做了一个快速演示，对此感兴趣的小伙伴可以通过下方链接查看：https://orange-resonance-9766.ploomberapp.io，源代码在 GitHub 上：https://github.com/edublancas/posts/tree/main/ai-web-scraping。

我想测试更多的表格，但是，由于这会涉及到更高的 OpenAI 费用，所以我只尝试了其中的少数几个。