百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

19.5K Star 万物皆可JSON!为生成式AI准备文档的绝佳神器!

liuian 2025-03-04 13:07 23 浏览

随着生成式AI的快速发展,如何将大量的文档内容高效转换并集成到AI系统中,成为开发者们的一大挑战。

无论是PDF、Word文档,还是PPT、Excel表格,如果有一款能够快速准确地将这些格式转换成适用于生成式AI的结构化数据,那将是非常的方便。

而今天的主角:Docling,专为此类需求而生。

它能够高效地解析和转换多种文档格式,将文档内容以HTML、Markdown和JSON等格式呈现,并支持OCR识别和表格结构的解析。

当然最重要的是,它可以与主流的生成式AI框架(如LangChain、LlamaIndex等)无缝集成,为AI应用提供强大的文档处理支持。

项目简介

Docling 是开源的一个多功能的文档解析与转换工具。

它能够处理多种常见文档格式(包括PDF、DOCX、PPTX、XLSX、HTML和Markdown等),并通过简洁易用的CLI工具帮助用户快速转换和解析文档。

此外,Docling原生集成了生成式AI框架,如LangChain和LlamaIndex,使其在AI文档处理方面更具优势。它的智能化处理能力,尤其是在OCR和表格结构识别方面,特别适用于那些需要快速提取信息并进一步处理的场景。

主要功能

1、多格式支持,快速转换

Docling支持解析并转换多种文档格式,包括但不限于:

  • PDF、DOCX、PPTX、XLSX、HTML、Markdown等主流格式
  • 能够从这些格式中提取内容并导出为HTML、Markdown或JSON,方便与其他系统和应用集成。

2、高级PDF理解

在PDF处理方面具有强大的功能,不仅支持基本的文本提取,还能深入理解文档的页面布局、阅读顺序以及表格结构。

这些高级特性使得它能够处理更为复杂的PDF文档,特别是包含表格和复杂排版的文件。

3、支持OCR与表格结构识别

内置OCR功能,能够识别扫描文档中的文本,帮助用户提取图像中的信息,并且可以准确识别文档中的表格结构并转换为可用的格式,使得数据的处理更加便捷。

4、AI框架集成,智能文档处理

Docling原生集成了LangChain、LlamaIndex等主流生成式AI框架,为AI应用开发提供了完美的支持。

通过这些框架,用户可以更轻松地将文档内容与AI系统连接,并执行智能任务,如信息抽取、内容生成等。

5、简单易用的CLI工具

提供了便捷的命令行界面(CLI)工具及API,开发者可以通过几行代码轻松完成文档格式转换和处理。

无论是批量处理文档,还是自动化脚本的编写,都极大地提升了开发效率。让开发者可以专注于更高层次的AI应用开发。

安装与使用

要使用 Docling,只需从 Python 包管理器(例如 pip)安装 docling。

pip install docling

要转换单个 PDF 文档,可以使用 convert()

from docling.document_converter import DocumentConverter

source = "https://arxiv.org/pdf/2408.09869"  # PDF path or URL
converter = DocumentConverter()
result = converter.convert(source)
print(result.document.export_to_markdown())

还可以直接从命令行使用 Docling 来转换单个文件(无论是本地文件还是按 URL 文件)或整个目录。

docling https://arxiv.org/pdf/2206.01062

可以通过参数限制每个文档应允许处理的文件大小和页数。

from pathlib import Path
from docling.document_converter import DocumentConverter

source = "https://arxiv.org/pdf/2408.09869"
converter = DocumentConverter()
result = converter.convert(source, max_num_pages=100, max_file_size=20971520)

从二进制 PDF 流转换。

from io import BytesIO
from docling.datamodel.base_models import DocumentStream
from docling.document_converter import DocumentConverter

buf = BytesIO(your_binary_stream)
source = DocumentStream(name="my_doc.pdf", stream=buf)
converter = DocumentConverter()
result = converter.convert(source)

应用场景

  • 智能文档解析
  • 生成式AI应用开发
  • 批量文档处理
  • OCR与表格数据提取

写在最后

Docling 是一个强大而灵活的开源工具,它不仅简化了文档的解析与转换,还通过与生成式AI框架的集成,为开发者提供了无限的可能性。

它支持OCR识别、表格结构解析以及与生成式AI框架的深度集成,为开发智能文档应用提供了完美的支持。无论是需要处理大量文档、开发智能文档应用,还是与AI结合进行更深层次的分析,Docling都能大大提升工作效率。

GitHub 项目地址:
https://github.com/DS4SD/doclin

相关推荐

搭建一个20人的办公网络(适用于20多人的小型办公网络环境)

楼主有5台机上网,则需要一个8口路由器,组网方法如下:设备:1、8口路由器一台,其中8口为LAN(局域网)端口,一个WAN(广域网)端口,价格100--400元2、网线N米,这个你自己会看了:)...

笔记本电脑各种参数介绍(笔记本电脑各项参数新手普及知识)

1、CPU:这个主要取决于频率和二级缓存,频率越高、二级缓存越大,速度越快,现在的CPU有三级缓存、四级缓存等,都影响相应速度。2、内存:内存的存取速度取决于接口、颗粒数量多少与储存大小,一般来说,内...

汉字上面带拼音输入法下载(字上面带拼音的输入法是哪个)

使用手机上的拼音输入法打成汉字的方法如下:1.打开手机上的拼音输入法,在输入框中输入汉字的拼音,例如“nihao”。2.根据输入法提示的候选词,选择正确的汉字。例如,如果输入“nihao”,输...

xpsp3安装版系统下载(windowsxpsp3安装教程)

xpsp3纯净版在采用微软封装部署技术的基础上,结合作者的实际工作经验,融合了许多实用的功能。它通过一键分区、一键装系统、自动装驱动、一键设定分辨率,一键填IP,一键Ghost备份(恢复)等一系列...

没有备份的手机数据怎么恢复

手机没有备份恢复数据方法如下1、使用数据线将手机与电脑连接好,在“我的电脑”中可以看到手机的盘符。  2、将手机开启USB调试模式。在手机设置中找到开发者选项,然后点击“开启USB调试模式”。  3、...

电脑怎么激活windows11专业版

win11专业版激活方法有多种,以下提供两种常用的激活方式:方法一:使用激活密钥激活。在win11桌面上右键点击“此电脑”,选择“属性”选项。进入属性页面后,点击“更改产品密钥或升级windows”。...

华为手机助手下载官网(华为手机助手app下载专区)

华为手机助手策略调整,已不支持从应用市场下载手机助手,目前华为手机助手是需要在电脑上下载或更新手机助手到最新版本,https://consumer.huawei.com/cn/support/his...

光纤线断了怎么接(宽带光纤线断了怎么接)

宽带光纤线断了可以重接,具体操作方法如下:1、光纤连接的时候要根据束管内,同色相连,同芯相连,按顺序进行连接,由大到小。一般有三种连接方法,分别是熔接、活动连接和机械连接。2、连接的时候要开剥光缆,抛...

深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
win7旗舰版和专业版区别(win7旗舰版跟专业版)

1、功能区别:Win7旗舰版比专业版多了三个功能,分别是Bitlocker、BitlockerToGo和多语言界面; 2、用途区别:旗舰版的功能是所有版本中最全最强大的,占用的系统资源,...

万能连接钥匙(万能wifi连接钥匙下载)

1、首先打开wifi万能钥匙软件,若手机没有开启WLAN,就根据软件提示打开WLAN开关;2、打开WLAN开关后,会显示附近的WiFi,如果知道密码,可点击相应WiFi后点击‘输入密码’连接;3、若不...

雨林木风音乐叫什么(雨林木风是啥)

雨林木风的创始人是陈年鑫先生。陈年鑫先生于1999年创立了雨林木风公司,其初衷是为满足中国市场对高品质、高性能电脑的需求。在陈年鑫先生的领导下,雨林木风以技术创新、产品质量和客户服务为核心价值,不断推...

aics6序列号永久序列号(aics6破解序列号)

关于AICS6这个版本,虽然是比较久远的版本,但是在功能上也是十分全面和强大的,作为一名平面设计师的话,AICS6的现有的功能已经能够应付几乎所有的设计工作了……到底AICC2019的功能是不是...

win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
手机可以装电脑系统吗(手机可以装电脑系统吗怎么装)

答题公式1:手机可以通过数据线或无线连接的方式给电脑装系统。手机安装系统需要一定的技巧和软件支持,一般需要通过数据线或无线连接的方式与电脑连接,并下载相应的软件和系统文件进行安装。对于大部分手机用户来...