百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

量化入门课:如何使用duckdb,轻松读取数据

liuian 2025-01-10 15:15 26 浏览

《量化入门课:如何免费获取期货数据?》一文中我们下载好了数据,打开的数据是csv格式的,csv是一种比较通用的数据格式,用途比较广泛,我们可以用文本编辑器或者excel、wps直接打开。 但是怎样从csv中读取数据呢?

入门的方案:pandas [1]

Pandas 是一个开源的 Python 数据分析和数据处理库,它为 Python 编程语言提供了强大的数据结构和分析工具,广泛用于数据挖掘、数据分析、数据可视化等领域。

通俗理解就是,pandas是一个python代码版的excel, 我们可以使用它轻松的做数据分析,例如筛选、汇总、均线、画图等等。

使用pandas如何读取数据呢?

import pandas as pd   
# 首先我们找到需要读取的csv文件路径  
path = r"C:\Users\jerri\Downloads\ricequant_data_1d\data\Future\1d\RB\RB99.csv"  
df = pd.read_csv(path)  # 读取csv文件到pandas里面  
df.head()  # 显示前5行数据

在实际的使用过程中,k线数据往往需要制定Date格式为索引,并且Date是日期格式, 所以读取的代码可以修改如下:

df = pd.read_csv(path, index_col='Date', parse_dates=True)  # 读取csv文件到pandas里面,指定date列为索引,并将其格式化为日期格式  
df.head()  # 显示前5行数据

插图-读取csv数据.png

现在问题来了,如果我们现在有很多文件需要读取, 而且每一个文件在不同的文件夹下面,怎么办呢? 例如在实际项目中我们面临这样的需求:读取每个品种的连续合约(文件名称99结尾),2024-01-01~现在的数据,放到一个dateframe中

如果继续说采用pandas读取的方式,我们需要筛选每一个符合条件的文件,然后读取全部数据,再筛选里面满足条件的数据,这样的方式显然比较繁琐。

有没有更优雅的方式呢?

进阶的方式:DuckDB[2]

DuckDB 是一个开源的、嵌入式的 SQL 关系数据库管理系统,旨在为数据分析提供高性能的查询执行。它被设计为类似于 SQLite,但特别针对分析工作负载进行了优化。

简单来说,我们就是可以把本地所有的csv文件当成一个数据库,然后使用duckdb编写sql语句来调用,这样明显的优雅多了。

duckdb 安装

pip install duckdb

使用duckdb读取csv文件

# 使用duckdb读取csv文件  
import duckdb  
path = r"C:\Users\jerri\Downloads\ricequant_data_1d\data\Future\1d\RB\RB99.csv"  
conn = duckdb.connect()  
sql = f"SELECT * FROM read_csv_auto('{path}')"  
df = conn.execute(sql).fetchdf()  
conn.close()  
df.head()  # 显示前5行数据

看起来并没有方便很多对吗?

现在我们来实现上面的复杂需求,结合glob库

import duckdb   
import glob  
paths = glob.glob(r"C:\Users\jerri\Downloads\ricequant_data_1d\data\Future\1d\RB\*.csv")  
conn = duckdb.connect()  
sql = f"SELECT * FROM read_csv({paths},filename=TRUE) WHERE DATE > '2024-01-01'"  
df = conn.execute(sql).fetchdf()  
conn.close()  
df.head()  # 显示前5行数据

核心代码两条就足够了,是不是简洁很多!

总结

  1. 如果是读取一个或者少量的csv文件,我们直接使用pandas即可
  2. 如果是读取整个文件夹下,或者规则比较负责的csv,并且有一些其他附加条件,duckdb更方便

参考资料

[1] pandas : https://pandas.pydata.org/

[2] DuckDB: https://duckdb.org/docs/data/csv/overview

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...