百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Pandas常用命令汇总(pandas所有方法详解)

liuian 2025-04-06 18:06 27 浏览

Pandas作为Python数据处理的重要库,其命令繁多且功能强大。以下是一些Pandas中最常用的命令和操作的汇总,覆盖了数据读取、查看、筛选、清洗、转换、合并、重塑、统计分析等方面的基础使用:

数据读取与写入

  • 读取CSV文件:df = pd.read_csv('filename.csv')
  • 读取Excel文件:df = pd.read_excel('filename.xlsx')
  • 读取JSON文件:df = pd.read_json('filename.json')
  • 保存DataFrame到CSV:df.to_csv('output.csv', index=False)
  • 保存DataFrame到Excel:df.to_excel('output.xlsx', index=False)

查看数据

  • 显示前几行:df.head(n=5)
  • 显示后几行:df.tail(n=5)
  • 查看数据基本信息:df.info()
  • 查看列名:df.columns
  • 查看数据形状(行数、列数):df.shape

数据筛选与切片

  • 根据标签选取行:df.loc[行标签]
  • 根据位置选取行:df.iloc[行位置]
  • 布尔索引:df[df['column_name'] > value]
  • 按列筛选:df[['column1', 'column2']]

数据清洗

  • 处理缺失值
    • 删除:df.dropna(axis=0, how='any')(删除含有任何NaN的行)
    • 填充:df.fillna(value) 或 df['column_name'].fillna(method='ffill')(前向填充)
  • 去除重复行:df.drop_duplicates()

数据转换

  • 数据类型转换:df['column_name'] = df['column_name'].astype('dtype')
  • 字符串操作:df['column_name'].str.upper()(转换为大写)

数据排序

  • 按列排序:df.sort_values(by='column_name', ascending=True/False)

数据聚合与分组

  • 分组:grouped = df.groupby('column_name')
  • 聚合统计:grouped.mean(), grouped.sum(), grouped.count()

合并与重塑

  • 纵向合并:pd.concat([df1, df2], axis=0)
  • 横向合并:pd.merge(df1, df2, on='common_column')
  • 重塑:df.pivot(index='index_col', columns='columns_col', values='values_col')

统计分析

  • 描述性统计:df.describe()
  • 计算相关性:df.corr()

时间序列处理

  • 设置时间为索引:df.set_index('datetime_column', inplace=True)
  • 时间序列重采样:df.resample('D').mean()(按天重采样并计算均值)

进阶操作

  • 应用函数:df.apply(func, axis=0/1),axis=0应用于列,axis=1应用于行
  • ** Lambda表达式**:在.apply()中使用匿名函数,如 df['new_column'] = df['column_name'].apply(lambda x: x*2)

这些命令是Pandas日常使用中最为频繁的一部分,熟练掌握它们能够有效提升数据处理的效率。随着实际项目经验的积累,你还会发现更多针对特定任务的高级功能和技巧。

相关推荐

总结下SpringData JPA 的常用语法

SpringDataJPA常用有两种写法,一个是用Jpa自带方法进行CRUD,适合简单查询场景、例如查询全部数据、根据某个字段查询,根据某字段排序等等。另一种是使用注解方式,@Query、@Modi...

解决JPA在多线程中事务无法生效的问题

在使用SpringBoot2.x和JPA的过程中,如果在多线程环境下发现查询方法(如@Query或findAll)以及事务(如@Transactional)无法生效,通常是由于S...

PostgreSQL系列(一):数据类型和基本类型转换

自从厂子里出来后,数据库的主力就从Oracle变成MySQL了。有一说一哈,贵确实是有贵的道理,不是开源能比的。后面的工作里面基本上就是主MySQL,辅MongoDB、ES等NoSQL。最近想写一点跟...

基于MCP实现text2sql

目的:基于MCP实现text2sql能力参考:https://blog.csdn.net/hacker_Lees/article/details/146426392服务端#选用开源的MySQLMCP...

ORACLE 错误代码及解决办法

ORA-00001:违反唯一约束条件(.)错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。ORA-00017:请求会话以设置跟踪事件ORA-00018:超出最大会话数ORA-00...

从 SQLite 到 DuckDB:查询快 5 倍,存储减少 80%

作者丨Trace译者丨明知山策划丨李冬梅Trace从一开始就使用SQLite将所有数据存储在用户设备上。这是一个非常不错的选择——SQLite高度可靠,并且多种编程语言都提供了广泛支持...

010:通过 MCP PostgreSQL 安全访问数据

项目简介提供对PostgreSQL数据库的只读访问功能。该服务器允许大型语言模型(LLMs)检查数据库的模式结构,并执行只读查询操作。核心功能提供对PostgreSQL数据库的只读访问允许L...

发现了一个好用且免费的SQL数据库工具(DBeaver)

缘起最近Ai不是大火么,想着自己也弄一些开源的框架来捣腾一下。手上用着Mac,但Mac都没有显卡的,对于学习Ai训练模型不方便,所以最近新购入了一台4090的拯救者,打算用来好好学习一下Ai(呸,以上...

微软发布.NET 10首个预览版:JIT编译器再进化、跨平台开发更流畅

IT之家2月26日消息,微软.NET团队昨日(2月25日)发布博文,宣布推出.NET10首个预览版更新,重点改进.NETRuntime、SDK、libraries、C#、AS...

数据库管理工具Navicat Premium最新版发布啦

管理多个数据库要么需要使用多个客户端应用程序,要么找到一个可以容纳你使用的所有数据库的应用程序。其中一个工具是NavicatPremium。它不仅支持大多数主要的数据库管理系统(DBMS),而且它...

50+AI新品齐发,微软Build放大招:拥抱Agent胜算几何?

北京时间5月20日凌晨,如果你打开微软Build2025开发者大会的直播,最先吸引你的可能不是一场原本属于AI和开发者的技术盛会,而是开场不久后的尴尬一幕:一边是几位微软员工在台下大...

揭秘:一条SQL语句的执行过程是怎么样的?

数据库系统能够接受SQL语句,并返回数据查询的结果,或者对数据库中的数据进行修改,可以说几乎每个程序员都使用过它。而MySQL又是目前使用最广泛的数据库。所以,解析一下MySQL编译并执行...

各家sql工具,都闹过哪些乐子?

相信这些sql工具,大家都不陌生吧,它们在业内绝对算得上第一梯队的产品了,但是你知道,他们都闹过什么乐子吗?首先登场的是Navicat,这款强大的数据库管理工具,曾经让一位程序员朋友“火”了一把。Na...

详解PG数据库管理工具--pgadmin工具、安装部署及相关功能

概述今天主要介绍一下PG数据库管理工具--pgadmin,一起来看看吧~一、介绍pgAdmin4是一款为PostgreSQL设计的可靠和全面的数据库设计和管理软件,它允许连接到特定的数据库,创建表和...

Enpass for Mac(跨平台密码管理软件)

还在寻找密码管理软件吗?密码管理软件有很多,但是综合素质相当优秀且完全免费的密码管理软件却并不常见,EnpassMac版是一款免费跨平台密码管理软件,可以通过这款软件高效安全的保护密码文件,而且可以...