百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Python数据处理利器:Pandas核心用法详解

liuian 2025-04-06 18:06 91 浏览

一、Pandas简介

Pandas是Python最强大的数据处理库,专为处理结构化数据设计。名称源自"Panel Data"(面板数据),具备以下核心优势:

  • 高效处理百万级数据
  • 支持CSV/Excel/SQL等多种数据源
  • 提供清洗、转换、分析的完整工具链

二、环境准备

# 安装命令
pip install pandas

# 基础导入方式(行业标准)
import pandas as pd
import numpy as np  # 常配合使用

三、核心数据结构

1. Series(一维数据)

创建示例:

# 从列表创建
scores = pd.Series([90, 85, 92, 88], 
                  index=['Alice', 'Bob', 'Charlie', 'David'],
                  name='Math Scores')
print(scores) 

输出结果:

复制代码Alice       90
Bob         85
Charlie     92
David       88
Name: Math Scores, dtype: int64

2. DataFrame(二维表格)

创建方式:

# 字典方式创建
data = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 28],
    'City': ['New York', 'London', 'Paris']
}
df = pd.DataFrame(data)

# 设置索引
df.set_index('Name', inplace=True) 

生成的DataFrame:

Name

Age

City

Alice

25

New York

Bob

30

London

Charlie

28

Paris


四、数据操作实战

案例:电商销售数据分析

1. 数据加载

# 读取CSV文件
sales = pd.read_csv('sales_data.csv', 
                   parse_dates=['order_date'])

# 显示前3行
print(sales.head(3)) 

2. 数据清洗

# 处理缺失值
sales['price'] = sales['price'].fillna(sales['price'].mean())

# 删除重复记录
sales.drop_duplicates(inplace=True)

# 类型转换
sales['quantity'] = sales['quantity'].astype(int) 

3. 数据分析

常用操作示例:

# 筛选2023年Q1数据
q1_sales = sales[sales['order_date'].between('2023-01-01', '2023-03-31')]

# 按品类统计销售额
category_sales = sales.groupby('category')['total'].sum().sort_values(ascending=False)

# 计算移动平均
sales['7d_avg'] = sales['total'].rolling(window=7).mean() 

4. 数据合并

# 合并订单与用户信息
user_info = pd.read_csv('users.csv')
merged_data = pd.merge(sales, user_info, on='user_id', how='left')

# 横向拼接季度报表
full_year = pd.concat([q1, q2, q3, q4], axis=0) 

五、进阶技巧

1. 时间序列处理

# 设置时间索引
sales.set_index('order_date', inplace=True)

# 按周重采样
weekly_sales = sales.resample('W').sum() 

2. 高效数据筛选

# 多条件查询
high_value = sales[(sales['total'] > 1000) & 
                  (sales['category'].isin(['Electronics', 'Furniture']))]

# 使用query方法
luxury_orders = sales.query("price > 500 and payment_type == 'Credit'") 

3. 内存优化

# 类型转换减少内存占用
sales['category'] = sales['category'].astype('category')
sales['user_id'] = sales['user_id'].astype('int32')

# 查看内存使用
print(sales.info(memory_usage='deep')) 

六、可视化集成

import matplotlib.pyplot as plt

# 绘制月度趋势图
monthly_sales.plot(kind='line', 
                  title='Monthly Sales Trend',
                  figsize=(12,6))
plt.xlabel('Month')
plt.ylabel('Sales Amount')
plt.show()

七、性能优化建议

  1. 尽量使用向量化操作替代循环
  2. 适当使用astype转换数据类型
  3. 大数据集使用dask并行处理
  4. 避免链式赋值,使用.loc明确索引

八、学习资源推荐

  • 官方文档:pandas.pydata.org
  • 经典书籍:《Python for Data Analysis》
  • 实战项目:Kaggle泰坦尼克生存预测
  • 可视化工具:Pandas+Seaborn组合

掌握Pandas需要持续实践,建议从实际项目入手,逐步探索更多高级功能。记住:数据质量决定分析结果,清洗步骤不可忽视!


希望这篇全面解析能帮助您快速掌握Pandas核心技能。如有疑问,欢迎在评论区交流讨论!

相关推荐

搭建一个20人的办公网络(适用于20多人的小型办公网络环境)

楼主有5台机上网,则需要一个8口路由器,组网方法如下:设备:1、8口路由器一台,其中8口为LAN(局域网)端口,一个WAN(广域网)端口,价格100--400元2、网线N米,这个你自己会看了:)...

笔记本电脑各种参数介绍(笔记本电脑各项参数新手普及知识)

1、CPU:这个主要取决于频率和二级缓存,频率越高、二级缓存越大,速度越快,现在的CPU有三级缓存、四级缓存等,都影响相应速度。2、内存:内存的存取速度取决于接口、颗粒数量多少与储存大小,一般来说,内...

汉字上面带拼音输入法下载(字上面带拼音的输入法是哪个)

使用手机上的拼音输入法打成汉字的方法如下:1.打开手机上的拼音输入法,在输入框中输入汉字的拼音,例如“nihao”。2.根据输入法提示的候选词,选择正确的汉字。例如,如果输入“nihao”,输...

xpsp3安装版系统下载(windowsxpsp3安装教程)

xpsp3纯净版在采用微软封装部署技术的基础上,结合作者的实际工作经验,融合了许多实用的功能。它通过一键分区、一键装系统、自动装驱动、一键设定分辨率,一键填IP,一键Ghost备份(恢复)等一系列...

没有备份的手机数据怎么恢复

手机没有备份恢复数据方法如下1、使用数据线将手机与电脑连接好,在“我的电脑”中可以看到手机的盘符。  2、将手机开启USB调试模式。在手机设置中找到开发者选项,然后点击“开启USB调试模式”。  3、...

电脑怎么激活windows11专业版

win11专业版激活方法有多种,以下提供两种常用的激活方式:方法一:使用激活密钥激活。在win11桌面上右键点击“此电脑”,选择“属性”选项。进入属性页面后,点击“更改产品密钥或升级windows”。...

华为手机助手下载官网(华为手机助手app下载专区)

华为手机助手策略调整,已不支持从应用市场下载手机助手,目前华为手机助手是需要在电脑上下载或更新手机助手到最新版本,https://consumer.huawei.com/cn/support/his...

光纤线断了怎么接(宽带光纤线断了怎么接)

宽带光纤线断了可以重接,具体操作方法如下:1、光纤连接的时候要根据束管内,同色相连,同芯相连,按顺序进行连接,由大到小。一般有三种连接方法,分别是熔接、活动连接和机械连接。2、连接的时候要开剥光缆,抛...

深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
  • 深度操作系统安装教程(深度操作系统安装教程图解)
win7旗舰版和专业版区别(win7旗舰版跟专业版)

1、功能区别:Win7旗舰版比专业版多了三个功能,分别是Bitlocker、BitlockerToGo和多语言界面; 2、用途区别:旗舰版的功能是所有版本中最全最强大的,占用的系统资源,...

万能连接钥匙(万能wifi连接钥匙下载)

1、首先打开wifi万能钥匙软件,若手机没有开启WLAN,就根据软件提示打开WLAN开关;2、打开WLAN开关后,会显示附近的WiFi,如果知道密码,可点击相应WiFi后点击‘输入密码’连接;3、若不...

雨林木风音乐叫什么(雨林木风是啥)

雨林木风的创始人是陈年鑫先生。陈年鑫先生于1999年创立了雨林木风公司,其初衷是为满足中国市场对高品质、高性能电脑的需求。在陈年鑫先生的领导下,雨林木风以技术创新、产品质量和客户服务为核心价值,不断推...

aics6序列号永久序列号(aics6破解序列号)

关于AICS6这个版本,虽然是比较久远的版本,但是在功能上也是十分全面和强大的,作为一名平面设计师的话,AICS6的现有的功能已经能够应付几乎所有的设计工作了……到底AICC2019的功能是不是...

win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
  • win7正在启动windows 卡住(win7正在启动windows卡住了 进入安全模式)
手机可以装电脑系统吗(手机可以装电脑系统吗怎么装)

答题公式1:手机可以通过数据线或无线连接的方式给电脑装系统。手机安装系统需要一定的技巧和软件支持,一般需要通过数据线或无线连接的方式与电脑连接,并下载相应的软件和系统文件进行安装。对于大部分手机用户来...