Python Pandas数据分析 - Day 1 - 基本结构

liuian 2025-09-06 06:26 34 浏览

前言

今天是跟着@外星人玩Python学习Pandas的第一天，拜读了Chapter01、02，这两节课程主要讲解Pands的基本结构，如下图所示，主要有:

DataFrame
Series
Index,MultiIndex

Chapter01 - 原始数据

代码实现

Chapter01的代码实现：

# -*- coding: utf-8 -*-
"""
Spyder Editor

@外星人学Python Chapter01
"""

# 修改本地文件路径
import os

os.chdir("E:/2018-VGIC/21_SuccessFactor/Python Training/pandas专栏数据与源码/文章源码/文章源码/src/01/src")

#%%
import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# df = pd.read_csv('data.csv', header=0, index_col=(0))

# 打印数据，数据量大的时候不建议使用
df
# =============================================================================
# Out[5]: 
#    名称    单价  数量
# 0  苹果  10.5   2
# 1  雪梨   6.0   5
# 2  西瓜   8.0  10
# =============================================================================

df.values
# =============================================================================
# Out[6]: 
# array([['苹果', 10.5, 2],
#        ['雪梨', 6.0, 5],
#        ['西瓜', 8.0, 10]], dtype=object)
# =============================================================================

#%%

# Series, 系列
# 通过DataFrame['列名 ']访问

df['名称']
# =============================================================================
# Out[9]: 
# 0    苹果
# 1    雪梨
# 2    西瓜
# Name: 名称, dtype: object
# =============================================================================

# Index，通过索引访问某一行的数据
df.loc[1, :]
# =============================================================================
# Out[10]: 
# 名称     雪梨
# 单价    6.0
# 数量      5
# Name: 1, dtype: object
# =============================================================================


# loc[行索引, 列索引]，通过行列索引访问某一具体单元格的数据
df.loc[1, '名称']
# Out[12]: '雪梨'

df.loc[2, '单价']

#%%

# 通过DataFrame的set_index方法设置索引，指定列索引

df = df.set_index('名称')

df
# =============================================================================
# Out[23]: 
#       单价  数量
# 名称          
# 苹果  10.5   2
# 雪梨   6.0   5
# 西瓜   8.0  10
# =============================================================================

df.loc['西瓜', :]
# =============================================================================
# Out[24]: 
# 单价     8.0
# 数量    10.0
# Name: 西瓜, dtype: float64
# =============================================================================
#%%

Chapter02的代码实现：

# -*- coding: utf-8 -*-
"""
Created on Sat Dec 25 22:09:10 2021

@author: txdmxcg

@外星人学Python Chapter02

"""

import os

os.chdir("E:/2018-VGIC/21_SuccessFactor/Python Training/pandas专栏数据与源码/文章源码/文章源码/src/02/src")

#%%

import pandas as pd

df = pd.read_excel('data/天气.xlsx', sheet_name='Sheet1')

# 设置星期列为行索引
df = df.set_index('星期')
df
# =============================================================================
# Out[18]: 
#      日类型     气温  紫外线  湿度
# 星期                      
# 星期一  工作日  12.79   13   3
# 星期二  工作日  19.67   28  96
# 星期三  工作日  17.51   16  20
# 星期四  工作日  14.44   11  22
# 星期五  工作日  10.51   26  79
# 星期六   周末  11.07   27  62
# 星期日   周末  17.50   20   1
# =============================================================================

#%%
# 通过行索引标签获取数据

# 获取每天的气温（切片方法）
df.loc[:, '气温']
# =============================================================================
# Out[15]: 
# 星期
# 星期一    12.79
# 星期二    19.67
# 星期三    17.51
# 星期四    14.44
# 星期五    10.51
# 星期六    11.07
# 星期日    17.50
# Name: 气温, dtype: float64
# =============================================================================

# 获取某一天的气温
df.loc['星期一','气温']
# Out[16]: 12.79

# 获取多行气温
df.loc[['星期一','星期四'],'气温']
# =============================================================================
# Out[17]: 
# 星期
# 星期一    12.79
# 星期四    14.44
# Name: 气温, dtype: float64
# =============================================================================

# selected = ['星期一','星期四']，通过列表值进行访问
# df.loc[selected,'气温']

# 也可以通过列标签传入列表，访问多列数据
# cols = ['气温','湿度']

df.loc[ ['星期一','星期四'] , ['气温','湿度']]
# =============================================================================
# Out[19]: 
#         气温  湿度
# 星期            
# 星期一  12.79   3
# 星期四  14.44  22
# =============================================================================

# 切片，通过“:”访问部分数据，“:”需要放在索引标签
# 如，获取周一，周四的所有数据
df.loc[ ['星期一','星期四'] , :]
# =============================================================================
# Out[20]: 
#      日类型     气温  紫外线  湿度
# 星期                      
# 星期一  工作日  12.79   13   3
# 星期四  工作日  14.44   11  22
# =============================================================================

# 如，获取每天的紫外线数据
df.loc[:, '紫外线']
# =============================================================================
# Out[21]: 
# 星期
# 星期一    13
# 星期二    28
# 星期三    16
# 星期四    11
# 星期五    26
# 星期六    27
# 星期日    20
# Name: 紫外线, dtype: int64
# =============================================================================

# 切片的区间段操作，"起点":"终点"，表示从起点数据一直取到终点数据
# 这里没有引用作者原文中的"左":"右"，因为从DataFrame的结构来讲，数据不仅有列（Series）的数据，也有行 Row的数据；
# 如，我们想取从星期二到星期五之间，气温到紫外线的数据

df.loc['星期二':'星期五' , '气温':'紫外线' ]
# =============================================================================
# Out[23]: 
#         气温  紫外线
# 星期             
# 星期二  19.67   28
# 星期三  17.51   16
# 星期四  14.44   11
# 星期五  10.51   26
# =============================================================================

# 或者每天的气温到紫外线的数据
df.loc[:, '气温':'紫外线']
# =============================================================================
# Out[24]: 
#         气温  紫外线
# 星期             
# 星期一  12.79   13
# 星期二  19.67   28
# 星期三  17.51   16
# 星期四  14.44   11
# 星期五  10.51   26
# 星期六  11.07   27
# 星期日  17.50   20
# =============================================================================

#%%
# 通过位置索引获取数据 df.iloc, 位置索引从0开始

df
# =============================================================================
# Out[27]: 
#       0        1       2       3
#      日类型     气温  紫外线  湿度
# 星期                      
# 0 星期一  工作日  12.79   13   3
# 1 星期二  工作日  19.67   28  96
# 2 星期三  工作日  17.51   16  20
# 3 星期四  工作日  14.44   11  22
# 4 星期五  工作日  10.51   26  79
# 5 星期六   周末  11.07   27  62
# 6 星期日   周末  17.50   20   1
# 7 星期日   周末  17.50   20   1
# =============================================================================

df.iloc[1,2]
# Out[25]: 28

# 位置索引的切片规则，不包括右区间

df.iloc[1:5, :]

# =============================================================================
# Out[26]: 
#      日类型     气温  紫外线  湿度
# 星期                      
# 星期二  工作日  19.67   28  96
# 星期三  工作日  17.51   16  20
# 星期四  工作日  14.44   11  22
# 星期五  工作日  10.51   26  79
# =============================================================================

#%%
# 通过位置参数获取部分切片
first = df.iloc[:5, :]
second = df.iloc[5:, :]

first
# =============================================================================
# Out[31]: 
#      日类型     气温  紫外线  湿度
# 星期                      
# 星期一  工作日  12.79   13   3
# 星期二  工作日  19.67   28  96
# 星期三  工作日  17.51   16  20
# 星期四  工作日  14.44   11  22
# 星期五  工作日  10.51   26  79
# =============================================================================

second
# =============================================================================
# Out[32]: 
#     日类型     气温  紫外线  湿度
# 星期                     
# 星期六  周末  11.07   27  62
# 星期日  周末  17.50   20   1
# =============================================================================

#%%
# 高级切片应用，切片的第三个参数表示step，即取数的间隔
df.iloc[0:5:2, :]
# =============================================================================
# Out[33]: 
#      日类型     气温  紫外线  湿度
# 星期                      
# 星期一  工作日  12.79   13   3
# 星期三  工作日  17.51   16  20
# 星期五  工作日  10.51   26  79
# =============================================================================

# 通过slice方法自定义切片
rows = slice(0,5,2)

df.iloc[rows, :]
# =============================================================================
# Out[36]: 
#      日类型     气温  紫外线  湿度
# 星期                      
# 星期一  工作日  12.79   13   3
# 星期三  工作日  17.51   16  20
# 星期五  工作日  10.51   26  79
# =============================================================================

总结

因为自己也在同步读大神Wes McKinney的《Python for Data Anlysis》2ndEdition，目前也刚好看到了第五章“Getting Started with Pands”，感觉有必要补充一些具体案例增强应用Pandas进行数据分析的理解，因此跟着外星人一起学Python，他的系列实用性较强，比较推荐。

代码编写方面，同样推荐直接下载安装Anaconda的应用程序，包含了Numpy，Pandas，Matplotlab的很多包，省时省力。

dataframe切片