Pandas是一个强大的Python库，用于数据处理和分析，它提供了灵活的数据结构和数据操作功能，非常适合处理各种数据源，如CSV文件、Excel表格、SQL数据库等。

目录

1. 介绍

2. 安装

3. 基本数据结构

Series

DataFrame

4. 数据读取与写入

读取csv、excel等文件数据

写入csv、excel等文件数据

5. 数据选择与操作

切片和索引

数据过滤

数据排序

6. 数据统计与分析

描述性统计

数据聚合

7. 数据可视化

8. 结论

1. 介绍

Pandas是一个强大的数据处理和分析库，它构建在NumPy之上，提供了更高级的数据结构和数据操作功能，使数据清洗、分析和可视化变得更容易。它的两个主要数据结构是Series和DataFrame，可以用于处理各种类型的数据。

pip install pandas

3. 基本数据结构

Series

Series是一维标记数组，可以存储各种数据类型。你可以将Series视为带有标签的数组或字典。

import pandas as pd

data = pd.Series([10, 20, 30, 40, 50])

print(data)

DataFrame

DataFrame是一个二维数据结构，类似于电子表格或SQL表。它由行和列组成，每列可以包含不同类型的数据。

import pandas as pd

data = pd.DataFrame({
	'Name': ['Alice', 'Bob', 'Charlie'],
	'Age': [25, 30, 35]
})
print(data)

# Name, Age
#0,Alice,25
#1,Bob,30
#2,Charlie,35

import pandas as pd
data = [['Google',10],['Runoob',12],['Wiki',13]]
df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)
print(df)

# Site Age
#0 Google 10.0
#1 Runoob 12.0
#2 Wiki 13.0

遍历

使用for循环遍历行(常用)：

这种方法逐行遍历DataFrame，返回每行的索引和数据。iterrows()方法返回一个生成器，逐行返回每一行的数据

import pandas as pd

data = pd.DataFrame({
	'Name': ['Alice', 'Bob', 'Charlie'],
	'Age': [25, 30, 35]
})

for index, row in data.iterrows():
				print(f'Index: {index}, Name: {row["Name"]}, Age: {row["Age"]}')

#Index: 0, Name: Alice, Age: 25
#Index: 1, Name: Bob, Age: 30
#Index: 2, Name: Charlie, Age: 35

使用itertuples()方法遍历行：

for row in data.itertuples():
	print(f'Index: {row.Index}, Name: {row.Name}, Age: {row.Age}')

#Index: 0, Name: Alice, Age: 25
#Index: 1, Name: Bob, Age: 30
#Index: 2, Name: Charlie, Age: 35

使用apply()方法遍历列：

apply()方法可以用于对每一行或每一列的数据应用自定义函数。

def process_data(row):
	return f'Name: {row["Name"]}, Age: {row["Age"]}'

data['Info'] = data.apply(process_data, axis=1)
print(data['Info'])

#0 Name: Alice, Age: 25
#1 Name: Bob, Age: 30
#2 Name: Charlie, Age: 35
#Name: Info, dtype: object

4. 数据读取与写入

读取CSV文件数据

Pandas可以轻松读取各种数据格式，包括CSV文件：

import pandas as pd
data = pd.read_csv('data.csv')
print(data.head()) # 查看前几行数据

写入CSV文件数据

你也可以将数据保存到CSV文件：

import pandas as pd
data = pd.DataFrame({
	'Name': ['Alice', 'Bob', 'Charlie'],
	'Age': [25, 30, 35]
})

data.to_csv('output.csv', index=False) # 将数据保存到output.csv文件

读取json数据

[
   {
   "id": "A001",
   "name": "baidu",
   "url": "https://www.baidu.com/",
   "likes": 61
   },
   {
   "id": "A002",
   "name": "Google",
   "url": "https://www.google.com",
   "likes": 124
   },
   {
   "id": "A003",
   "name": "taobao",
   "url": "www.taobao.com",
   "likes": 45
   }
]

to_string() 用于返回 DataFrame 类型的数据，我们也可以直接处理 JSON 字符串。

import pandas as pd

df = pd.read_json('sites.json')
print(df.to_string())

# id name url likes
#0 A001 baidu https://www.baidu.com/ 61
#1 A002 Google https://www.google.com 124
#2 A003 taobao www.taobao.com 45
df = pd.DataFrame(data)

JSON 对象与 Python 字典具有相同的格式，所以我们可以直接将 Python 字典转化为 DataFrame 数据：

import pandas as pd

# 字典格式的 JSON

data_dict = {
	"col1":{"row1":1,"row2":2,"row3":3},
	"col2":{"row1":"x","row2":"y","row3":"z"}
}

# 读取 JSON 转为 DataFrame
df = pd.DataFrame(data_dict)
print(df)

# col1 col2
#row1 1 x
#row2 2 y
#row3 3 z

内嵌的 JSON 数据

假设有一组内嵌的 JSON 数据文件 nested_list.json ：

{
    "school_name": "ABC primary school",
    "class": "Year 1",
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "math": 60,
        "physics": 66,
        "chemistry": 61
    },
    {
        "id": "A002",
        "name": "James",
        "math": 89,
        "physics": 76,
        "chemistry": 51
    },
    {
        "id": "A003",
        "name": "Jenny",
        "math": 79,
        "physics": 90,
        "chemistry": 78
    }]
}

import pandas as pd

df = pd.read_json('nested_list.json')

df

# school_name class students
#0 ABC primary school Year 1 {'id': 'A001', 'name': 'Tom', 'math': 60, 'phy...
#1 ABC primary school Year 1 {'id': 'A002', 'name': 'James', 'math': 89, 'p...
#2 ABC primary school Year 1 {'id': 'A003', 'name': 'Jenny', 'math': 79, 'p...

这时我们就需要使用到 json_normalize() 方法将内嵌的数据完整的解析出来：

import pandas as pd
import json

# 使用 Python JSON 模块载入数据
with open('nested_list.json','r') as f:
	data = json.loads(f.read())
	# 展平数据
	df_nested_list = pd.json_normalize(data, record_path =['students'])

print(df_nested_list)

# id name math physics chemistry
#0 A001 Tom 60 66 61
#1 A002 James 89 76 51
#2 A003 Jenny 79 90 78

data = json.loads(f.read()) 使用 Python JSON 模块载入数据。

json_normalize() 使用了参数 record_path 并设置为 ['students'] 用于展开内嵌的 JSON 数据 students。

显示结果还没有包含 school_name 和 class 元素，如果需要展示出来可以使用 meta 参数来显示这些元数据：

import pandas as pd
import json

# 使用 Python JSON 模块载入数据

with open('nested_list.json','r') as f:
	data = json.loads(f.read())
				
	# 展平数据
  df_nested_list = pd.json_normalize(data, record_path =['students'], meta=['school_name', 'class'])


print(df_nested_list)

# id name math physics chemistry school_name class
#0 A001 Tom 60 66 61 ABC primary school Year 1
#1 A002 James 89 76 51 ABC primary school Year 1
#2 A003 Jenny 79 90 78 ABC primary school Year 1

接下来，让我们尝试读取更复杂的 JSON 数据，该数据嵌套了列表和字典，数据文件 nested_mix.json 如下：

{
    "school_name": "local primary school",
    "class": "Year 1",
    "info": {
      "president": "John Kasich",
      "address": "ABC road, London, UK",
      "contacts": {
        "email": "admin@e.com",
        "tel": "123456789"
      }
    },
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "math": 60,
        "physics": 66,
        "chemistry": 61
    },
    {
        "id": "A002",
        "name": "James",
        "math": 89,
        "physics": 76,
        "chemistry": 51
    },
    {
        "id": "A003",
        "name": "Jenny",
        "math": 79,
        "physics": 90,
        "chemistry": 78
    }]
}

nested_mix.json 文件转换为 DataFrame：

import pandas as pd
import json

# 使用 Python JSON 模块载入数据
with open('nested_mix.json','r') as f:
	data = json.loads(f.read())

df = pd.json_normalize(
  data,
  record_path =['students'],
  meta=[
  	'class',
  	['info', 'president'],
    ['info', 'contacts', 'tel']
  ]
)

df

读取内嵌数据中的一组数据

以下是实例文件 nested_deep.json，我们只读取内嵌中的 math 字段：

5. 数据选择与操作

切片和索引

你可以使用标签或位置来选择数据：

import pandas as pd

data = pd.DataFrame({
	'Name': ['Alice', 'Bob', 'Charlie'],
	'Age': [25, 30, 35]
})

# 使用标签选择数据
print(data['Name'])

print("+++"*10)
# 使用位置选择数据
print(data.iloc[0])

#0 Alice
#1 Bob
#2 Charlie
#Name: Name, dtype: object
#++++++++++++++++++++++++++++++
#Name Alice
#Age 25
#Name: 0, dtype: object

数据过滤

你可以根据条件过滤数据：

import pandas as pd

data = pd.DataFrame({
	'Name': ['Alice', 'Bob', 'Charlie'],
	'Age': [25, 30, 35]
})

filtered_data = data[data['Age'] > 30]
print(filtered_data)

# Name Age
#2 Charlie 35

数据排序

对数据进行排序：

import pandas as pd

data = pd.DataFrame({
	'Name': ['Alice', 'Bob', 'Charlie'],
  'Age': [25, 30, 35]
})

sorted_data = data.sort_values(by='Age', ascending=False)
print(sorted_data)

# Name Age
#2 Charlie 35
#1 Bob 30
#0 Alice 25

6. 数据统计与分析

描述性统计

Pandas提供了各种描述性统计方法，如mean、median、std等：

import pandas as pd

data = pd.DataFrame({
	'Age': [25, 30, 35, 40, 45]
})

print(data.mean()) # 计算平均值
print(data.median()) # 计算中位数
print(data.std()) # 计算标准差

#Age 35.0
#dtype: float64
#Age 35.0
#dtype: float64=
#Age 7.905694
#dtype: float64

数据聚合

你可以使用groupby方法对数据进行聚合操作：

import pandas as pd

data = pd.DataFrame({
	'Category': ['A', 'B', 'A', 'B', 'A'],
	'Value': [10, 20, 15, 25, 30]
})

grouped_data = data.groupby('Category').sum()
print(grouped_data)

# Value
#Category
#A 55
#B 45

7. 数据可视化

Pandas结合其他库如Matplotlib和Seaborn可以用于数据可视化。这里只提供一个简单示例：

import pandas as pd

import matplotlib.pyplot as plt

data = pd.DataFrame({
  'Year': [2010, 2011, 2012, 2013, 2014],
	'Sales': [100, 150, 200, 250, 300]
})

data.plot(x='Year', y='Sales', kind='line')
plt.show()

最后

Pandas是一个强大的Python库，用于数据处理和分析。本教程涵盖了Pandas的基本数据结构、数据读写、数据操作、统计分析和简单可视化。希望这个教程能帮助你入门Pandas，并在数据处理工作中发挥作用。如果你想深入学习Pandas，可以查看Pandas官方文档和更高级的教程。

参考文献：

1. https://www.runoob.com/pandas/pandas-json.html