在上一集中，我们学习了基本的筛选技术。今天，我们将学习如何使用`.query()`和`.apply()`方法进行更高级的筛选。

条件筛选进阶概述

随着数据集的复杂性增加，我们需要更强大的工具来帮助我们筛选数据。Pandas提供了`.query()`和`.apply()`这样的方法，让我们能够以更灵活、更强大的方式进行筛选。

使用.query()方法

python代码

# 使用.query()筛选工资高于平均值的员工

df_query = df.query('Salary > @df["Salary"].mean()')

# .query()方法允许我们使用python代码原生的变量，并且使筛选条件的表达更加直观。

使用.apply()方法

python代码

# 假设我们要根据一个自定义函数的计算结果来筛选数据

def is_top_earner(row):

return row['Salary'] > df['Salary'].mean()

# 使用.apply()和自定义函数筛选

df_apply = df.apply(is_top_earner, axis=1)

# .apply()方法允许我们对DataFrame的行或列应用一个函数，根据函数的返回值来筛选数据。

综合案例分析

假设我们有一个包含员工信息的DataFrame df，数据如下：

python代码

import pandas as pd

import numpy as np

# 示例数据

data = {

'EmployeeID': [101, 102, 103, 104, 105, 106],

'Name': ['John Doe', 'Jane Smith', 'Bob Johnson', 'Alice Davis', 'Mike Brown', 'Sophia Lee'],

'Department': ['Engineering', 'HR', 'Marketing', 'Engineering', 'Sales', 'Engineering'],

'Age': [34, 29, 45, 31, 28, 40],

'Salary': [70000, 50000, 60000, 75000, 48000, 80000]

}

df = pd.DataFrame(data)

步骤1：使用.query()方法

我们想要筛选出工资高于平均工资的员工。

python代码

# 使用.query()方法筛选

average_salary = df['Salary'].mean()

high_earners = df.query("Salary > @average_salary")

print(high_earners)

步骤2：使用.apply()方法

假设我们要根据员工的工龄（假设工龄为当前年份减去入职年份）来筛选员工，工龄超过10年的员工我们认为是资深员工。

python代码

# 假设当前年份为2023

current_year = 2023

# 使用.apply()方法筛选资深员工

senior_employees = df.apply(lambda x: current_year - x['EmployeeID'] // 100 > 10, axis=1)

print(senior_employees)

步骤3：结合.apply()和自定义函数

我们可以定义一个自定义函数来判断员工是否为高薪。

python代码

# 定义自定义函数判断是否为高薪

def is_high_earner(salary):

return salary > 75000

# 使用.apply()和自定义函数筛选高薪员工

high_earning_employees = df.apply(lambda x: is_high_earner(x['Salary']), axis=1)

print(high_earning_employees)

步骤4：筛选并展示结果

使用.query()和.apply()筛选出的数据可以用于进一步的分析或可视化。

python代码

# 使用.query()筛选高薪员工

high_earning_employees_query = df.query("Salary > 75000")

print(high_earning_employees_query)

步骤5：应用更改

将筛选后的数据保存到新的DataFrame或CSV文件中。

python代码

# 将筛选后的高薪员工数据保存到新的CSV文件

high_earning_employees_query.to_csv('high_earning_employees.csv', index=False)

性能考量

在进行筛选时，我们也需要考虑代码的性能。`.query()`通常比`.apply()`更快，因为它进行了优化以处理向量化操作。但是，`.apply()`提供了更大的灵活性，尤其是在处理复杂的自定义逻辑时。

总结与预告

今天我们学习了如何使用Pandas的`.query()`和`.apply()`方法进行高级筛选。这些方法提供了筛选数据的强大工具，使我们能够更加精确地控制数据的筛选过程。如果大家对条件筛选有任何疑问，或者在实践中遇到问题，请在评论区留言，我会尽快解答。