百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Pandas:让你像写SQL一样做数据分析

liuian 2025-03-11 18:03 17 浏览

1. 引言

Pandas是一个开源的Python数据分析库。Pandas把结构化数据分为了三类:

  • Series,1维序列,可视作为没有column名的、只有一个column的DataFrame;
  • DataFrame,同Spark SQL中的DataFrame一样,其概念来自于R语言,为多column并schema化的2维结构化数据,可视作为Series的容器(container);
  • Panel,为3维的结构化数据,可视作为DataFrame的容器;

DataFrame较为常见,因此本文主要讨论内容将为DataFrame。DataFrame的生成可通过读取纯文本、Json等数据来生成,亦可以通过Python对象来生成:

import pandas as pd
import numpy as np


df = pd.DataFrame({'total_bill': [16.99, 10.34, 23.68, 23.68, 24.59],
 'tip': [1.01, 1.66, 3.50, 3.31, 3.61],
 'sex': ['Female', 'Male', 'Male', 'Male', 'Female']})

对于DataFrame,我们可以看到其固有的一些属性:

# data type of columns
print df.dtypes
# indexes
print df.index
# return pandas.Index
print df.columns
# each row, return array[array]
print df.values
  • index,为行索引
  • columns,为列名称(label)
  • dtype,为列数据类型

2. SQL操作

官方Doc给出了部分SQL的Pandas实现。在此基础上,本文给出了一些扩充说明。以下内容基于Python 2.7 + Pandas 0.18.1的版本。

select

SQL中的select是根据列的名称来选取;Pandas则更为灵活,不但可根据名称选取,还可以根据列所在的position选取。相关函数如下:

  • loc,基于列label,可选取特定行(根据行index);
  • iloc,基于行/列的position;
print df.loc[1:3, ['total_bill', 'tip']]
print df.loc[1:3, 'tip': 'total_bill']
print df.iloc[1:3, [1, 2]]
print df.iloc[1:3, 1: 3]
  • at,根据指定行index及列label,快速定位DataFrame的元素;
  • iat,与at类似,不同的是根据position来定位的;
print df.at[3, 'tip']
print df.iat[3, 1]
  • ix,loc与iloc的混合体,既支持label也支持position;
print df.ix[1:3, [1, 2]]
print df.ix[1:3, ['total_bill', 'tip']]

为了做行/列的选取,有更为简洁的表示:

print df[1: 3]
print df[['total_bill', 'tip']]
# print df[1:2, ['total_bill', 'tip']]  # TypeError: unhashable type

where

Pandas实现where filter,较为常用的办法为df[df[colunm] boolean expr],比如:

print df[df['sex'] == 'Female']
print df[df['total_bill'] > 20]

# or
print df.query('total_bill > 20')

在where子句中常常会搭配and, or, in, not关键词,Pandas中也有对应的实现:

# and
print df[(df['sex'] == 'Female') & (df['total_bill'] > 20)]
# or
print df[(df['sex'] == 'Female') | (df['total_bill'] > 20)]
# in
print df[df['total_bill'].isin([21.01, 23.68, 24.59])]
# not
print df[-(df['sex'] == 'Male')]
print df[-df['total_bill'].isin([21.01, 23.68, 24.59])]

distinct

drop_duplicates根据某列对dataframe进行去重:

df.drop_duplicates(subset=['sex'], keep='first', inplace=True)

包含参数:

  • subset,为选定的列做distinct,默认为所有列;
  • keep,值选项{'first', 'last', False},保留重复元素中的第一个、最后一个,或全部删除;
  • inplace ,默认为False,返回一个新的dataframe;若为True,则返回去重后的原dataframe

group

group一般会配合合计函数(Aggregate functions)使用,比如:count、avg等。Pandas对合计函数的支持有限,有count和size函数实现SQL的count:

print df.groupby('sex').size
print df.groupby('sex').count
print df.groupby('sex')['tip'].count

对于多合计函数,

select sex, max(tip), sum(total_bill) as total
from tip_tb
group by sex;

实现在agg函数中指定dict:

print df.groupby('sex').agg({'tip': np.max, 'total_bill': np.sum})

# distinct count
print df.groupby('tip').agg({'sex': pd.Series.nunique})

as

SQL中使用as修改列的别名,Pandas也支持这种修改:

# first implementation
df.columns = ['total', 'pit', 'xes']
# second implementation
df.rename(columns={'total_bill': 'total', 'tip': 'pit', 'sex': 'xes'}, inplace=True)

我们容易发现,第一种方法的修改是有问题的,因为其是按照列position逐一替换的。因此,我们推荐第二种方法。

join

Pandas中join的实现也有两种:

# 1.
df.join(df2, how='left'...)

# 2. 
pd.merge(df1, df2, how='left', left_on='app', right_on='app')

第一种方法是按DataFrame的index进行join的,而第二种方法才是按on指定的列做join。Pandas满足left、right、inner、full outer四种join方式。

order

Pandas中支持多列order,并可以调整不同列的升序/降序,而不需统一指定desc/asc:

print df.sort_values(['total_bill', 'tip'], ascending=[False, True])

top

对于全局的top:

print df.nlargest(3, columns=['total_bill'])

对于分组top,MySQL的实现(采用自join的方式):

select a.sex, a.tip
from tips_tb a
where (
    select count(*)
    from tips_tb b
    where b.sex = a.sex and b.tip > a.tip
) < 2
order by a.sex, a.tip desc;

Pandas的等价实现,思路与上类似:

# 1.
df.assign(rn=df.sort_values(['total_bill'], ascending=False)
 .groupby('sex')
 .cumcount+1)\
    .query('rn < 3')\
    .sort_values(['sex', 'rn'])
    
# 2.
df.assign(rn=df.groupby('sex')['total_bill']
 .rank(method='first', ascending=False)) \
    .query('rn < 3') \
    .sort_values(['sex', 'rn'])

自定义

除了上述SQL操作外,Pandas提供对每列/每一元素做自定义操作,为此而设计以下三个函数:

  • map(func),为Series的函数,DataFrame不能直接调用,需取列后再调用;
  • apply(func),对DataFrame中的某一行/列进行func操作;
  • applymap(func),为element-wise函数,对每一个元素做func操作
print df['tip'].map(lambda x: x - 1)
print df[['total_bill', 'tip']].apply(sum)
print df.applymap(lambda x: x.upper if type(x) is str else x)

3. 实战

环比增长

现有两个月APP的UV数据,要得到月UV增长量;等价于两个Dataframe left join后按指定列做减操作:

def chain(current, last):
    df1 = pd.read_csv(current, names=['app', 'tag', 'uv'], sep='\t')
    df2 = pd.read_csv(last, names=['app', 'tag', 'uv'], sep='\t')
    df3 = pd.merge(df1, df2, how='left', on='app')
    df3['uv_y'] = df3['uv_y'].map(lambda x: 0.0 if pd.isnull(x) else x)
    df3['growth'] = df3['uv_x'] - df3['uv_y']
    return df3[['app', 'growth', 'uv_x', 'uv_y']].sort_values(by='growth', ascending=False)

差集

对于给定的列,一个Dataframe过滤另一个Dataframe该列的值;相当于集合的差集操作:

def difference(left, right, on):
    """
    difference of two dataframes
    :param left: left dataframe
    :param right: right dataframe
    :param on: join key
    :return: difference dataframe
    """
    df = pd.merge(left, right, how='left', on=on)
    left_columns = left.columns
    col_y = df.columns[left_columns.size]
    df = df[df[col_y].isnull]
    df = df.ix[:, 0:left_columns.size]
    df.columns = left_columns
    return df

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...