数据分析库-Pandas
liuian 2025-01-10 15:15 20 浏览
1. Pandas简介
Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算)。
Pandas是一种结构化数据工具集,可以用于数据挖掘、数据分析、数据清洗、数据可视化等。
2. 数据类型
Pandas库最重要的两种数据结构是Series、DataFrame。
Series:一种类似于一维数组的对象, 是由一组Numpy数据及该数据对应的数字序列构成;可以通过该数字序列访问Numpy数据。
DadaFrame:一种表格型的数据结构,是由一组有序的列构成,每一列可以是不同的数据类型,相当于Series数据结构集合;与表格数据类似,DadaFrame数据有行索引和列索引;结合行、列索引可以访问其中单个数据元素。
数据结构 | 定义 |
Series | 带标签的一维同构数组 |
DataFrame | 带标签、大小可变的二维异构表格 |
3. Pandas总览
- 对象生成
生成Series对象和DataFrame对象
函数 | 实例 |
pd.Series | pd.Series([1,2,3],index['一','二','三'] |
pd.DataFrame | pd.DataFrame([[1,2,3],[1,2,3]]) |
import pandas as pd
pd.Series([1,2,3,4],index=['一','二','三','四']
pd.DataFrame([[1,2,3],[1,2,3]])
- 数据访问
访问Series对象和DataFrame对象中的数据元素
函数 | 作用 |
df.head( ) | 访问对象头部数据 |
df.tail( ) | 访问对象尾部数据 |
df.describe( ) | 访问对象的多个统计数据 |
df.index | 访问对象的行索引 |
df.columns | 访问对象的列索引 |
df.values | 访问对象的数据元素 |
df.loc[ ] | 按索引访问对象的数据 |
df[条件] | 通过条件筛选数据 |
df.isin([ ]) | 通过条件筛选数据 |
df.iloc[ ] | 按位置访问对象的数据 |
import pandas as pd
import pandas as pd
df = pd.DataFrame({'公号名':['人类之奴','十点美剧','韩剧剧场','果壳网','十点读书','胖胖啊'],'领域':['科技','影视','影视','科普','阅读','情感'],'粉丝数':[100000,964,1232,543,9990,200],'更新':['日更','周更','日更','月更','周更','日更']})
df.head()
df.tail(1)
df['粉丝数'].describe()
df.index
df.columns
df.values
df.loc[0]
df.loc[:]['公号名']
df.iloc[1:3]
df.iloc[1:4,0:2]
df[df['粉丝数']>9000]
df[df['领域'].isin(['科技'])]
- 文件读写
Pandas可以读写.csv、.xlsx等常用文件;读取的同时将数据转换成DataFrame数据结构,用于后续处理。
函数 | 作用 |
pd.read_csv( ) | 读取.csv文件 |
pd.to_csv( ) | 将数据保存为.csv文件 |
pd.read_excel( ) | 读取.xlsx文件 |
pd.to_excel( ) | 将数据保存为.xlsx文件 |
pd.read_hdf( ) | 读取.h5文件 |
pd.to_hdf( ) | 将数据保存为.h5文件 |
import pandas as pd
path = 'D:\\桌面\\pd0.csv'
#GB18030可以解码包含中文的文件
df_csv = pd.read_csv(path,encoding='GB18030')
df_csv.to_csv('人类之奴.csv')
df_xlsx = pd.read_excel('D:\\桌面\\python包.xlsx',sheet_name=0)
df_xlsx.to_excel('人类之奴.xlsx')
df_hdf = pd.read_hdf('人类之奴.h5')
df_csv.to_hdf('人类之奴.h5','a')
- 数据清洗
对对象中缺失的、有问题的数据进行处理(删除、填充、替换)。
函数 | 作用 |
df.dropna( ) | 删除有缺失值的数据项 |
df.fillna( ) | 填充缺失值 |
import pandas as pd
df = pd.DataFrame({'公号名':['人类之奴','十点美剧','韩剧剧场','果壳网','十点读书','胖胖啊'],'领域':['科技',None,'影视','科普',None,'情感'],'粉丝数':[100000,964,None,543,9990,200],'更新':['日更','周更','日更','月更','周更','日更']})
df.head()
df.dropna()
df.fillna('科技')
- 数据处理
数据处理包括数据拼接、数据重排、数据分析等。
函数 | 作用 |
pd.concat([ ]) | 拼接Series/DataFrame对象 |
pd.merge( ) | 合并Series/DataFrame对象 |
pd.join( ) | 合并Series/DataFrame对象 |
df.sort_index( ) | 按索引重排数据 |
df.sort_values( ) | 按值重排数据 |
Numpy方法 | Series/DataFrame对象可以调用Numpy方法 |
df.groupby([ ]).function( ) | 分组进行function处理 |
df.apply(function) | 对对象整体调用function处理 |
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'名称':['甲','乙','丙','丁'],'语文':[56,34,67,89]})
df2 = pd.DataFrame({'名称':['甲','乙','丙','丁'],'数学':[98,97,89,35]})
pd.concat([df1,df2],axis=1)
pd.merge(df1,df2)
df = pd.merge(df1,df2)
df.sort_index(1,ascending=False)
df.sort_values(by='数学')
df.groupby(['数学']).mean()
df['数学'].apply(np.median)
- 数据可视化
对Series/DataFrame对象进行可视化。
函数 | 作用 |
pd.plot( ) | 绘制折线图 |
pd.plot.hist( ) | 绘制直方图 |
pd.plot.scatter( ) | 绘制散点图 |
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
df1 = pd.DataFrame({'语文':[56,34,67,89]})
df2 = pd.DataFrame({'数学':[98,97,89,35]})
pd.concat([df1,df2],axis=1)
pd.merge(df1,df2)
df.plot()
df.plot.hist()
df.plot.scatter()
#运行出错,没有解决这个问题,希望懂得朋友评论区帮忙解决一下
写在最后
链接:Pandas 中文
相关推荐
- 2023年最新微信小程序抓包教程(微信小程序 抓包)
-
声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...
- 测试人员必看的软件测试面试文档(软件测试面试怎么说)
-
前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...
- 复活,视频号一键下载,有手就会,长期更新(2023-12-21)
-
视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...
- 新款HTTP代理抓包工具Proxyman(界面美观、功能强大)
-
不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...
- 使用Charles工具对手机进行HTTPS抓包
-
本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...
- 苹果手机下载 TikTok 旧版本安装包教程
-
目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...
- 【0基础学爬虫】爬虫基础之抓包工具的使用
-
大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...
- 防止应用调试分析IP被扫描加固实战教程
-
防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...
- 一文了解 Telerik Test Studio 测试神器
-
1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...
- HLS实战之Wireshark抓包分析(wireshark抓包总结)
-
0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...
- 信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )
-
HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...
- Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口
-
使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...
- python爬虫教程:教你通过 Fiddler 进行手机抓包
-
今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...
- Fiddler入门教程全家桶,建议收藏
-
学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...
- fiddler如何抓取https请求实现手机抓包(100%成功解决)
-
一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...
- 一周热门
-
-
Python实现人事自动打卡,再也不会被批评
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
系统C盘清理:微信PC端文件清理,扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看,轻松搞定虚拟机、Docker、软路由
-
python使用fitz模块提取pdf中的图片
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)