数据清洗之pandas看后你就会用了
liuian 2025-01-10 15:15 41 浏览
Pandas是Python一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。Excel 2007及其以后的版本的最大行数是1048576,最大列数是16384,Pandas处理上千万的数据是易如反掌的,excel做不了的,pandas可以,excel能做的,pandas也可以;总而言之,谁用谁知道。
import pandas as pd
import numpy as np
df = pd.read_csv('2022-01-29跌幅前十.csv')
df
纬德信息\t-19.44\t城地香江\t-10.02\t安妮股份\t-10.01\t金财互联\t-10.01\t亚联发展\t-9.98\t吉大正元\t-9.98\t浙数文化\t-9.18\t证通电子\t-9.09\t新炬网络\t-7.49\t浪潮软件\t-7.24\t通过df的info可以看出来,在上篇获取数据中,没有对数据处理,在这儿就需要整理出符合matplotlib要求的格式;这里需要先将数据转换成DataFrame形式
d = pd.DataFrame(df.columns[0].split('\t'))有心的你看到了,凡是名称的索引都是偶数,涨跌幅度索引是奇数,我们需要根据这个规律提取出来符合要求的数据,这也涉及了数据变形的操作,后面会详细讲。
name = d[0][[i for i in range(0, 20, 2)]]
number = d[0][[i for i in range(1, 20, 2)]][[i for i in range(0, 20, 2)]]是python中的列表推导式,一种循环的写法,简捷高效,0是开始位,20是结束位,2是步长,range这三个参数的意思明白就好;现在这二条数据已经基本准备好了,为什么说基本呢?因为现在的数据是object,而在绘图时需要的是int(整型)或float(浮点),从上图中可以看出它们的dtype,我们转换一下
num2 = np.array(number, dtype=np.float16)这是跌幅前十名的数据,按照这个操作涨幅前十名
dt = pd.read_csv('2022-01-29涨幅前十.csv')
zf = pd.DataFrame(dt.columns[0].split('\t'))
name1 = zf[0][[i for i in range(0, 20, 2)]]
number1 = zf[0][[i for i in range(1, 21, 2)]]
num1 = np.array(number1, dtype=np.float16)上面为了详细展示操作过程,看着有点多,其实就5行代码就完成了所有的准备工作;
下面说说pandas中基本的增、删、改、查和数据的变形
上图是给原数据中增加一列,值为1,也可增加多列,写成列表的格式就行
也可以用drop删除,这里要注意,用del只能一次删除一列drop却可以用列表进行多列操作
上面说了按列删除,下面说下按行删除,为了方便后面展示,重新生成一个新表
# 将第二列中的0和1改成hello,world
d2['col1'] = d2['col1'].replace({0:'hello',1:'world'})
# 将col2列中的1改成ok
d2.iloc[0,2] = 'ok' # 其中iloc[0, 2]是高级索引或切片索引,0是指第一列,2是指第一列第三行,当然也可以按行标签和列标签提取相应位置的数据,不过这样写简便
d2将表中的hello全部替换成1,这里的厉害之处在于replace中可以用正则表达式,这一点excel坐导弹也追不上
d2.replace('hello','1')
通过上面的增、删、改,其实已经用了“查”,就是用切片索引查找,其中loc是按行标签查找,而iloc是可以行列结合
下面再说说行列数据变形相关的操作
ascending=0是改变默认的排序,1是默认值
行列变形的stack函数
变形后恢复默认索引状态
修改列名
原始的图形是
现在将d4再变形回去d3的样式
通过pivot函数达成目的,离原始还差一步,就是A的消失
现在已经实现了行列的互换,假如想将c列排到第一列去,需要一是将列标写成列表,二是再替换,具体的看图
到此,基本上可以用pandas处理日常工作了,下篇文章再说一下如何生成字典,以及将int变成object;
我们现在获取数据就可以直接用pandas读取和保存了,这样比上篇文章中说的简单直接还高效,这样的好处就是循环之类的就省了,从html.json()这儿开始,忘记的可以看下上篇文章
dataframe = pd.DataFrame(html.json()['list'])
dataframe.to_csv(title[spe])二句代码解决问题,同时还保证了格式的统一和完整;下篇文章开始绘图的制作,欢迎留言或私信交流
相关推荐
- qualcomm无线网卡驱动(高科无线网卡驱动)
-
先找个这个,然后卸载驱动程序,然后在装驱动,如果安装不成功,就去官网找驱动,驱动精灵的有时候不行。1、检查网线是否插好首先,我们需要检查下网线是否插好了。如果网线插口没插好,电脑就无法检测到网络信号...
- 虚拟内存设置多少合适16g(虚拟内存数值设置多少合适)
-
16g内存虚拟内存要调到24576MB才合适。虚拟内存的设置大小一般是物理内存的1.5倍,16G的内存可以考虑调整为24576MB。如果只用于办公方面,那么运行内存大于或等于4G,不用设置虚拟内存。如...
- 系统光盘镜像下载(系统光盘镜像文件转换到u盘)
-
要在虚拟机中使用映像文件,需要先将映像文件下载到本地计算机上,然后将其上传到虚拟机中。以下是下载映像文件的步骤:1.打开虚拟机管理软件,例如VMwareWorkstation或Virtual...
- ghost系统盘制作(制作ghost启动盘)
-
首先,需要准备东西如下:光驱起码要支持DVD刻录吧,您要是Combo刻CD还真不好意思和别人打招呼。。。DVD白盘若干,一张随便什么样的可引导系统盘(里面有ghost的那种),nero软件,Ultra...
- cad2008序列号和激活码(cad2008序列号密钥)
-
2008cad注册码是666-98989898。双击“AutoCAD2008Chs_运行获取激活码.exe”,将注册界面上的申请号粘贴到“AutoCAD2008Chs_运行获取激活码.exe”申请号一...
-
- 电脑无线网连不上怎么办(电脑无线网连接不上怎么回事)
-
1、打开“控制面板”,点击“网络和Internet”。2、点击“网络和共享中心”。3、点击“更改适配器设置”。4、鼠标右键单击需要连接的网络,在弹出的对话框中,点击“属性”。5、选中“Internet协议版本4(TCP/IPv4)”,...
-
2025-11-28 23:55 liuian
- u盘如何恢复删除的文件(如何恢复u盘中被删除的文件)
-
如果您在使用WPS时误删了U盘文件,可以使用以下几种方法来恢复文件:1.检查回收站:首先检查一下您的回收站中是否有被误删的文件,如果有,可以将文件恢复回来。2.使用WPS数据恢...
- 推特官网入口(推特官网入口网页登录网址)
-
首先在浏览器中打开推特的官网,然后点击页面上的“注册”创建账号。Twitter可以让用户更新不超过140个字符的消息(除中文、日文和韩语外已提高上限至280个字符),这些消息也被称作“推文(Tweet...
- windows7如何清理c盘(win7怎么清理c盘)
-
1.打开桌面计算机,右键点击“C盘”,并选取“属性”。2.待新窗口弹出后,依次点击“工具”、“立即进行碎片整理”。3.最后,选取C盘,在按下“磁盘碎片整理”按钮,系统就会对C盘进行分析,并进行整理。4...
- win10自带分区工具(win10官方分区工具)
-
Win10自带的分区工具是磁盘管理器,可以用来创建、删除、格式化和调整磁盘分区。下面是使用磁盘管理器分区的步骤:1.打开磁盘管理器。您可以在Windows10搜索栏中输入“磁盘管理器”来快速打开。...
- appstore正版下载软件(apple store下载正版)
-
不会,他是正版的,因为只有ios系统可以用,但他里面的好游戏都是要收费的,所以打架都要越狱,去其它地方下载,不去商店的在安卓上,GooglePlayStore是类似于苹果的AppStore一...
- 手机锁屏密码键盘没了(手机输入密码的键盘没了怎么办)
-
如果手机锁屏密码的键盘找不到,首先要确认是否是由于软件问题导致的。可以尝试重启手机或者清理手机缓存来解决。如果问题仍然存在,可以尝试更换输入法或者恢复手机出厂设置来解决。如果以上方法都没有效果,建议联...
- 移动硬盘跟固态硬盘的区别(移动硬盘跟固态硬盘的区别是什么)
-
一:移动硬盘移动硬盘是指以传统机械磁盘作为存储介质,用于计算机之间交换大容量数据,讲究移动便携性的存储产品。优点:具有容量大、价格便宜的特点,方便存储大量文件数据。(推荐学习:web前端视频教程)缺...
- windows怎么截图快捷键(windows截图快捷键没反应)
-
1、按Prtsc键截图这样获取的是整个电脑屏幕的内容,按Prtsc键后,可以直接打开画图工具,接粘贴使用。也可以粘贴在QQ聊天框或者Word文档中,之后再选择保存即可。2、按Ctrl+Prtsc键截图...
- 显示器分辨率有哪几种(显示器屏幕分辨率都有哪些)
-
目前使用较多的显示器分辨率有640*480,800*600,1024*768,1280*1024四种。刷新率,这主要是指显示器显示画面每秒刷新的次数,现在的电脑显示屏刷新率一般为75Hz,如果刷新率在...
- 一周热门
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)
