百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

数据清洗之pandas看后你就会用了

liuian 2025-01-10 15:15 41 浏览

Pandas是Python一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。Excel 2007及其以后的版本的最大行数是1048576,最大列数是16384,Pandas处理上千万的数据是易如反掌的,excel做不了的,pandas可以,excel能做的,pandas也可以;总而言之,谁用谁知道。

import pandas as pd
import numpy as np


df = pd.read_csv('2022-01-29跌幅前十.csv')

df

纬德信息\t-19.44\t城地香江\t-10.02\t安妮股份\t-10.01\t金财互联\t-10.01\t亚联发展\t-9.98\t吉大正元\t-9.98\t浙数文化\t-9.18\t证通电子\t-9.09\t新炬网络\t-7.49\t浪潮软件\t-7.24\t


通过df的info可以看出来,在上篇获取数据中,没有对数据处理,在这儿就需要整理出符合matplotlib要求的格式;这里需要先将数据转换成DataFrame形式

d = pd.DataFrame(df.columns[0].split('\t'))

有心的你看到了,凡是名称的索引都是偶数,涨跌幅度索引是奇数,我们需要根据这个规律提取出来符合要求的数据,这也涉及了数据变形的操作,后面会详细讲。

name = d[0][[i for i in range(0, 20, 2)]]
number = d[0][[i for i in range(1, 20, 2)]]



[[i for i in range(0, 20, 2)]]是python中的列表推导式,一种循环的写法,简捷高效,0是开始位,20是结束位,2是步长,range这三个参数的意思明白就好;现在这二条数据已经基本准备好了,为什么说基本呢?因为现在的数据是object,而在绘图时需要的是int(整型)或float(浮点),从上图中可以看出它们的dtype,我们转换一下

num2 = np.array(number, dtype=np.float16)


这是跌幅前十名的数据,按照这个操作涨幅前十名

dt = pd.read_csv('2022-01-29涨幅前十.csv')
zf = pd.DataFrame(dt.columns[0].split('\t'))
name1 = zf[0][[i for i in range(0, 20, 2)]]
number1 = zf[0][[i for i in range(1, 21, 2)]]
num1 = np.array(number1, dtype=np.float16)

上面为了详细展示操作过程,看着有点多,其实就5行代码就完成了所有的准备工作;

下面说说pandas中基本的增、删、改、查和数据的变形


上图是给原数据中增加一列,值为1,也可增加多列,写成列表的格式就行


也可以用drop删除,这里要注意,用del只能一次删除一列drop却可以用列表进行多列操作


上面说了按列删除,下面说下按行删除,为了方便后面展示,重新生成一个新表




# 将第二列中的0和1改成hello,world
d2['col1'] = d2['col1'].replace({0:'hello',1:'world'})


# 将col2列中的1改成ok
d2.iloc[0,2] = 'ok'    # 其中iloc[0, 2]是高级索引或切片索引,0是指第一列,2是指第一列第三行,当然也可以按行标签和列标签提取相应位置的数据,不过这样写简便
d2


将表中的hello全部替换成1,这里的厉害之处在于replace中可以用正则表达式,这一点excel坐导弹也追不上

d2.replace('hello','1')


通过上面的增、删、改,其实已经用了“查”,就是用切片索引查找,其中loc是按行标签查找,而iloc是可以行列结合


下面再说说行列数据变形相关的操作


ascending=0是改变默认的排序,1是默认值


行列变形的stack函数


变形后恢复默认索引状态


修改列名


原始的图形是

现在将d4再变形回去d3的样式


通过pivot函数达成目的,离原始还差一步,就是A的消失


现在已经实现了行列的互换,假如想将c列排到第一列去,需要一是将列标写成列表,二是再替换,具体的看图


到此,基本上可以用pandas处理日常工作了,下篇文章再说一下如何生成字典,以及将int变成object;

我们现在获取数据就可以直接用pandas读取和保存了,这样比上篇文章中说的简单直接还高效,这样的好处就是循环之类的就省了,从html.json()这儿开始,忘记的可以看下上篇文章

dataframe = pd.DataFrame(html.json()['list'])

dataframe.to_csv(title[spe])



二句代码解决问题,同时还保证了格式的统一和完整;下篇文章开始绘图的制作,欢迎留言或私信交流

相关推荐

qualcomm无线网卡驱动(高科无线网卡驱动)

先找个这个,然后卸载驱动程序,然后在装驱动,如果安装不成功,就去官网找驱动,驱动精灵的有时候不行。1、检查网线是否插好首先,我们需要检查下网线是否插好了。如果网线插口没插好,电脑就无法检测到网络信号...

虚拟内存设置多少合适16g(虚拟内存数值设置多少合适)

16g内存虚拟内存要调到24576MB才合适。虚拟内存的设置大小一般是物理内存的1.5倍,16G的内存可以考虑调整为24576MB。如果只用于办公方面,那么运行内存大于或等于4G,不用设置虚拟内存。如...

系统光盘镜像下载(系统光盘镜像文件转换到u盘)

要在虚拟机中使用映像文件,需要先将映像文件下载到本地计算机上,然后将其上传到虚拟机中。以下是下载映像文件的步骤:1.打开虚拟机管理软件,例如VMwareWorkstation或Virtual...

ghost系统盘制作(制作ghost启动盘)

首先,需要准备东西如下:光驱起码要支持DVD刻录吧,您要是Combo刻CD还真不好意思和别人打招呼。。。DVD白盘若干,一张随便什么样的可引导系统盘(里面有ghost的那种),nero软件,Ultra...

cad2008序列号和激活码(cad2008序列号密钥)

2008cad注册码是666-98989898。双击“AutoCAD2008Chs_运行获取激活码.exe”,将注册界面上的申请号粘贴到“AutoCAD2008Chs_运行获取激活码.exe”申请号一...

电脑无线网连不上怎么办(电脑无线网连接不上怎么回事)
电脑无线网连不上怎么办(电脑无线网连接不上怎么回事)

1、打开“控制面板”,点击“网络和Internet”。2、点击“网络和共享中心”。3、点击“更改适配器设置”。4、鼠标右键单击需要连接的网络,在弹出的对话框中,点击“属性”。5、选中“Internet协议版本4(TCP/IPv4)”,...

2025-11-28 23:55 liuian

u盘如何恢复删除的文件(如何恢复u盘中被删除的文件)

如果您在使用WPS时误删了U盘文件,可以使用以下几种方法来恢复文件:1.检查回收站:首先检查一下您的回收站中是否有被误删的文件,如果有,可以将文件恢复回来。2.使用WPS数据恢...

推特官网入口(推特官网入口网页登录网址)

首先在浏览器中打开推特的官网,然后点击页面上的“注册”创建账号。Twitter可以让用户更新不超过140个字符的消息(除中文、日文和韩语外已提高上限至280个字符),这些消息也被称作“推文(Tweet...

windows7如何清理c盘(win7怎么清理c盘)

1.打开桌面计算机,右键点击“C盘”,并选取“属性”。2.待新窗口弹出后,依次点击“工具”、“立即进行碎片整理”。3.最后,选取C盘,在按下“磁盘碎片整理”按钮,系统就会对C盘进行分析,并进行整理。4...

win10自带分区工具(win10官方分区工具)

Win10自带的分区工具是磁盘管理器,可以用来创建、删除、格式化和调整磁盘分区。下面是使用磁盘管理器分区的步骤:1.打开磁盘管理器。您可以在Windows10搜索栏中输入“磁盘管理器”来快速打开。...

appstore正版下载软件(apple store下载正版)

不会,他是正版的,因为只有ios系统可以用,但他里面的好游戏都是要收费的,所以打架都要越狱,去其它地方下载,不去商店的在安卓上,GooglePlayStore是类似于苹果的AppStore一...

手机锁屏密码键盘没了(手机输入密码的键盘没了怎么办)

如果手机锁屏密码的键盘找不到,首先要确认是否是由于软件问题导致的。可以尝试重启手机或者清理手机缓存来解决。如果问题仍然存在,可以尝试更换输入法或者恢复手机出厂设置来解决。如果以上方法都没有效果,建议联...

移动硬盘跟固态硬盘的区别(移动硬盘跟固态硬盘的区别是什么)

一:移动硬盘移动硬盘是指以传统机械磁盘作为存储介质,用于计算机之间交换大容量数据,讲究移动便携性的存储产品。优点:具有容量大、价格便宜的特点,方便存储大量文件数据。(推荐学习:web前端视频教程)缺...

windows怎么截图快捷键(windows截图快捷键没反应)

1、按Prtsc键截图这样获取的是整个电脑屏幕的内容,按Prtsc键后,可以直接打开画图工具,接粘贴使用。也可以粘贴在QQ聊天框或者Word文档中,之后再选择保存即可。2、按Ctrl+Prtsc键截图...

显示器分辨率有哪几种(显示器屏幕分辨率都有哪些)

目前使用较多的显示器分辨率有640*480,800*600,1024*768,1280*1024四种。刷新率,这主要是指显示器显示画面每秒刷新的次数,现在的电脑显示屏刷新率一般为75Hz,如果刷新率在...