Python查询缺失值的常用方法有哪些-群英

上一篇：MobileNetV3是什么及其网络结构如何理解下一篇：LSTM是什么，在Keras中如何实现LSTM

在这篇文章中我们来了解一下“Python查询缺失值的常用方法有哪些”，一些朋友可能会遇到这方面的问题，对此在下文小编向大家来讲解一下，内容详细，易于理解，希望大家阅读完这篇能有收获哦，有需要的朋友就往下看吧！

今天聊聊Python中查询缺失值的4种方法。

缺失值 NaN ①

在Pandas中查询缺失值，最常用的⽅法就是isnull()，返回True表示此处为缺失值。

我们可以将其与any()⽅法搭配使用来查询存在缺失值的行，也可以与sum()⽅法搭配使用来查询存在缺失值的列。

在交互式环境中输入如下命令：

df.isnull()

输出：

在交互式环境中输入如下命令：

df.isnull().any(axis=1)

输出：

在交互式环境中输入如下命令：

df.isnull().sum()

输出：

注：isna()和isnull()的用法是相同的，这里不再演示

由于在Pandas中isnull()方法返回True表示此处为缺失值，所以我们可以对数据集进行切片也可实现找到缺失值。

在交互式环境中输入如下命令：

df[df.isnull().values==True]

输出：

注意：如果某行有多个值是空值，则会重复次数出现，所以我们可以利用df[df.isnull().values==True].drop_duplicates()来去重。

另外，notnull()方法是与isnull()相对应的，使用它可以直接查询非缺失值的数据行。

df[df["A列"].notnull()]

输出：

空值在Pandas中指的是空字符串""，我们同样可以对数据集进行切片找到空值。

在交互式环境中输入如下命令：

df[df["B列"] == ""]

输出：

此外，也可以利用空值与正常值的区别来区分两者，比如isnumeric()方法检测字符串是否只由数字组成。

在交互式环境中输入如下命令：

df[df["B列"].str.isnumeric() == False ]

输出：

如上所示，同样查询到了数据集中的空值。

很多时候，我们要处理的是本地的历史数据文件，在这些Excel中往往并不规范，比如它们有可能会使用“*”、“？”、“—”、“！”等等字符来表示缺失值。

对于这类文本，我们可以使用正则表达式来匹配缺失值。

import re
df[df["C列"].apply(lambda x: len(re.findall('NA|[*|?|!|#|-]', x)) != 0)]

输出：

如上所示，我自定义了匿名函数lambda，作用是在文本列的每一行中查找以下文本值：“NA”、“*”、“？” 、“！” 、“#”、“-”，并检查它找到的列表的长度。如果列表不为零，则表示找到了代表缺失值的字符，因此该行中至少有一个缺失值。

df[df["D列"].apply(lambda x: len(re.findall('NA|[*|?|!|#|-]', x)) != 0)]

输出：

我们可以对不同列都进行同样的缺失值查询，另外也可以根据自己的实际情况，替换正则表达式中代表缺失值的字符。

以上就是关于“Python查询缺失值的常用方法有哪些”的相关知识，感谢各位的阅读，想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会，如果想了解更多相关内容的文章，欢迎关注群英网络，小编每天都会为大家更新不同的知识。

标签： python

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

上一篇：MobileNetV3是什么及其网络结构如何理解下一篇：LSTM是什么，在Keras中如何实现LSTM