一、之 Pandas Dataframe合并

在数据分析中，避免不了要从多个数据集中取数据，那就避免不了要进行数据的合并，这篇文章就来介绍一下 Dataframe 对象的合并操作。

Pandas 提供了merge()方法来进行合并操作，使用语法如下：

pd.merge(left, right, how="inner", on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False)

常用的参数说明：

• left、right：指定左右两个要进行合并的 DataFrame 对象
• how：指定合并类型，可以选择left、right、outer、inner，此参数可以确定以哪边（左边、右边或者左右共有）的键为基准，如果出现匹配失败的用NaN填充，默认为inner，具体如下：
  • left：代表左连接，以左DataFrame为基准，右侧匹配失败的用NaN填充
  • right：代表右连接，以右DataFrame为基准，左侧匹配失败的用NaN填充
  • inner：代表内连接，取交集
  • outer：代表外连接，取并集，匹配失败的用NaN填充
• on：指定用于连接的键，也就是列名，传递改参数的话，必须保证传递的“键”在左右两边的DataFrame中都存在
• left_on：指定左侧DataFrame中用于连接的键
• right_on：指定右侧DataFrame中用于连接的键
• left_index & right_index：表示以行索引作为合并基准，默认为False
• sort：指定是否按照字典顺序通过连接键对结果DataFrame进行排序，默认为False

例如，对下面两个 DataFrame 对象执行合并操作：

import pandas as pd
data = {"name": ["Alice", "Bob", "Cindy", "David"], "age": [25, 23, 28, 24], "gender": ["woman", "man", "woman", "man"]}
df1 = pd.DataFrame(data)
df1

data = {"name": ["Alice", "Bob", "Cindy", "Emilie"], "city": ["beijing", "beijing", "jinan", "shanghai"]}
df2 = pd.DataFrame(data)
df2

使用name作为连接键：

merge_pd = pd.merge(df1, df2, on="name")
merge_pd

结果输出如下：

设置为左连接：

merge_pd = pd.merge(df1, df2, on="name", how="left")
merge_pd

结果输出如下：

在进行数据分析时，数据的质量可能并不理想，有可能包含一些重复数据，那我们就要进行数据的“去重”操作，删除重复的数据，保留唯一的数据项，从而提高数据集整体的精确度，同时也可以节省空间、提升读写性能等，接下来就来介绍一下 Pandas Dataframe 的去重操作。

二、去重操作

Pandas 提供了drop_duplicates()方法进行数据的去重操作，具体使用格式如下：

df.drop_duplicates(subset=None, keep="first", inplace=False, ignore_index=False)

参数说明如下：

• subset：指定要进行去重的列名，默认为None，可以使用列表指定一个或多个列名
• keep：有三个参数可选：first、last、False，默认为first，表示只保留第一次出现的重复项，删除其余重复项；last表示只保留最后一次出现的重复项；False表示删除所有重复项
• inplace：是否在原Dataframe对象上进行操作
• ignore_index：默认为False，设置为True可以重新生成行索引。

例如，对下面 DataFrame 对象进行去重操作：

可以看到该DataFrame 对象中索引为1、3的行是重复的，下面进行去除：

保留第一次出现的重复项：

df.drop_duplicates(inplace=True)
df

结果输出如下：

删除所有重复项：

df.drop_duplicates(keep=False, inplace=True)
df

结果输出如下：

ignore_index参数使用：

df.drop_duplicates(inplace=True, ignore_index=True)
df

ignore_index设置为True后，通过结果可以看到，行索引进行了重排。

当然drop_duplicates()方法也可以根据指定列名去重，给subset传递参数即可，例如根据name列进行去重：

df.drop_duplicates(subset=["name"], inplace=True)

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• LRU缓存置换算法如何实现，测试怎样做

  这篇文章主要为大家详细介绍了Python实现LRU缓存置换算法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

• Python中property的使用方式是怎样的，如何做

  property是一个类，可以把一个方法当做属性进行使用，这样做可以简化代码使用。实际上就是装饰类中属性的gettersetter方法，使得属性可以通过对象.属性的方式获取或设置 使用property的两种方式装饰器方式类属性方式2.装饰器方式@property修饰获取的方法getter,方法名必须和属性名一样@age.setter修饰设置值的方法sett

• python爬虫中怎样使用urllib模块

  这篇文章主要介绍了python爬虫开发之urllib模块详细使用方法与实例全解,需要的朋友可以参考下

• 用python怎样写个给图片去水印功能

  这篇文章主要为大家详细介绍了使用python实现简单去水印功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

• 怎样用Python画中国结，方法及代码是什么

  内容介绍1中国结的组成部分2设计中国结对象3绘制结体4绘制耳翼5绘制挂耳和流苏6完整代码，一键运行1中国结的组成部分中国结是一种手工编织工艺品，它身上所显示的情致与智慧正是汉族古老文明中