pandas中为啥尽量不使用for循环？很多新手可能对此不是很了解，其实相比使用for循环，有一些别的方法和技巧能更好的提升pandas运行时间，下面我们就一起来了解一下。

    使用Pandas dataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去，编写Python for循环，然后希望在合理的时间内处理数据。

    Pandas是为一次性处理整个行或列的矢量化操作而设计的，循环遍历每个单元格、行或列并不是它的设计用途。所以，在使用Pandas时，你应该考虑高度可并行化的矩阵运算。

    数据准备

    在本文中，我们将使用经典的鸢尾花数据集。

    现在让我们建立一个标准线，用Python for循环来测量我们的速度。我们将通过循环遍历每一行来设置要在数据集上执行的计算，然后测量整个操作的速度。这将为我们提供一个基准，以了解我们的新优化对我们有多大帮助。

    在上面的代码中，我们创建了一个基本函数，它使用If-Else语句根据花瓣的长度选择花的类。我们编写了一个for循环，通过循环dataframe对每一行应用函数，然后测量循环的总时间。

    在i7-8700k计算机上，循环运行5次平均需要0.01345秒。

    使用.iterrows()

    我们可以做的最简单但非常有价值的加速是使用Pandas的内置 .iterrows() 函数。

    在上一节中编写for循环时，我们使用了 range() 函数。然而，当我们在Python中对大范围的值进行循环时，生成器往往要快得多。

    Pandas的 .iterrows() 函数在内部实现了一个生成器函数，该函数将在每次迭代中生成一行Dataframe。更准确地说，.iterrows() 为DataFrame中的每一行生成(index, Series)的对（元组）。这实际上与在原始Python中使用 enumerate() 之类的东西是一样的，但运行速度要快得多！

    生成器（Generators）

    生成器函数允许你声明一个行为类似迭代器的函数，也就是说，它可以在for循环中使用。这大大简化了代码，并且比简单的for循环更节省内存。

    考虑这样一个例子，我们想把1到1000之间的所有数字加起来。下面代码的第一部分说明了如何使用for循环来实现这一点。

    如果列表很小，比如长度为1000，那就很好了。当你想要处理一个庞大的列表时，比如10亿个浮点数，问题就出现了。使用for循环，在内存中创建了大量的内存huge列表，并不是每个人都有无限的RAM来存储这样的东西！Python中的range()函数也做同样的事情，它在内存中构建列表

    代码的第(2)节演示了使用Python生成器对数字列表求和。生成器将创建元素并仅在需要时将它们存储在内存中。一次一个。这意味着，如果必须创建10亿个浮点数，那么只能一次将它们存储在内存中。Python中的xrange()函数使用生成器来构建列表。

    也就是说，如果你想多次迭代列表并且它足够小以适应内存，那么使用for循环和range函数会更好。这是因为每次访问list值时，生成器和xrange都会重新生成它们，而range是一个静态列表，并且内存中已存在整数以便快速访问。

    下面我们修改了代码，使用.iterrows()代替常规的for循环。在我上一节测试所用的同一台机器上，平均运行时间为0.005892秒，速度提高了2.28倍！

    使用.apply()

    iterrows()函数极大地提高了速度，但我们还远远没有完成。请始终记住，当使用为向量操作设计的库时，可能有一种方法可以在完全没有for循环的情况下最高效地完成任务。

    为我们提供此功能的Pandas功能是 .apply() 函数。apply()函数接受另一个函数作为输入，并沿着DataFrame的轴（行、列等）应用它。在传递函数的这种情况下，lambda通常可以方便地将所有内容打包在一起。

    在下面的代码中，我们已经完全用.apply()和lambda函数替换了for循环，打包所需的计算。这段代码的平均运行时间是0.0020897秒，比原来的for循环快6.44倍。

    apply()之所以快得多，是因为它在内部尝试遍历Cython迭代器。如果你的函数针对Cython进行了优化，.apply()将使你的速度更快。额外的好处是，使用内置函数可以生成更干净、更可读的代码！

    最后

    前面我们提到过，如果你正在使用一个为向量化操作设计的库，你应该总是在没有for循环的情况下寻找一种方法来进行任何计算。

    类似地，以这种方式设计的许多库，包括Pandas，都将具有方便的内置函数，可以执行你正在寻找的精确计算，但速度更快。

    Pandas的 .cut() 函数将一组bin定义为输入，这些bin定义了If-Else的每个范围和一组标签。这与我们用 compute_class() 函数手动编写有完全相同的操作。

    看下面的代码，看看.cut()是如何工作的。我们又一次得到了更干净、更可读的代码。最后，.cut()函数平均运行0.001423秒，比原来的for循环快了9.39倍!

    以上就是关于为何pandas不使用for循环的相关介绍，对于提升pandas的使用效率，上文介绍了几种方法，需要的朋友可以参考。如果想要了解更多pandas中for循环使用的相关内容，大家可以继续关注其他相关文章。

文本转载自脚本之家

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python加密怎样实现，工具和方法是什么

  这篇文章主要为大家介绍了python密码学实现文件加密教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

• Python中什么方法实现小写变大写

  python把小写字母变成大写字母的方法：可以利用upper()方法来实现。upper()方法可以将字符串中的小写字母转换为大写字母，并返回转换后的字符串，语法为：【str.upper()】。

• Python读写CSV文件的操作及代码是什么

  这篇文章主要介绍了Python数据读写之Python读写CSV文件，文章围绕主题展开详细的内容介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下

• socketserver实现并发方法是啥，代码如何写

  tcp协议的socket是只能和一个客户端通信的，使用socketserver可以实现和多个客户端通信，他是在socket的基础上进行的封装，底层还是调用的socket。

• Python中end=和sep=的作用分别是什么

  这篇文章主要介绍了Python中end=和sep=的区别说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教