Python3中缓存Exception对象会怎样,有哪些要注意的
Admin 2022-06-22 群英技术资讯 687 次浏览
Python 3有一个不太容易被注意到的改进:异常对象现在有了一个新的属性__traceback__。
这个属性自动保存了traceback
列表,当每次这个异常被重新raise
出来的时候,会自动在__traceback__
中追加一条记录。这个功能对于异步编程来说非常有帮助:在另一个线程或者协程中抛出的异常,被捕获、传输到其他地方,再重新抛出来的时候,不仅最初的traceback
得以保留,每次被重新抛出的记录也都会保留下来,这样异常的traceback
就可以提供很细致的信息。
说完了好处,再来说这个新功能导致的问题:exception
对象现在是一个可变的对象了,每次raise
都会修改这个对象。如果将一个exception
对象抛出多次,就会保留每次抛出的traceback,可能导致的结果包括:错误的堆栈信息;意外地破坏了运行数据;内存泄漏等等。
举例:
堆栈信息错误很好理解,举一个意外破坏运行数据的例子:
import asyncio import unittest async def it(raise_, ignore=True): yield 1 if not ignore: await asyncio.sleep(0.01) try: raise ValueError('test2') from raise_ except Exception: import traceback traceback.print_exc() if ignore: pass else: raise await asyncio.sleep(0.1) yield 2 class MyTest(unittest.TestCase): def test(self): try: raise ValueError('testerror') except ValueError as e: exc = e async def task1(): with self.assertRaises(ValueError): async for i in it(exc, False): print("task1: ", i) async def task2(): async for i in it(exc, True): print("task2: ", i) async def main(): t1 = asyncio.ensure_future(task1()) t2 = asyncio.ensure_future(task2()) await t1 await t2 asyncio.get_event_loop().run_until_complete(main()) if __name__ == '__main__': unittest.main()
运行这段代码,你会很惊讶地发现本来应该很快结束的程序居然卡住了。原因在于assertRaises
这个unittest
库中的函数,为了在保存单元测试结果的过程中不要占用太多内存,所以在保存异常时强制清空了异常堆栈中的locals
变量。然而因为这个异常同时在两个Task
中被使用,assertRaises
捕获到的异常堆栈中,还有尚未退出的协程的堆栈,清空了这个协程的堆栈会导致这个协程没有办法继续正常执行下去,进一步导致相应的Future
没有人设置,等待这个Future
的过程就无法正常结束了。
再举一个内存泄漏的例子:这个例子不在用户代码里,而在PyPy3 6.0版本的解释器里。在PyPy3中,为了提高运行速度,关闭一个生成器使用的GeneratorExit对象被解释器缓存了起来,这导致每次调用生成器的close
方法时,当前close的生成器的frame
都被保存到了这个global对象里,导致了生成器对象和frame对象都无法被GC回收,产生了严重的内存泄漏。
下面这段代码在PyPy 3中会迅速耗尽系统内存,而在CPython 3中则没有问题:
def test(): yield 1 while True: t = test() t.close()
结论:
在Python 3中,最佳实践是:
Exception
对象Exception
对象,至多被重新raise一次(不管经过怎样的过程)Exception
对象,或者为每个过程创建一个新的Exception
对象。通过Python 3的新语法raise ... from ...,可以在新的Exception
中保留老的traceback。第三点的一个特例是asyncio
中的Future对象,如果一个Future被await了多次,而这个Future抛出了异常,就会出现第三种情形,此时堆栈信息可能会混乱。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
在pandas中,当经常对数据进行处理,可能会造成数据索引顺序混乱,那么也就会影响数据读取、插入等等操作,因此重置索引的操作就很重要,那么pandas中重置索引怎样做?接下来给大家分享几个方法,大家可以参考。
这篇文章主要为大家介绍了PyTorch实现FedProx的联邦学习算法,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
这篇文章主要介绍了python-pandas创建Series数据类型的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
这篇文章主要介绍了python返回函数和匿名函数的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
怎样用python实现不是标准时间的转换?时间转换的需求还是比较常见的,很多新手可能对准时间的转换比较了解,但是不是很清楚非标准时间转换的实现,因此下文就给大家来介绍一下。
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008