Python3中缓存Exception对象会怎样,有哪些要注意的

Admin 2022-06-22 群英技术资讯 448 次浏览

这篇文章主要介绍了Python3中缓存Exception对象会怎样,有哪些要注意的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python3中缓存Exception对象会怎样,有哪些要注意的文章都会有所收获,下面我们一起来看看吧。

目录

    ​​Python 3有一个不太容易被注意到的改进:异常对象现在有了一个新的属性__traceback__。这个属性自动保存了traceback列表,当每次这个异常被重新raise出来的时候,会自动在__traceback__中追加一条记录。这个功能对于异步编程来说非常有帮助:在另一个线程或者协程中抛出的异常,被捕获、传输到其他地方,再重新抛出来的时候,不仅最初的traceback得以保留,每次被重新抛出的记录也都会保留下来,这样异常的traceback就可以提供很细致的信息。

    说完了好处,再来说这个新功能导致的问题:exception对象现在是一个可变的对象了,每次raise都会修改这个对象。如果将一个exception对象抛出多次,就会保留每次抛出的traceback,可能导致的结果包括:错误的堆栈信息;意外地破坏了运行数据;内存泄漏等等。

    举例:

    堆栈信息错误很好理解,举一个意外破坏运行数据的例子:

    import asyncio
    import unittest
    
    async def it(raise_, ignore=True):
        yield 1
        if not ignore:
            await asyncio.sleep(0.01)
    
        try:
            raise ValueError('test2') from raise_
        except Exception:
            import traceback
            traceback.print_exc()
            if ignore:
                pass
            else:
                raise
        await asyncio.sleep(0.1)
        yield 2
    
    
    class MyTest(unittest.TestCase):
        def test(self):
            try:
                raise ValueError('testerror')
            except ValueError as e:
                exc = e
            async def task1():
                with self.assertRaises(ValueError):
                    async for i in it(exc, False):
                        print("task1: ", i)
    
    
            async def task2():
                async for i in it(exc, True):
                    print("task2: ", i)
    
    
            async def main():
                t1 = asyncio.ensure_future(task1())
                t2 = asyncio.ensure_future(task2())
                await t1
                await t2
            asyncio.get_event_loop().run_until_complete(main())
    
    if __name__ == '__main__':
        unittest.main()
    
    

    运行这段代码,你会很惊讶地发现本来应该很快结束的程序居然卡住了。原因在于assertRaises这个unittest库中的函数,为了在保存单元测试结果的过程中不要占用太多内存,所以在保存异常时强制清空了异常堆栈中的locals变量。然而因为这个异常同时在两个Task中被使用,assertRaises捕获到的异常堆栈中,还有尚未退出的协程的堆栈,清空了这个协程的堆栈会导致这个协程没有办法继续正常执行下去,进一步导致相应的Future没有人设置,等待这个Future的过程就无法正常结束了。

    再举一个内存泄漏的例子:这个例子不在用户代码里,而在PyPy3 6.0版本的解释器里。在PyPy3中,为了提高运行速度,关闭一个生成器使用的GeneratorExit对象被解释器缓存了起来,这导致每次调用生成器的close方法时,当前close的生成器的frame都被保存到了这个global对象里,导致了生成器对象和frame对象都无法被GC回收,产生了严重的内存泄漏。

    下面这段代码在PyPy 3中会迅速耗尽系统内存,而在CPython 3中则没有问题:

    def test():
        yield 1
     
    while True:
        t = test()
        t.close()
    
    
    

    结论:

    在Python 3中,最佳实践是:

    • 永远不要持久保存一个已经被抛出过的Exception对象
    • 每个被捕获的Exception对象,至多被重新raise一次(不管经过怎样的过程)
    • 在需要将同一个异常广播到多个过程时(例如:多个过程等待了同一个异步过程),最好每次都重新复制整个Exception对象,或者为每个过程创建一个新的Exception对象。通过Python 3的新语法raise ... from ...,可以在新的Exception中保留老的traceback。

    第三点的一个特例是asyncio中的Future对象,如果一个Future被await了多次,而这个Future抛出了异常,就会出现第三种情形,此时堆栈信息可能会混乱。


    这篇关于“Python3中缓存Exception对象会怎样,有哪些要注意的”的文章就介绍到这了,更多相关的内容,欢迎关注群英网络,小编将为大家输出更多高质量的实用文章! 群英智防CDN,智能加速解决方案

    免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

    猜你喜欢

    成为群英会员,开启智能安全云计算之旅

    立即注册
    专业资深工程师驻守
    7X24小时快速响应
    一站式无忧技术支持
    免费备案服务
    免费拨打  400-678-4567
    免费拨打  400-678-4567 免费拨打 400-678-4567 或 0668-2555555
    在线客服
    微信公众号
    返回顶部
    返回顶部 返回顶部
    在线客服
    在线客服