Python读取大文件有什么方式,具体操作是怎样
Admin 2022-05-30 群英技术资讯 329 次浏览
可以通过两种方法利用python读取大文件:第一种是利用yield生成器读取;第二种是:利用open()自带方法生成迭代对象,这个是一行一行的读取。
1、利用yield生成器读取
def readPart(filePath, size=1024, encoding="utf-8"): with open(filePath,"r",encoding=encoding) as f: while True: part = f.read(size) if part: yield part else: return None filePath = r"filePath" size = 2048 # 每次读取指定大小的内容到内存 encoding = 'utf-8' for part in readPart(filePath,size,encoding): print(part) # Processing data
2、利用open()自带方法生成迭代对象,这个是一行一行的读取
with open(filePath) as f: for line in f: print(line) # Processing data
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
pyqtSignal的基本使用,一些朋友可能会遇到这方面的问题,对此在下文小编向大家来讲解一下,内容详细,易于理解,希望大家阅读完这篇能有收获哦,有需要的朋友就往下看吧!
在数据分析的过程中通常要对数据进行清洗与处理,而其中比较重要和常见的操作就有对数据进行筛选与查询,下面这篇文章主要给大家介绍了关于python使用pandas实现筛选功能方式的相关资料,需要的朋友可以参考下
这篇文章主要介绍了pytorch中的nn.Sequential(*net[3: 5])是啥意思,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
这篇文章给大家分享的是有关opencv图形绘制的内容,opencv是一个强大的图像处理和计算机视觉库,我们使用python opencv可以绘制圆形,矩形,线段等多种常用图形。下面我们就一起来看看怎么实现opencv图形绘制吧。
我们知道视图是 MTV 设计模式中的 V 层,它是实现业务逻辑的关键层,因此视图是需要掌握的。为了让大家更了解视图,这篇文章就给大家分享Django视图函数的使用,感兴趣的朋友就继续往下看吧。
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008