Python中os.walk()方法作用及用法是什么
Admin 2022-06-18 群英技术资讯 377 次浏览
os.walk方法是python中帮助我们高效管理文件、目录的工具,在深度学习中数据整理应用的很频繁,如数据集的名称格式化、将数据集的按一定比例划分训练集train_set、测试集test_set。
1.导入文件(使用os.walk方法前需要导入以下包)
import os import random # 后续用来将数据随机打乱和生成确定随机种子,保证每次生成的随机数据一样便于测试模型精准度
2.os.walk()参数解释
os.walk(top, topdown=True, οnerrοr=None, followlinks=False)(后两个参数我几乎没用过)
参数
--top 我们需要遍历的文件夹的地址(最好使用绝对地址,相对地址有时会出现未知错误) --topdown 该参数为True时,会优先遍历top目录,否则优先遍历top的子目录(默认值为 True) --onerror 需要一个 callable 对象,当walk需要异常时会调用 --followlinks 如果为真,则会遍历目录下的快捷方式(linux 下是 symbolic link)实际所指的目录(默认关闭)
os.walk 的返回值是一个生成器(generator),也就是说我们可以用循环去不遍历它,来获得其内容。每次遍历的对象都是返回的是一个三元组(root,dirs,files)
--root 指的是当前正在遍历的这个文件夹的本身的地址 --dirs 返回的是一个列表list,表中数据是该文件夹中所有的目录的名称(但不包括子目录名称) --files 返回的也是一个列表list , 表中数据是该文件夹中所有的文件名称(但不包括子目录名称)
3.用于测试文件夹组织结构
4.
废话不说,看测试例子
4.1 os.walk(top, topdown=True)时打印返回的 root,dirs,files,顺便测试下topdown为真和假时的遍历顺序的区别。(这里就不展示运行后的结果了,代码拿走直接就可运行)
# topdown=True(该参数默认为真) def _get_img_info(): #测试时将data_dir 换为自己的目标文件夹即可 data_dir = r'C:\Users\futiange\Desktop\Zero to Hero\expression_test\raw_data' for root,dirs,files in os.walk(data_dir,topdown=True): print('root={}'.format(root)) print('dirs={}'.format(dirs)) print('files={}'.format(files)) if __name__ == '__main__': _get_img_info() # topdown=False(该参数默认为假) def _get_img_info(): data_dir = r'C:\Users\futiange\Desktop\Zero to Hero\expression_test\raw_data' for root,dirs,files in os.walk(data_dir,topdown=False): print('root={}'.format(root)) print('dirs={}'.format(dirs)) print('files={}'.format(files)) if __name__ == '__main__': _get_img_info()
4.2 使用案例
在深度学习中遍历数据集时,我们可以对数据集划分,这里按train :test = 9 : 1划分。
import os import random # 后续用来将数据随机打乱和生成确定随机种子,保证每次生成的随机数据一样便于测试模型精准度 def _get_img_info(rng_seed,split_n,mode): image_path_list = [] #用来存放图片的路径 label_path_list = [] #用来存放图片对应的标签 data_dir = r'C:\Users\futiange\Desktop\Zero to Hero\expression_test\raw_data' for root,dirs,files in os.walk(data_dir): for file in files: path_file = os.path.join(root,file) print(path_file) if path_file.endswith(".jpg"): #判断该路径下文件是不是以.jpg结尾 #print(os.path.basename(root)) #输出图片路径 #print(os.path.basename(root)[0]) #输出该图片所在的文件夹的第一个字符,我这里文件夹的第一个字符就是图片的标签,测试时可以根据自己的文件夹名称更改 #print(int(os.path.basename(root)[0])) image_path_list.append(path_file) #将图片路径加入列表 label_path_list.append(os.path.basename(root)[0]) #根据文件夹名称确定标签,并加入列表 data_info = [[n,l] for n,l in zip(image_path_list,label_path_list)] #将图片路径-标签 关联起来 random.seed(rng_seed) # 该方法中传入参数,确保每次生成的种子都是一样的 random.shuffle(data_info) #上一行代码生成的种子是确定的,保证了每次将列表元素打乱后的结果一样,便于测试模型性能 split_idx = int(len(data_info) * split_n) # data_len * 0.9 # split_n代表数据集划分的比例 if mode == 'train': img_set = data_info[:split_idx] elif mode == 'val': img_set = data_info[split_idx:] else: raise Exception("mode 无法识别,仅支持(train,valid)") return img_set #返回随机打乱后的数据集,后续在对其进行格式化即可将数据集加载进模型测试 if __name__ == '__main__': _get_img_info(1,0.9,'train')
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
这篇文章主要介绍了python出现RuntimeError错误问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
这篇文章主要为大家介绍了Python对象的底层实现源码学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
列表 List列表是有序的列表可以包含任意对象通过索引访问列表元素列表嵌套列表可变元组 Tuple定义和使用元组元素对比列表的优点元组分配、打包和解包List 与 Tuple 的
Supervisor 是一款 Python 开发的进程管理系统,允许用户监视和控制 Linux 上的进程,能将一个普通命令行进程变为后台守护进程,异常退出时能自动重启,这篇文章主要介绍了Python进程管理神器Supervisor,需要的朋友可以参考下
在前面的几个章节中我们脚本上是用 Python 解释器来编程,如果你从 Python 解释器退出再进入,那么你定义的所有的方法和变量就都消失了。为此 Python 提供了一个办法,把这些定义存放在文件中,为一些脚本或者交互式的解释器实例使用,这个文件被称为模块。
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008