在实际应用中，我们有时候会遇到“pytorch使用多进程加载训练数据集过程报错怎么办”这样的问题，我们该怎样来处理呢？下文给大家介绍了解决方法，希望这篇“pytorch使用多进程加载训练数据集过程报错怎么办”文章能帮助大家解决问题。

pytorch中尝试用多进程加载训练数据集，源码如下：

trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=3)

结果报错：

RuntimeError: 
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.

        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:

            if __name__ == '__main__':
                freeze_support()
                ...

        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.

从报错信息可以看到，当前进程在运行可执行代码时，产生了一个新进程。这可能意味着您没有使用fork来启动子进程或者是未在主模块中正确使用。

后来经过查阅发现了原因，因为windows系统下默认用spawn方法部署多线程，如果代码没有受到__main__模块的保护，新进程都认为是要再次运行的代码，将尝试再次执行与父进程相同的代码，生成另一个进程，依此类推，直到程序崩溃。

解决方法很简单

把调用多进程的代码放到__main__模块下即可。

if __name__ == '__main__':
    transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
    trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
    trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=3)

补充：pytorch-Dataloader多进程使用出错

使用Dataloader进行多进程数据导入训练时，会因为多进程的问题而出错

dataloader = DataLoader(transformed_dataset, batch_size=4,shuffle=True, num_workers=4)

其中参数num_works=表示载入数据时使用的进程数，此时如果参数的值不为0而使用多进程时会出现报错

RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child processes and you have forgotten to use the proper idiom in the main module: if __name__ == '__main__': freeze_support() ... The "freeze_support()" line can be omitted if the program is not going to be frozen to produce an executable.

此时在数据的调用之前加上if __name__ == '__main__':即可解决问题

if __name__ == '__main__':#这个地方可以解决多线程的问题

        for i_batch, sample_batched in enumerate(dataloader):

上述内容具有一定的借鉴价值，感兴趣的朋友可以参考，希望能对大家有帮助，想要了解更多"pytorch使用多进程加载训练数据集过程报错怎么办"的内容，大家可以关注群英网络的其它相关文章。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python LRU缓存的特点和结构是什么

  本文主要介绍了Python使用LRU缓存策略进行缓存的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

• facenet是什么，用处和应用是什么

  这篇文章主要为大家介绍了python神经网络facenet人脸检测及keras实现，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

• Python脚本生成命令行的实现方法是什么

  这篇文章主要介绍了实现 Python 脚本生成命令行，文章通过定义一个 scrape 方法展开详细内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下

• Python3中VSCode配置安装怎样做？

  VSCode（全称：Visual Studio Code）是一款由微软开发的跨平台免费源代码编辑器。VSCode 开发环境非常简单易用，仅需要安装相关的插件进行简易的配置就可以与原有的python环境组成一套具有简单的代码调试运行的开发工具。对于轻量级的python开发和python学习是比较友好的。优秀的代码提示和更多插件功能让VSCode的使用体验不亚于知名pythonIDE—pycharm。_来自Python3 教程，w3cschool编程狮。

• requests库常用的方法有哪些，怎样发送get请求

  requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,下面这篇文章主要给大家介绍了关于python中requests库安装与使用的相关资料,需要的朋友可以参考下