生成solver文件的python代码及方法是什么

Admin 2022-08-05 群英技术资讯 332 次浏览

这篇文章主要讲解了“生成solver文件的python代码及方法是什么”,文中的讲解内容简单、清晰、详细,对大家学习或是工作可能会有一定的帮助,希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。


目录
  • solver.prototxt的文件参数设置
  • 生成solver文件
    • 简便的方法
  • 训练模型(training)

    solver.prototxt的文件参数设置

    caffe在训练的时候,需要一些参数设置,我们一般将这些参数设置在一个叫solver.prototxt的文件里面,如下:

    base_lr: 0.001
    display: 782
    gamma: 0.1
    lr_policy: “step”
    max_iter: 78200
    momentum: 0.9
    snapshot: 7820
    snapshot_prefix: “snapshot”
    solver_mode: GPU
    solver_type: SGD
    stepsize: 26067
    test_interval: 782
    test_iter: 313
    test_net: “/home/xxx/data/val.prototxt”
    train_net: “/home/xxx/data/proto/train.prototxt”
    weight_decay: 0.0005

    有一些参数需要计算的,也不是乱设置。

    假设我们有50000个训练样本,batch_size为64,即每批次处理64个样本,那么需要迭代50000/64=782次才处理完一次全部的样本。我们把处理完一次所有的样本,称之为一代,即epoch。所以,这里的test_interval设置为782,即处理完一次所有的训练数据后,才去进行测试。如果我们想训练100代,则需要设置max_iter为78200.

    同理,如果有10000个测试样本,batch_size设为32,那么需要迭代10000/32=313次才完整地测试完一次,所以设置test_iter为313.

     学习率变化规律我们设置为随着迭代次数的增加,慢慢变低。总共迭代78200次,我们将变化lr_rate三次,所以stepsize设置为78200/3=26067,即每迭代26067次,我们就降低一次学习率。 

    生成solver文件

    下面是生成solver文件的python代码,比较简单:

    # -*- coding: utf-8 -*-
    """
    Created on Sun Jul 17 18:20:57 2016
    @author: root
    """
    path='/home/xxx/data/'
    solver_file=path+'solver.prototxt'     #solver文件保存位置
    sp={}
    sp['train_net']=‘“'+path+'train.prototxt”'  # 训练配置文件
    sp['test_net']=‘“'+path+'val.prototxt”'     # 测试配置文件
    sp['test_iter']='313'                  # 测试迭代次数
    sp['test_interval']='782'              # 测试间隔
    sp['base_lr']='0.001'                  # 基础学习率
    sp['display']='782'                    # 屏幕日志显示间隔
    sp['max_iter']='78200'                 # 最大迭代次数
    sp['lr_policy']='“step”'                 # 学习率变化规律
    sp['gamma']='0.1'                      # 学习率变化指数
    sp['momentum']='0.9'                   # 动量
    sp['weight_decay']='0.0005'            # 权值衰减
    sp['stepsize']='26067'                 # 学习率变化频率
    sp['snapshot']='7820'                   # 保存model间隔
    sp['snapshot_prefix']=‘"snapshot"'       # 保存的model前缀
    sp['solver_mode']='GPU'                # 是否使用gpu
    sp['solver_type']='SGD'                # 优化算法
    def write_solver():
        #写入文件
        with open(solver_file, 'w') as f:
            for key, value in sorted(sp.items()):
                if not(type(value) is str):
                    raise TypeError('All solver parameters must be strings')
                f.write('%s: %s\n' % (key, value))
    if __name__ == '__main__':
        write_solver()

     执行上面的文件,我们就会得到一个solver.prototxt文件,有了这个文件,我们下一步就可以进行训练了。

    当然,如果你觉得上面这种键值对的字典方式,写起来容易出错,我们也可以使用另外一种比较简便的方法,没有引号,不太容易出错,如下:

    简便的方法

    # -*- coding: utf-8 -*-
    from caffe.proto import caffe_pb2
    s = caffe_pb2.SolverParameter()
    path='/home/xxx/data/'
    solver_file=path+'solver1.prototxt'
    s.train_net = path+'train.prototxt'
    s.test_net.append(path+'val.prototxt')
    s.test_interval = 782  
    s.test_iter.append(313) 
    s.max_iter = 78200 
    s.base_lr = 0.001 
    s.momentum = 0.9
    s.weight_decay = 5e-4
    s.lr_policy = 'step'
    s.stepsize=26067
    s.gamma = 0.1
    s.display = 782
    s.snapshot = 7820
    s.snapshot_prefix = 'shapshot'
    s.type = “SGD”
    s.solver_mode = caffe_pb2.SolverParameter.GPU
    with open(solver_file, 'w') as f:
        f.write(str(s))

    训练模型(training)

     如果不进行可视化,只想得到一个最终的训练model, 那么代码非常简单,如下 :

    import caffe
    caffe.set_device(0)
    caffe.set_mode_gpu()
    solver = caffe.SGDSolver('/home/xxx/data/solver.prototxt')
    solver.solve()

    以上就是关于“生成solver文件的python代码及方法是什么”的介绍了,感谢各位的阅读,如果大家想要了解更多相关的内容,欢迎关注群英网络,小编每天都会为大家更新不同的知识。
    群英智防CDN,智能加速解决方案
    标签: 生成solver文件

    免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

    猜你喜欢

    成为群英会员,开启智能安全云计算之旅

    立即注册
    专业资深工程师驻守
    7X24小时快速响应
    一站式无忧技术支持
    免费备案服务
    免费拨打  400-678-4567
    免费拨打  400-678-4567 免费拨打 400-678-4567 或 0668-2555555
    在线客服
    微信公众号
    返回顶部
    返回顶部 返回顶部
    在线客服
    在线客服