tensorflow 恢复指定层与不同层指定不同学习率的方法

 更新时间:2018年07月26日 10:34:03   作者:跬步达千里   我要评论
今天小编就为大家分享一篇tensorflow 恢复指定层与不同层指定不同学习率的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

#tensorflow 中从ckpt文件中恢复指定的层或将指定的层不进行恢复:
#tensorflow 中不同的layer指定不同的学习率
with tf.Graph().as_default():
		#存放的是需要恢复的层参数
	 variables_to_restore = []
	 #存放的是需要训练的层参数名,这里是没恢复的需要进行重新训练,实际上恢复了的参数也可以训练
  variables_to_train = []
  for var in slim.get_model_variables():
   excluded = False
   for exclusion in fine_tune_layers:
   #比如fine tune layer中包含logits,bottleneck
    if var.op.name.startswith(exclusion):
     excluded = True
     break
   if not excluded:
    variables_to_restore.append(var)
    #print('var to restore :',var)
   else:
    variables_to_train.append(var)
    #print('var to train: ',var)
 
  #这里省略掉一些步骤,进入训练步骤:
  #将variables_to_train,需要训练的参数给optimizer 的compute_gradients函数
  grads = opt.compute_gradients(total_loss, variables_to_train)
  #这个函数将只计算variables_to_train中的梯度
  #然后将梯度进行应用:
  apply_gradient_op = opt.apply_gradients(grads, global_step=global_step)
  #也可以直接调用opt.minimize(total_loss,variables_to_train)
  #minimize只是将compute_gradients与apply_gradients封装成了一个函数,实际上还是调用的这两个函数
  #如果在梯度里面不同的参数需要不同的学习率,那么可以:
  capped_grads_and_vars = []#[(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]
  #update_gradient_vars是需要更新的参数,使用的是全局学习率
  #对于不是update_gradient_vars的参数,将其梯度更新乘以0.0001,使用基本上不动
 	for grad in grads:
 		for update_vars in update_gradient_vars:
 			if grad[1]==update_vars:
 				capped_grads_and_vars.append((grad[0],grad[1]))
 			else:
 				capped_grads_and_vars.append((0.0001*grad[0],grad[1]))
 	apply_gradient_op = opt.apply_gradients(capped_grads_and_vars, global_step=global_step)
 	#在恢复模型时:
  with sess.as_default():
   if pretrained_model:
    print('Restoring pretrained model: %s' % pretrained_model)
    init_fn = slim.assign_from_checkpoint_fn(
    pretrained_model,
    variables_to_restore)
    init_fn(sess)
   #这样就将指定的层参数没有恢复

以上这篇tensorflow 恢复指定层与不同层指定不同学习率的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持澳门金沙网上娱乐。

相关文章

  • scrapy-redis的安装部署步骤讲解

    scrapy-redis的安装部署步骤讲解

    今天小编就为大家分享一篇关于scrapy-redis的安装部署步骤讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • pandas实现选取特定索引的行

    pandas实现选取特定索引的行

    下面小编就为大家分享一篇pandas实现选取特定索引的行,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Python 初始化多维数组代码

    Python 初始化多维数组代码

    python多维数组方法示例代码
    2008-09-09
  • 替换python字典中的key值方法

    替换python字典中的key值方法

    今天小编就为大家分享一篇替换python字典中的key值方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • python实现计算资源图标crc值的方法

    python实现计算资源图标crc值的方法

    这篇文章主要介绍了python实现计算资源图标crc值的方法,通过解析资源文件找到icon的数据,从而实现该功能,需要的朋友可以参考下
    2014-10-10
  • Django 导出 Excel 代码的实例详解

    Django 导出 Excel 代码的实例详解

    本篇文章主要介绍了Django 导出 Excel 代码的实例详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-08-08
  • python使用fork实现守护进程的方法

    python使用fork实现守护进程的方法

    守护进程(Daemon)也称为精灵进程是一种生存期较长的一种进程。它们独立于控制终端并且周期性的执行某种任务或等待处理某些发生的事件。他们常常在系统引导装入时启动,在系统关闭时终止。
    2017-11-11
  • python3 实现对图片进行局部切割的方法

    python3 实现对图片进行局部切割的方法

    今天小编就为大家分享一篇python3 实现对图片进行局部切割的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python实现判断给定列表是否有重复元素的方法

    Python实现判断给定列表是否有重复元素的方法

    这篇文章主要介绍了Python实现判断给定列表是否有重复元素的方法,列举了2种列表判断方法,涉及Python针对列表的遍历、、判断等相关操作技巧,需要的朋友可以参考下
    2018-04-04
  • Python实现的Google IP 可用性检测脚本

    这篇文章主要介绍了Python实现的Google IP 可用性检测脚本,本文脚本需要Python 3.4+环境,需要的朋友可以参考下
    2015-04-04

最新评论