网站介绍：文章浏览阅读3.6k次，点赞3次，收藏18次。bert模型做微调有的时候就需要只训练部分参数，那么就需要把其他的参数冻结掉，固定住，又能微调bert模型，还能提高模型训练的效率。这个就需要用到parameter的requires_grad的属性，来冻结和放开参数。比如说现在我们要放开第11和12层以及bert.pooler和out层参数，冻结其他的参数，怎么实现呢？pytorch中有 model.named_parameters() 和 requires_grad，直接写一个遍历然后设置就好。具体实现代码：import torch.nn as _bert冻结参数
- 链接地址：https://blog.csdn.net/dzysunshine/article/details/116197310
- 链接标题：Bert模型冻结指定参数_bert冻结参数-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：8306
- 网站标签：bert冻结参数
