PyTorch如何使用 pytorch如何增加隐藏层
本教程探讨了在PyTorch模型训练中冻结特定中间层参数的两种常见方法：使用torch.no_grad()上下文管理器和直接设置参数的requires_grad属性。通过实验对比，揭示了torch.no_grad()可能对上游层产生意外影响，而requires_grad = False是实现精确、选择性层冻结的推荐方案，这对于迁移学习和模型模型至关重要。
在深度学习模型训练中，冻结模型的部分层参数是一个常见的需求，尤其是在迁移学习、模型模型或实验特定层行为时。例如，我们可能希望在预训练模型的基础上，只训练得到分类器，而保留基础特征提取器的参数不变。然而，如何正确准确地冻结中间层，同时确保其他层的参数能够正常更新，是 pytorch 用户经常遇到的问题。本文将详细分析两种常用的方法，并通过代码示例指出它们的差异行为。了解参数冻结的需求
假设我们有一个由多个线性层组成的简单神经网络：lin0 -gt； lin1 -gt； lin2。我们的目标是冻结lin1层的参数，设置在训练过程中不发生更新，而lin0和lin2层的参数则应正常参与轻微计算和优化器更新。方法一：使用torch.no_grad()上下文管理器
torch.no_grad()是一个上下文管理器，用于取消梯度计算。在其作用域内的所有计算都不会构建计算图，这意味着任何在此作用域内产生的张量都不会有grad_fn属性，从而无法进行逆向传播。
代码示例：在forward方法中使用torch.no_grad()import torchimport torch.nn as nnclass SimpleModelWithNoGrad(nn.Module)： def __init__(self)： super(SimpleModelWithNoGrad， self).__init__() self.lin0 = nn.Linear(1， 2) self.lin1 = nn.Linear(2， 2) self.lin2 = nn.Linear(2， 10) def forward(self， x)： x = self.lin0(x) # 在lin1的计算中使用torch.no_grad() with torch.no_grad()： x = self.lin1(x) x = self.lin2(x) return x# 实例化模型model_no_grad = SimpleModelWithNoGrad()# 打印初始参数的requires_grad属性print(quot；--- 使用torch.no_grad()那时的祖国require_grad ---quot；)print(fquot；lin0.weight.requires_grad： {model_no_grad.lin0.weight.requires_grad}quot；)print(fquot；lin1.weight.requires_grad： {model_no_grad.lin1.weight.requires_grad}quot；)print(fquot；lin2.weight.requires_grad： {model_no_grad.lin2.weight.requires_grad}quot；）登录后复制
行为分析：
当我们尝试在forward方法中对lin1的计算使用时torch.no_grad()：时，实验结果表明，不仅lin1的参数不会更新，连lin0的参数也未能更新。这是torch.no_grad()在执行lin1(x)时切断了因为从lin1到lin0的梯度流。由于lin1的输出不再追踪，后续的转发传播无法转发信息回lin0，导致lin0的参数也无法得到更新。
结论： 这种方法并不适用于仅仅冻结中间层而让其上游层正常训练的场景。它更适用于在验证、推理阶段或模型中某些子模块确实不需要轻度计算时使用，以节省内存和计算。方法二：设置layer.requires_grad = False
PyTorch中的每个nn.参数（包括层的权重和偏置）都有一个requires_grad属性，默认为True。当该属性设置为False时，PyTorch的反向传播机制会跳过这些参数，不计算它们的半径，因此优化器也不会更新它们。
代码示例：设置requires_grad = Falseimport torchimport torch.nn as nnclass SimpleModelWithRequiresGrad(nn.Module)： def __init__(self)： super(SimpleModelWithRequiresGrad， self).__init__() self.lin0 = nn.Linear(1， 2) self.lin1 = nn.Linear(2， 2) self.lin2 = nn.Linear(2， 2， 10) def forward(self， x)： x = self.lin0(x) x = self.lin1(x) x = self.lin2(x) return x# 实例化模型model_requires_grad = SimpleModelWithRequiresGrad()# 放置lin1的参数#确保对权重和偏置都进行设置model_requires_grad.lin1.weight.requires_grad = Falsemodel_requires_grad.lin1.bias.requires_grad = 错误的＃ 打印参数的requires_grad属性print(quot；\n--- 设置requires_grad = False 后面的属性 ---quot；)print(fquot；lin0.weight.requires_grad： {model_requires_grad.lin0.weight.requires_grad}quot；)print(fquot；lin1.weight.requires_grad： {model_requires_grad.lin1.weight.requires_grad}quot；)print(fquot；lin2.weight.requires_grad： {model_requires_grad.lin2.weight.requires_grad}quot；)#验证优化器只需更新requires_grad=True的参数#optimizer = torch.optim.SGD(model_requires_grad.parameters()，lr=0.01)#更好的做法只是需要更新参数# trainable_params = filter(lambda p： p.requires_grad， model_requires_grad.parameters())# optimizationr = torch.optim.SGD(trainable_params， lr=0.01)登录后复制
行为分析：
通过将model.lin1.weight.requires_grad和model.lin1.bias.requires_grad设置为False，我们成功冻结了lin1层的参数。
在这种情况下，当进行逆向传播时，PyTorch会正常计算lin2和lin1的平均值，但当遇到lin1的参数时，由于它们的require_grad为False，其平均值不会被计算和存储。但是，lin1的平均值输出仍然是一个追踪梯度的张量（因为它的输入x来自lin0，且lin0的参数requires_grad为True），因此梯度可以继续反向传播到lin0，使得lin0的参数能够正常更新。
结论：这是实现精确、选择性层冻结的推荐方法。它允许我们灵活地控制模型中哪些部分的参数参与训练，哪些部分保持不变。注意与事项最佳实践全面冻结层参数：当冻结一个层时，请确保同时设置其所有可学习参数（通常包括权重和偏差）的requires_grad为False。优化器参数：当你冻结了部分参数后，最好只将requires_grad=True的参数传递给优化器。这可以通过以下方式实现：trainable_params = filter(lambda p： p.requires_grad， model.parameters())优化器 = torch.optim.Adam(trainable_params， lr=0.001)登录后复制
虽然将所有model.parameters()创建优化器也能正常工作（优化器会忽略requires_grad=False的参数），但显式过滤可以提高效率和代码处理。model.eval()的作用：model.eval()主要用于将模型设置为评估模式，它会取消Dropout层和BatchNorm层的训练行为（例如，BatchNorm会使用全局均值因此后面是增量统计量）。它不会自动冻结参数或取消梯度计算。，冻结参数需要单独设置requires_grad = False。torch.no_grad()的适用场景：torch.no_grad()仍然是进行推理、验证或在循环训练中不需要偶然计算的特定代码块（例如，计算不参与损失的辅助指标）的理想选择，因为它能节省内存并加速计算。总结
在PyTorch中放置模型中间层参数时，理解torch.no_grad()和layer.requires_grad = False之间的关键区别。torch.no_grad()是一个上下文管理器，会取消其作用域内所有计算的梯度追踪，可能意外地影响上游层的梯度流。而直接设置layer.requires_grad =错误精确和推荐的方法，它允许我们选择性地冻结特定层的参数，同时保持其他层参数的正常训练。掌握这项技术对于高效进行模型训练、迁移学习以及各种深度学习实验具有重要意义。
以上就是PyTorch中精确冻结中间层参数的策略与实践的详细内容，更多请关注乐常识哥网其他文章！