지미뉴트론 개발일기

텐서플로우 케라스 layer weight freezing 파이썬의 텐서플로우 케라스에서 모델 내의 특정 layer의 가중치를 학습 시에 freeze하는 방법에 대하여 살펴보겠습니다. 먼저, 다음과 같이 Dense layer 3개로 구성된 간단한 모델 구조를 가정해보겠습니다. (각 layer의 이름은 fc1, fc2, fc3로 설정하였습니다.) from keras.models import Sequential from keras.layers import Dense model = Sequential() layer1 = Dense(3, activation='relu', name = 'fc1', input_shape = (4,)) layer2 = Dense(2, activation='relu', name = 'f..

파이토치 일부 layer의 파라미터만 freeze하기 파이토치에서 학습을 진행할 때, 특정 layer를 freeze하는 방법을 말씀드려보겠습니다. 이해를 돕기 위해 아래와 같은 매우 간단한 신경망이 있다고 가정해보겠습니다. import torch.nn as nn class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(8, 4) self.fc2 = nn.Linear(4, 2) self.fc3 = nn.Linear(2, 1) def forward(self, x): return self.fc3(self.fc2(self.fc1(x))) my_net = Net() 예를 들어, 위의 신경망에서 fc2에 해당하..