Keras에서 Learning Rate 로그 남기기

Adam같은 Adaptive한 learning rate을 적용하거나,

ReduceLROnPlateau 등을 이용해 learning rate을 점차 줄여나가면서 학습하다보면, learning rate의 추이가 궁금할때가 있다.

하지만 keras history에는 따로 남지 않기 때문에 아래와 같은 class를 keras callback에 추가해주면 log를 볼 수 있다.

 

class lrHistory(tf.keras.callbacks.Callback):
    def __init__(self):
        self.lr = []
        
    def on_epoch_begin(self, epoch, logs):
        self.lr.append(float(tf.keras.backend.get_value(self.model.optimizer.lr)))

callbacks = [lrHistory]
model.fit(...,callbacks=callbacks)
print(lrHistory.lr)