Study/머신러닝7 Keras에서 Learning Rate 로그 남기기 Adam같은 Adaptive한 learning rate을 적용하거나, ReduceLROnPlateau 등을 이용해 learning rate을 점차 줄여나가면서 학습하다보면, learning rate의 추이가 궁금할때가 있다. 하지만 keras history에는 따로 남지 않기 때문에 아래와 같은 class를 keras callback에 추가해주면 log를 볼 수 있다. class lrHistory(tf.keras.callbacks.Callback): def __init__(self): self.lr = [] def on_epoch_begin(self, epoch, logs): self.lr.append(float(tf.keras.backend.get_value(self.model.optimizer.lr).. 2020. 6. 16. Tensorflow CuDNN RNN vs 그냥 RNN 비교 Cudnn은 GPU only로 GPU를 이용할 때 학습 속도가 더 빠르다는 장점이 있다. www.tensorflow.org/api_docs/python/tf/keras/layers/GRU tf.keras.layers.GRU | TensorFlow Core v2.2.0 See Stable See Nightly Gated Recurrent Unit - Cho et al. 2014. Inherits From: GRU tf.keras.layers.GRU( units, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal',.. 2020. 5. 12. Bazel을 이용해 Tensorflow Lite 빌드해보기 Tensorflow Lite는 Bazel로 빌드해서 사용 할 수 있다. 여기서는 C++로 간단하게 테스트코드를 만드는 방법까지 정리해보았다. Tensorflow Lite를 빌드하고 실제 Inference까지 진행하기에는 크게 3단계로 나뉜다 1. Tensorflow 소스코드로부터 libtensorflowlite.so 빌드 2. 모델을 학습한 후 최종 모델을 .tflite형태로 변환 3. C++이나 자바에서 inference할 코드 작성 차근차근 해보도록 하자 libtensorflowlite.so 빌드 1. 원하는 TF 버전 브랜치를 찾아 git clone TF r2.1 https://github.com/tensorflow/tensorflow/tree/r2.1 tensorflow/tensorflow An .. 2020. 3. 31. Tensorflow2.0 / CUDA / Nvidia driver 호환 GPU와 Tensorflow를 이용해 개발하기 위해서는 각자에 잘 호환되는 버전들을 설치해야 한다. 1. 내 개발 환경에 맞는 Tensorflow Version 과 CUDA Version을 확인 https://stackoverflow.com/questions/50622525/which-tensorflow-and-cuda-version-combinations-are-compatible/59714137#59714137 Which TensorFlow and CUDA version combinations are compatible? I have noticed that some newer TensorFlow versions are incompatible with older CUDA and cuDNN version.. 2020. 2. 14. 이전 1 2 다음
