ReLU関数
ReLU関数
ReLUとは、Rectified Linear Unitの略である。入力が0を超えていれば、その入力をそのまま出力し、0以下ならば0を出力する関数。
import numpy as np import matplotlib.pylab as plt def relu(x): return np.maximum(0,x) x = np.arange(-5.0, 5.0, 0.1) y = relu(x) plt.plot(x, y, label = "LeRU") plt.xlabel("x") plt.ylabel("y") plt.title("ReLU") plt.show()
参考
Pythonからはじめる数学入門
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装