βshortの自堕落Diary

web関係や、プログラミングなどを扱う予定です。プランなど立てていないので、不定期投稿になります。

Perceptron

パーセプトロン(Perceptron)は、ニューラルネットワークの起源となるアルゴリズムである。
1958年フランク・ローゼンブラット(Franc Rosenblatt)によって作成された、パターン認識アルゴリズムである。
パーセプトロンの信号は、「流すor流さない」の1 or 0の2値である。
ニューロンでは、送られてきた信号の総和が計算され、その和がある限界値を超えた場合のみ1を出力する。
この限界値を閾値(threshold)と呼ぶ。
f:id:weblog2016it:20170615000624p:plain

f:id:weblog2016it:20170615000629p:plain
パーセプトロン:重みの設定は、人の手によって行われる。
ニューラルネットワーク:適切な重みパラメータをデータから自動で学習できる。

活性化関数

活性化関数の例
シグモイド関数 sigmoid function

h(x)=\frac { 1 }{ 1+{ e }^{ -x } } \\ \quad  =\frac { 1 }{ 1+exp(-x) }
ステップ関数 step function
h(x)=\begin{cases} 1\quad (x>0) \\ 0\quad (x\le 0) \end{cases}
ReLU関数 Rectified Linear Unit function
入力が0を超えれていれば、その入力をそのまま出力し、0以下ならば0を出力する。
h(x)=\begin{cases} x\quad (x>0) \\ 0\quad (x\le 0) \end{cases}