活性化関数
  ・入力信号の総和を出力信号に変換
バイアスと重み付き入力信号の総和（a ＝ b + w1x1 + w2x2）
出力信号（y）は、（a）を活性化関数（h()）で変換（y＝h(a)）
出力信号は、活性化プロセスとしても明示できる。
入力信号の総和（a（これもノード））
活性化関数（h()）、入力信号の総和を出力信号に変換
出力（y（これもノード））
  ・活性化関数
ステップ関数
シグモイド関数
ReLU関数
恒等関数
ソフトマックス関数
  ・教師有り学習
分類問題の出力層の活性化関数は、一般的にソフトマックス関数を使用する。
回帰問題の出力層の活性化関数は、一般的に恒等関数を使用する。
Python Scikit-learn は様々な機械学習に対応

恒等関数
  ・入力をそのまま出力
y = σ(x) = x

 ソフトマックス関数（softmax function）
  ・出力の各ニューロンがすべての入力信号からの影響を受ける。
y_k = exp(a_k)/Σ[n,i = 1]exp(a_i)
  ・出力の総和は「1」になる。
出力を確率と解釈できる。
  ・この関数を適用しても各要素の大小関係は変わらない。
ニューラルネットワークのクラス分類など
出力が一番大きいクラスを認識結果とするする場合、
位置は変わらないのでNNの分類では省略できる。
  ・オーバーフロー対策
各信号から入力信号の最大値を引く 　　　　def softmax(a) 　　　　 c = np.max(a) 　　　　 exp_a = np.exp(a - c) 　　　　 sum_exp_a = np.sum(exp_a) 　　　　 y = exp_a / sum_exp_a 　　　　 return y
ステップ関数
  ・閾値を境にして出力が切り替わる非線形な活性化関数
単純パーセプトロン（単層ネットワーク）で用いる。
  ・ステップグラフ表示例

シグモイド関数（sigmoid function）
  ・非線形な活性化関数
\(σ(x)\) = \( 1/ (1 + e^{-x}) \)
  ・シグモイド関数グラフ表示例

ReLU関数（Rectified Linear Unit）
  ・非線形な活性化関数
  ・入力が0を超えていればそのまま出力、0以下ならば0を出力
  ・ReLU関数グラフ表示例

Affine関数（affine function）
  ・一次関数（「全ての入力値」から「全ての出力」への結合をもつ。）
o = Wi+b （i：入力、o：出力、W：重み、b：バイアス）
  ・ニューラルネットワークの場合は「Affine」レイヤーが「全結合層」

畳み込み（Convolution）
  ・Convolutionレイヤ

im2col関数
  ・バッチ数を含めた4次元の入力データを2次元に変換
  ・フィルター（重み）を一列に展開して、行列の積を計算
input_data :データ数、 チャンネル、 高さ、 幅の4次元配列の入力データ
filter_h : フィルターの高さ
filter_w : フィルターの幅
stride : ストライド
pad : パディング
  ・Convolutionレイヤでの使用　　（sample）

col2im関数
  ・im2col関数の逆の処理
  ・Convolutionレイヤでの使用　　（sample）