活性化関数
    恒等関数
    ソフトマックス
    ステップ関数
    シグモイド関数
    ReLU関数
    Affine関数
 畳み込み
    im2col関数
    col2im関数

 NN機能・要件
 NN構成・方式
 構成・方式など
 タスク
 導入
 Sample

 用語
  活性化関数
 ・入力信号の総和を出力信号に変換
バイアスと重み付き入力信号の総和（a ＝ b + w1x1 + w2x2）
出力信号（y）は、（a）を活性化関数（h()）で変換（y＝h(a)）
出力信号は、活性化プロセスとしても明示できる。
入力信号の総和（a（これもノード））
活性化関数（h()）、入力信号の総和を出力信号に変換
出力（y（これもノード））
 ・活性化関数
 ステップ関数
 シグモイド関数
 ReLU関数
 恒等関数
 ソフトマックス関数
 ・教師有り学習
分類問題の出力層の活性化関数は、一般的に ソフトマックス関数を使用する。
回帰問題の出力層の活性化関数は、一般的に 恒等関数を使用する。
Python scikit-learn は様々な機械学習に対応

 恒等関数
 ・入力をそのまま出力
y = σ(x) = x

 ソフトマックス関数（softmax function）
 ・出力の各ニューロンがすべての入力信号からの影響を受ける。
y_k = exp(a_k)/Σ[n,i = 1]exp(a_i)
 ・出力の総和は「1」になる。
出力を確率と解釈できる。
 ・この関数を適用しても各要素の大小関係は変わらない。
ニューラルネットワークのクラス分類など
出力が一番大きいクラスを認識結果とするする場合、
位置は変わらないのでNNの分類では省略できる。
 ・オーバーフロー対策
各信号から入力信号の最大値を引く 　　　　def softmax(a) 　　　　 c = np.max(a) 　　　　 exp_a = np.exp(a - c) 　　　　 sum_exp_a = np.sum(exp_a) 　　　　 y = exp_a / sum_exp_a 　　　　 return y
 ステップ関数
 ・閾値を境にして出力が切り替わる非線形な活性化関数
単純パーセプトロン（単層ネットワーク）で用いる。
 ・ ステップグラフ表示例

 シグモイド関数（sigmoid function）
 ・非線形な活性化関数
\(σ(x)\) = \( 1/ (1 + e^{-x}) \)
 ・ シグモイド関数グラフ表示例

 ReLU関数（Rectified Linear Unit）
 ・非線形な活性化関数
 ・入力が0を超えていればそのまま出力、0以下ならば0を出力
 ・ ReLU関数グラフ表示例

 Affine関数（affine function）
 ・一次関数（「全ての入力値」から「全ての出力」への結合をもつ。）
o = Wi+b （i：入力、o：出力、W：重み、b：バイアス）
 ・ニューラルネットワークの場合は「Affine」レイヤーが「全結合層」

 畳み込み（Convolution）
 ・Convolutionレイヤ

 im2col関数
 ・バッチ数を含めた4次元の入力データを2次元に変換
 ・フィルター（重み）を一列に展開して、行列の積を計算
input_data :データ数、 チャンネル、 高さ、 幅の4次元配列の入力データ
filter_h : フィルターの高さ
filter_w : フィルターの幅
stride : ストライド
pad : パディング
 ・Convolutionレイヤでの使用　　（sample）

 col2im関数
 ・im2col関数の逆の処理
 ・Convolutionレイヤでの使用　　（sample）