最適化 
 Hyperparameter 
 Learning Rate
 バッチサイズ
 イテレーション数
 エポック数

 NN機能・要件
 NN構成・方式
 構成・方式など
 タスク
 導入
 Sample

 用語

  ハイパーパラメータの最適化手順
 ・ハイパーパラメータの範囲を設定 （0.001～1000 など）
 ・範囲からランダムにサンプリング
 ・サンプリングされたハイパーパラメータの値を用いて学習を実施（エポックは小さく設定）
 ・サンプリングと学習をある回数（100回など）繰り返す。
 ・認識制度の結果からハイパーパラメータの範囲を狭める。
 ・絞り込んだ段階で、そのの中からひとつを選び出す。

 Hyperparameter　　（ハイパーパラメータ）
 ・推論や予測の枠組みの中で決定されないパラメータ
自分で決めるパラメータ
自動更新されるニューラルネットワークの重みなどは含まれない。
 ・検証データ に対するモデル（ネットワーク）の評価によって決定される。

 Learning Rate　　（学習率、学習係数）
 ・各バッチ／エポックでモデルパラメーターを更新する量
 ・値が小さいと学習速度が遅くなり、値が大きいとトレーニング中に予期しない動作が発生
 ・validation errorがより少なくなるように設定
errorの減少するスピードが遅ければlearning rateを増やす。
errorが増加してしまっているならlearning rateを減らす。
 ・オンライン学習 では、モデル学習に適用する新規データの割合
 ・1e-8
極めて小さい値

 中間層の個数

 中間層のノード数

 ニューロン数

 バッチサイズ
 ・パラメータが更新される前にネットワークを介して伝播されたデータサンプルの数

 イテレーション数
 ・データセットに含まれるデータが少なくとも1回は学習に用いられるのに必要な学習回数
 ・バッチサイズが決まれば自動的に決まる数値

 エポック数
 ・データセットを反復する回数