ハイパーパラメータの最適化手順
  ・ハイパーパラメータの範囲を設定 （0.001～1000 など）
  ・範囲からランダムにサンプリング
  ・サンプリングされたハイパーパラメータの値を用いて学習を実施（エポックは小さく設定）
  ・サンプリングと学習をある回数（100回など）繰り返す。
  ・認識制度の結果からハイパーパラメータの範囲を狭める。
  ・絞り込んだ段階で、そのの中からひとつを選び出す。

Hyperparameter　　（ハイパーパラメータ）
  ・推論や予測の枠組みの中で決定されないパラメータ
自分で決めるパラメータ
自動更新されるニューラルネットワークの重みなどは含まれない。
  ・検証データ に対するモデル（ネットワーク）の評価によって決定される。

 Learning Rate　　（学習率、学習係数）
  ・各バッチ／エポックでモデルパラメーターを更新する量
  ・値が小さいと学習速度が遅くなり、値が大きいとトレーニング中に予期しない動作が発生
  ・validation errorがより少なくなるように設定
errorの減少するスピードが遅ければlearning rateを増やす。
errorが増加してしまっているならlearning rateを減らす。
  ・オンライン学習 では、モデル学習に適用する新規データの割合
  ・1e-8
極めて小さい値

中間層の個数

中間層のノード数

 ニューロン数

バッチサイズ
  ・パラメータが更新される前にネットワークを介して伝播されたデータサンプルの数

イテレーション数
  ・データセットに含まれるデータが少なくとも1回は学習に用いられるのに必要な学習回数
  ・バッチサイズが決まれば自動的に決まる数値

エポック数
  ・データセットを反復する回数