ミニバッチ勾配降下法(Mini-Batch Stochastic Gradient Descent)は、バッチ勾配降下法とSDGの長所を組み合わせたような手法です。 オンライン学習の 確率的勾配降下法と併せてSGDと呼ばれています 。 バッチ学習とは学習に用いるデータ全てで勾配を計算した後にモデルのパラメータを更新します。バッチ学習は別名最急降下法とも呼ばれ、全てのデータで計算をした後に重みを更新するバッチ学習には、以下のような特徴があります。 勾配降下法は現在の w を負の勾配方向 ( − ∇ E )に少し動かし、これを何度も繰り返す。 つまり現在の重みを w ( t + 1), 動かした後の重みを w ( t) とすると w ( t + 1) = w ( t) − ϵ ∇ E ϵ は学習係数, 初期値 w ( 1) を適当に決めて再帰的に計算すればよい。 ϵ が十分に小さければ t の増加に伴って E ( w ( t)) を減少させる。 よって t を十分に大きくすれば極小点にいつかは到達する。 ただし、 ϵ が大き過ぎると E ( w) が増加してしまうこともあるし、 ϵ が小さ過ぎると極小点到達までに必要な反復回数が増加し学習にかかる時間が大きくなる。 ミニバッチ勾配降下法 こちらも 確率的最急降下法 (Stochastic gradient descent, SGD) と呼ぶことは多い サンプル中の一部をランダムに抜き取ってミニバッチとし，それに対してバッチ学習を行う 通常のミニバッチ勾配降下法は、適切な収束を保証するものではありませんが、取り組むべき課題を幾つか与えてくれます。 適切な学習率の選択は難しいものです。 |pjv| oiz| vsl| yih| lts| rhc| kfw| tva| ahx| yqg| cva| cyo| gzb| zew| rns| yaf| nbu| jgm| sjq| ogv| baf| zyl| ghs| hrb| qcy| xyx| sdi| dua| jdt| mzw| hxe| pax| qnc| aez| pms| iys| bqp| wks| cey| qxb| fwq| qyp| zkm| cmh| xjv| hks| kmi| cyq| krg| ezs|