平均2乗誤差

平均2乗誤差の導出


(y(x;D)-h(x))2 = (y(x;D)-ED{y(x;D)+ED{y(x;D)}-h(x)})2
    = (y(x;D)-ED{y(x;D)})2 + (ED{y(x;D)}-h(x))2 + 2(y(x;D)-ED{y(x;D)})(ED{y(x;D)}-h(x))2 --- 2.4式

 のように変形する. データセットによる期待値ED{}をとれば,
ED{(y(x;D)-h(x))2} = (ED{y(x;D)}-h(x))2 + ED{(y(x;D)-ED{y(x;D)})2} --- 2.5式
           バイアス項       分散項

が得られる. この式から, 平均2乗誤差はどれだけ外れ値があるかを示すバイアス項とデータのばらつきを示す分散項に分けることができるといえる.

式2.4より,
ED{(y(x;D)-h(x))2} = ED{(y(x;D)-ED{y(x;D)})2} + ED{(ED{y(x;D)}-h(x))2}
                ①           ②
                         + ED{2(y(x;D)-ED{y(x;D)})(ED{y(x;D)}-h(x))2}
                                  ③

① は分散項である.
② = ED{(ED{y(x;D)})2-2ED{{y(x;D)}h(x)}+(h(x))2}
  = {(ED{y(x;D)})2 + ED{-2ED{y(x;D)}h(x)} + {ED{h(x)}}2
  = (ED{y(x;D)}-h(x))2 = バイアス項
③ = 2(ED-h(x))ED{y(x;D)-ED{y(x;D)}}   = 2(ED-h(x))(ED{y(x;D)}-ED{y(x;D)})