ピタゴラス

ピタゴラス(BC582?–BC497?) は、有名な言葉「万物は数である」と仲間たちに教えていた。 そして、その集団のシンボルは、ペンタグラム(正5角形と対角線が作る星型)であった。

  • 正5角形は、定規とコンパスで作図できる。そして、対角線と辺の比が黄金数になっている。詳細--->ケプラーの三角形
  • 当時、有理数(整数の比)だけでなく作図できる無理数も長さとして理解されていた。
  • 参考-->こちら

ピタゴラスの定理:Pythagorean theorem

直角三角形の3辺の長さの関係を表す等式である。三平方の定理とも呼ばれる。

直角三角形の斜辺の長さを c とし、その他の辺の長さを a, b とした時

a^2+b^2=c^2

なる関係が成立するという幾何学の定理である.

  • この式をピタゴラス方程式と呼ぶ。また、これを満たす三つ子の自然数(a,b.c)は、無数にあるが これをピタゴラス数と呼ぶ。

詳細--->ピタゴラス数

余弦定理

余弦定理は、ピタゴラスの定理を一般の三角形に、一般化したものとみなせる。

△ABC において、a = BC, b = CA, c = AB, α = ∠CAB, β = ∠ABC, γ = ∠BCA としたとき
a2 = b2 + c2 − 2bccosα
b2 = c2 + a2 − 2cacosβ
c2 = a2 + b2 − 2abcosγ

が成り立つ。

  • 3つの辺の長さがから、角度を求める場合に用いられる。

相関係数、誤差最小化とピタゴラスの定理:ベクトル表示

相関係数とは、2つのデータの関係を表わす指数であり、-1から+1の間の実数で示される。 この意味を分かりやすく説明したい。

体重xでウエストyが説明できるか?という問題を考えてみよう。

xを説明変数、yを従属変数と呼ぶ。 関数 Y=aX+b を考える。

n人のデータ(xi,yi),i=1~nが得られたので、x-y平面上にプロットする。

ここで、体重ベクトル x=(x1,x2,・・・xn)とウエストベクトルy=(y1,y2,・・・yn)で表わすことにする。

体重ベクトルをa倍したウェストの推定値ベクトル ax+b は一般に観測ベクトルyとはズレがある。そこでこのズレを誤差と呼び、誤差ベクトルe=y-y* で表わすものとしよう。 誤差を少なくするようなパラメータa,bを求める問題(パラメータ推定問題)を考える。誤差の平方和をF(a,b)=Σei^2 最小にするようなa,bをa*,b*で表わし、最適なパラメータと呼ぶ。

以上を整理すれば

パラメータ推定問題とは、次の誤差最小化問題
F(a,b)= Σei^2 --->Minimize by a
yi= axi +b +ei
(xi,yi),i=1~n 所与。
  • 解法
    • a,bで F(a,b)を偏微分したものがゼロとなる時が極値を与えるので
      Σeixi=0 :eベクトルとxベクトルの内積がゼロ
      Σei=0   :誤差の合計がゼロ
      これらの式を、正規方程式とよぶ。
    • ここで、xの平均μxと分散σx^2を定義する。yも同様に定義する。
      平均 μx  = Σ(xi)/n
      分散  σx^2= Σ(xi-μx)^2/n =Σ(xi)^2/n - (μx)^2
    • また、共分散σxyを次式で定義する。
      共分散 σxy = Σ(yi-μy)(xi-μx)/n =Σ(yixi)/n -μyμx
    • また 相関係数は R=σxy/[σx・σy]で定義される。
    • 推定された誤差ei=yi- a*xi -b* を代入してa*,b*を求めると
      Σeixi=Σ(yi- a*xi -b*)xi および Σei=0
      より
      Σ(yixi)-a*Σ(xi)^2 -b*Σ(xi)=0
      Σ(yi)- a*Σ(xi) -b*n=0
    • 平均と分散で表わす
      Σ(yixi)/n-a*Σ(xi)^2 /n-b*μx=0
      μy - a*μx -b =0
    • 連立して解く。b*を消去して
      Σ(yixi)/n-a*Σ(xi)^2/n -(μy - a*μx)μx=0
      a*=[Σ(yixi)/n-μyμx]/[Σ(xi)^2/n-(μx)^2]
        =σxy/σx^2
    • つぎにb*は
      b*=μy - μx・σxy/σx^2

推定の意味:直交射影の原理=ピタゴラスの定理

以上より、要約すると

推定式は y=σxy/σx^2・(x-μx) + μy となる

  • データxとyの平均を通り、傾きはσxy/σx^2=R・σy/σxのように標準偏差の比と相関係数Rで決まる。
  • 正規方程式を解くことは、推定ベクトルy*と誤差ベクトルeが直交するように解くことと等価である。
  • 3つのベクトル(y、e、y*)の長さにピタゴラスの定理が成り立つことと等価である。yを観測データベクターが作る平面に直交射影するようパラメータを決めれば、最適な解を得る。
    y^2 = e^2 + y*^2 :ピタゴラスの定理
  • eベクトルとxベクトルの内積がゼロであるので、eとXベクトルは直交している。そして、eとy*の合成ベクトルはyベクトルである。

相関係数の意味=ピタゴラスの定理

すでにしめした定理

y^2 = e^2 + y*^2 :ピタゴラスの定理

の両辺から、μy^2を引くと、y-μyとy*-μyの二乗和で表わせる。

ベクトル表示すれば、

|y-μy|^2=|y-y*|^2 + |y*-μy|^2

推定誤差ベクトルとy*-μyベクトルが直交しており、これらの合成がy-μyである。これがピタゴラスの定理を表わす。

この意味を考えてみよう。

決定係数R^2は次式で定義されるので、

R^2=   Σ(yi*-μy)^2 / Σ(yi-μy)^2

このことから,ベクトル表示式に代入すれば、決定係数と推定誤差二乗和の関係がわかる。

R^2 = 1 - (yの推定誤差の二乗和)

これで、推定誤差の2乗和を最小にするようにすることは、相関係数が最大になるようにパラメータを決めることである。

また、R^2は1より小さい正の数であるので、Rは-1から+1の範囲であることも分かる。

決定係数、相関係数、推定誤差二乗和の関係

決定係数Dは、次式で定義される。

D=   Σ(yi*-μy)^2 / Σ(yi-μy)^2

また、これを最適推定式 y=σxy/σx^2・(x-μx) + μy で書き直してみよう。

D= [σxy/σx^2]^2・Σ(xi-μx)^2 / Σ(yi-μy)^2
   = σxy^2/[σx^2・σy^2]
   =R^2

なぜならば 相関係数 Rが次式で定義されている。

R=σxy/[σx・σy]

そこで

決定係数=(相関係数)^2= 1-(推定誤差の二乗和)/(yの分散)

の関係があることがわかる。

決定係数とは、相関係数の二乗であり、1から標準化した推定誤差二乗和を引いたものに等しい。そこで、これを最大にするように決めることは、推定誤差二乗和を最小にすることと等価である。


トップ   差分 バックアップ リロード   一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-05-29 (土) 15:46:00 (3454d)