PRML読書会08 + 逆行列の計算に関しての覚書
毎月恒例のPRML読書会で発表してきました。
今回の発表は6.4.5,6.4.6でガウス過程による分類を行う際の定式化とそこで出てくる積分をラプラス近似で近似を行う方法についてでした。
ラプラス近似で計算を行う部分についてはこの読書会で出てくるのが3度目ということもあって、割と素直に式の意味を追うことができた。
発表資料は下に載せておきます。
あと、今回の読書会で読んだ部分では逆行列が出てきたが、今回出てきた範囲においては実際の逆行列を計算する必要はなく逆行列とベクトルの積を計算するだけでよい。すなわち行列A,ベクトルvに対しての計算ができればよい。
こういう場合の常とう手段として線型方程式
をxに関して解くことによっての値を求める。
ちなみにこの計算はmatlabではA\vでRではsolve(A,v)と書けばできる。
行列が密な場合でもガウスの消去法を用いて連立方程式を解く方が数値的に安定しており、余計なメモリも消費しないため、線型方程式を解く方法の方が逆行列を直接計算する方法より優れている。
また、Aが疎行列のときは行列とベクトルの積を計算するだけで線型方程式を解くKrylov部分空間法という方法が知られており、行列のサイズをNとするとO(N)回の行列・ベクトル積を計算するだけで線型方程式の解を求めることができる。Aが疎行列のときは行列の非ゼロの個数もO(N)程度なので全体としてO(N^2)で計算できる。
