[機械学習] PRML Hackathon #2

PRML Hackathonに行ってきました。
今回のHackathonでは昨日書いたスライスサンプリングという手法をLDAの推論に使ってみて通常のGibbs samplerと比較してみました。

結果としてはサンプリング速度が2-3倍程度高速になり、手法の有効性を確かめることができました。また、perplexityの値は
Gibbs samplerよりも少し悪い結果となりました。(誤解を招く表現でした、詳しくは下に追記しました)

Prml Hackathon

View more presentations from tsubosaka.

追記:
perplexityの値が悪くなったというと変分ベイズのように近似が入って性能が悪くなる印象を与えますがそうではないです。
slice samplerはgibbs samplerと同様に十分な回数反復すれば正しい確率分布からのサンプルを取ることができる方法です。
実験で言えることとしては単に同一iterationの条件ではgibbs samplerの方がperplexityが低くなっているということだけです。また、すべてのトークンに関して一回ずつサンプリングを行なうのを 1 iterationとしていますが、この 1 iterationの速度もslice samplerの方が数倍高速に行えるため、実時間で見た時のperplexityの収束速度についてもslice samplerの方が高速です。