ICML2011読み会で発表してきました

機械学習

id:nokunoさんの主催したICML2011読み会で発表してきました

自分はSparse Additive Generative Model for Textという論文について発表しました

発表資料:

Icml2011 reading-sage
View more presentations from tsubosaka

他の発表についていくつかメモ

  • Infinite SVM: a Dirichlet Process Mixture of Large-margin Kernel Machines
    • データをある程度セグメントに分けて、それぞれで識別モデルを構成したほうが性能が上がるよねという話という理解
    • これは実務的にもユーザモデルの作成のときに性別で分けて独立にモデルを作成したほうが性能が高いことがあったり、決定木的な方法が割とうまくいくことからも納得できる
  • GoDec: Randomized Low-rank & Sparse Matrix Decomposition in Noisy Case
    • この話を聴いてSAGEでもバックグラウンドのmは学習で求めてもいいのではという気がした
  • Parallel Coordinate Descent for L1-Regularized Loss Minimization
    • SGDはデータ点を一つ持ってきてパラメータを最適化する方法で、SCDはパラメータの次元の一つを持ってきてそれについて最適化する手法
    • この論文では複数の次元を一気に並列で最適化する場合にどれくらいの次元数を一気に更新していいかの理論値をあたえた
    • SGDに比べて収束が早かったり、損失関数によっては解析的に解が求まるため学習率みたいなパラメータを与えなくてもいいというメリットがある
    • この話を聴いてて、今までSGDとSCDをごっちゃにしてたことに気付いて恥ずかしかった
      • 言い訳をするとliblinearを使ってるアルゴリズムの一つである"A dual coordinate descent method for large-scale linear SVM"は双対空間でSCDをしてるので双対だと次元がデータ点に対応するためデータ点を一個持ってきて最適化とか思ってました。学習率とか出てきてない時点で気付けよという話ですが