スパース性の導入 ぱらぱらめくる『スパース性に基づく機械学習』

  • オッカムの剃刀
    • 説明は単純な方がよい
  • 説明変数の組み合わせ爆発
  • 組み合わせ爆発に代わるものとしてのL1ノルム正則化
  • 微分
    • 微分可能なときは接点が見つかるが、必ずしも微分可能でないとすると、単純に微分して傾きが0になる、という探し方ではうまく行かない。それを「劣微分」的に考えようということ
    • 変数制約がないときには、なめらかに微分可能な関数を対象にして、最小値探索をする。それは微分係数が0になるところの探索
    • 変数制約を入れると、この微分係数の関数に連続だけれど滑らかでないところが現れる
    • そのような滑らかなところがあっても、最適解が探索可能ならよい