2016-07-31から1日間の記事一覧
オッカムの剃刀 説明は単純な方がよい 説明変数の組み合わせ爆発 組み合わせ爆発に代わるものとしてのL1ノルム正則化 劣微分 微分可能なときは接点が見つかるが、必ずしも微分可能でないとすると、単純に微分して傾きが０になる、という探し方ではうまく行か…
学習と言う意味で、回帰・分類・最適化は似たり寄ったり クロス・バリデーション 行列のランク 線形独立な列の数 線形独立な行の数 行列が作る連立１次方程式の独立な方程式の数 非ゼロ特異値の数 汎化と過剰適合 平均ケース評価と最悪ケース評価 期待値と分…
スパース性 要素ワイズのスパース性：行列に０がたくさんばらまかれていること グループ単位のスパース性：行列の特定の行に０が密集していること 低ランク性：行列の特異値のなかに０があることにより、ランクが低いことになるが、それはその行列が持つ情報…
正則化を通じてスパース性を導く 直接にスパース性を仮定する方法に比べて計算量の上でメリットがある その理由は凸最適化問題に帰着させることができるから ３種類のスパース性を扱う L1ノルムに基づく正則化 説明変数をグループ化し、それに関するL1ノルム…
スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)作者: 冨岡亮太出版社/メーカー: 講談社発売日: 2015/12/19メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る 目次 まえがき 第１章 はじめに 第２章 データからの学習 …
トレースノルムによる疎最適化は空間に凸なオブジェクトを配置したもので探索がしやすいもののこと それをさらに一般化して、複数のベクトルの集合(ただし逆向きもあり)の張る張子のような凸制約を考える さらには、ベクトルは単位球上の連続部分集合でもよ…
低ランク行列の応用は広い 低ランク制約は凸ではないので、最適化問題として直接扱うのは大変 L1ノルム正則化の拡張として、トレースノルムの低ランク性を誘導する 行列の特異値に対して、双対ノルムやprox作用素などL1ノルム関連の道具立てを拡張して、トレ…
最適化法の種類 繰り返し重み付き縮小法 損失項とリッジ正則化項の和が効率的に最小化できることを仮定する (加速付き)近接勾配法 損失項の滑らかさだけを仮定する 双対拡張ラグランジュ法 最小化関数が損失関数とデータ行列とに分解できることを必要とする …
ノイズがあると、理論的な「場所」からずれているので、「ノイズなしなら満足する」はずのモデルでも、ノイズのせいで、探索が失敗するところにデータ点が現れることもある 色々理論が提示され、ノイズなし条件よりきつい条件が出るが、それに「強凸性」など…
制約がはいったために滑らかでない探索平面で最適解に行きつける条件というのがあるだろうという話 必ずその条件を満たすわけではなく、条件を満たす確率を考察できる サンプル数、非ゼロ要素数の関数となるそうだ
