スパース

メモ:対称群 シューア多項式 疎アルゴリズム

対称群(wiki) Matrix Schur functions, permutation matrices, and young operators as inner product spaces(PDF) シューア多項式(Wiki) Schur polynomials and matrix positivity preservers(PDF)

スパース性の導入 ぱらぱらめくる『スパース性に基づく機械学習』

オッカムの剃刀 説明は単純な方がよい 説明変数の組み合わせ爆発 組み合わせ爆発に代わるものとしてのL1ノルム正則化 劣微分 微分可能なときは接点が見つかるが、必ずしも微分可能でないとすると、単純に微分して傾きが0になる、という探し方ではうまく行か…

データからの学習 ぱらぱらめくる『スパース性に基づく機械学習』

学習と言う意味で、回帰・分類・最適化は似たり寄ったり クロス・バリデーション 行列のランク 線形独立な列の数 線形独立な行の数 行列が作る連立1次方程式の独立な方程式の数 非ゼロ特異値の数 汎化と過剰適合 平均ケース評価と最悪ケース評価 期待値と分…

はじめに ぱらぱらめくる『スパース性に基づく機械学習』

スパース性 要素ワイズのスパース性:行列に0がたくさんばらまかれていること グループ単位のスパース性:行列の特定の行に0が密集していること 低ランク性:行列の特異値のなかに0があることにより、ランクが低いことになるが、それはその行列が持つ情報…

まえがき ぱらぱらめくる『スパース性に基づく機械学習』

正則化を通じてスパース性を導く 直接にスパース性を仮定する方法に比べて計算量の上でメリットがある その理由は凸最適化問題に帰着させることができるから 3種類のスパース性を扱う L1ノルムに基づく正則化 説明変数をグループ化し、それに関するL1ノルム…

ぱらぱらめくる『スパース性に基づく機械学習』

スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)作者: 冨岡亮太出版社/メーカー: 講談社発売日: 2015/12/19メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る 目次 まえがき 第1章 はじめに 第2章 データからの学習 …

アトミックノルム ぱらぱらめくる『スパース性に基づく機械学習』

トレースノルムによる疎最適化は空間に凸なオブジェクトを配置したもので探索がしやすいもののこと それをさらに一般化して、複数のベクトルの集合(ただし逆向きもあり)の張る張子のような凸制約を考える さらには、ベクトルは単位球上の連続部分集合でもよ…

トレースノルム正則化に基づく機械学習 ぱらぱらめくる『スパース性に基づく機械学習』

低ランク行列の応用は広い 低ランク制約は凸ではないので、最適化問題として直接扱うのは大変 L1ノルム正則化の拡張として、トレースノルムの低ランク性を誘導する 行列の特異値に対して、双対ノルムやprox作用素などL1ノルム関連の道具立てを拡張して、トレ…

L1ノルム正則化のための最適化法 ぱらぱらめくる『スパース性に基づく機械学習』

最適化法の種類 繰り返し重み付き縮小法 損失項とリッジ正則化項の和が効率的に最小化できることを仮定する (加速付き)近接勾配法 損失項の滑らかさだけを仮定する 双対拡張ラグランジュ法 最小化関数が損失関数とデータ行列とに分解できることを必要とする …

ノイズありL1ノルム最小化の理論 ぱらぱらめくる『スパース性に基づく機械学習』

ノイズがあると、理論的な「場所」からずれているので、「ノイズなしなら満足する」はずのモデルでも、ノイズのせいで、探索が失敗するところにデータ点が現れることもある 色々理論が提示され、ノイズなし条件よりきつい条件が出るが、それに「強凸性」など…

ノイズなしL1ノルム最小化の理論 ぱらぱらめくる『スパース性に基づく機械学習』

制約がはいったために滑らかでない探索平面で最適解に行きつける条件というのがあるだろうという話 必ずその条件を満たすわけではなく、条件を満たす確率を考察できる サンプル数、非ゼロ要素数の関数となるそうだ