機械学習

テキスト関連資料の入手 Python機械学習の勉強(い)

pythonはpython3.xを使うらしい。準備ができていてるのはpython2.x。どこまで2系でできるかやってみる Jupyter notebookではpython 2系、3系を使い分けられるようなので、いずれそれができるようにする 2系、3系だけでなく、pythonはいろいろな「セット(Anac…

スパース性の導入 ぱらぱらめくる『スパース性に基づく機械学習』

オッカムの剃刀 説明は単純な方がよい 説明変数の組み合わせ爆発 組み合わせ爆発に代わるものとしてのL1ノルム正則化 劣微分 微分可能なときは接点が見つかるが、必ずしも微分可能でないとすると、単純に微分して傾きが0になる、という探し方ではうまく行か…

データからの学習 ぱらぱらめくる『スパース性に基づく機械学習』

学習と言う意味で、回帰・分類・最適化は似たり寄ったり クロス・バリデーション 行列のランク 線形独立な列の数 線形独立な行の数 行列が作る連立1次方程式の独立な方程式の数 非ゼロ特異値の数 汎化と過剰適合 平均ケース評価と最悪ケース評価 期待値と分…

はじめに ぱらぱらめくる『スパース性に基づく機械学習』

スパース性 要素ワイズのスパース性:行列に0がたくさんばらまかれていること グループ単位のスパース性:行列の特定の行に0が密集していること 低ランク性:行列の特異値のなかに0があることにより、ランクが低いことになるが、それはその行列が持つ情報…

まえがき ぱらぱらめくる『スパース性に基づく機械学習』

正則化を通じてスパース性を導く 直接にスパース性を仮定する方法に比べて計算量の上でメリットがある その理由は凸最適化問題に帰着させることができるから 3種類のスパース性を扱う L1ノルムに基づく正則化 説明変数をグループ化し、それに関するL1ノルム…

ぱらぱらめくる『スパース性に基づく機械学習』

スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)作者: 冨岡亮太出版社/メーカー: 講談社発売日: 2015/12/19メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る 目次 まえがき 第1章 はじめに 第2章 データからの学習 …

アトミックノルム ぱらぱらめくる『スパース性に基づく機械学習』

トレースノルムによる疎最適化は空間に凸なオブジェクトを配置したもので探索がしやすいもののこと それをさらに一般化して、複数のベクトルの集合(ただし逆向きもあり)の張る張子のような凸制約を考える さらには、ベクトルは単位球上の連続部分集合でもよ…

トレースノルム正則化に基づく機械学習 ぱらぱらめくる『スパース性に基づく機械学習』

低ランク行列の応用は広い 低ランク制約は凸ではないので、最適化問題として直接扱うのは大変 L1ノルム正則化の拡張として、トレースノルムの低ランク性を誘導する 行列の特異値に対して、双対ノルムやprox作用素などL1ノルム関連の道具立てを拡張して、トレ…

L1ノルム正則化のための最適化法 ぱらぱらめくる『スパース性に基づく機械学習』

最適化法の種類 繰り返し重み付き縮小法 損失項とリッジ正則化項の和が効率的に最小化できることを仮定する (加速付き)近接勾配法 損失項の滑らかさだけを仮定する 双対拡張ラグランジュ法 最小化関数が損失関数とデータ行列とに分解できることを必要とする …

ノイズありL1ノルム最小化の理論 ぱらぱらめくる『スパース性に基づく機械学習』

ノイズがあると、理論的な「場所」からずれているので、「ノイズなしなら満足する」はずのモデルでも、ノイズのせいで、探索が失敗するところにデータ点が現れることもある 色々理論が提示され、ノイズなし条件よりきつい条件が出るが、それに「強凸性」など…

ノイズなしL1ノルム最小化の理論 ぱらぱらめくる『スパース性に基づく機械学習』

制約がはいったために滑らかでない探索平面で最適解に行きつける条件というのがあるだろうという話 必ずその条件を満たすわけではなく、条件を満たす確率を考察できる サンプル数、非ゼロ要素数の関数となるそうだ

Classifiersの比較 ぱらぱらめくるscikit-learnのUser guide

http://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html # Code source: Gaël Varoquaux # Andreas Müller # Modified for documentation by Jaques Grobler # License: BSD 3 clause # 色々importする # …

7. Computational Performance ぱらぱらめくるscikit-learnのUser guide

7.1 Prediction Latency 7.2 Prediction Throughput 7.3 Tips and Tricks

6. Strategies to scale computationally: bigger data ぱらぱらめくるscikit-learnのUser guide

6.1 Scaling with Instances using Out-of-core Learning

5. Dataset loading utilities ぱらぱらめくるscikit-learnのUser guide

5.1 General Dataset API 5.2 Toy Datasets 5.3 Sample Images 5.4 Sample Generators 5.5 Datasets in Svmlight/libsvm format 5.6 The Olivetti Faces Dataset 5.7 The 20 Newsgroups Text Dataset 5.8 Downloading Datasets from the mldata.org Reposito…

4. Dataset transformations ぱらぱらめくるscikit-learnのUser guide

4.1 Pipeline and Feature Union: Combining Estimators 4.2 Feature Extraction 4.3 Preprocessing Data 4.4 Unsupervised Dimensionality Reduction 4.5 Random Projection 4.6 Kernel Approximation 4.7 Pairwise Metrices, Affinities and Kernels 4.8 T…

3. Model selection and evaluation ぱらぱらめくるscikit-learnのUser guide

3.1 Cross-validation: Evaluating Estimator Performance 3.2 Grid Search: Searching for Estimator Parameters 3.3 Model Evaluation: Quantifying the Quality of Predictions 3.4 Model Persistence 3.5 Validation Curves: Plotting Scores to Evaluate…

2. Unsupervised learning ぱらぱらめくるscikit-learnのUser guide

2.1 Gaussian Mixture Models 2.2 Manifold Learning 2.3 Clustering 2.4 Biclustering 2.5 Decomposing Signals in Components (Matrix Factorization Problems) 2.6 Covariance Estimation 2.7 Novelty and Outlier Detection 2.8 Density Estimation 2.9 …

1. Supervised learning ぱらぱらめくるscikit-learnのUser guide

1.1 Generalized Linear Models 1.1.1 普通の線形回帰 from sklearn import linear_model clf = linear_model.LinearRegression() x = [[0, 0], [1, 1], [2, 2]] y = [0, 1, 2] clf.fit (x, y) clf.coef_ clf.intercept_ xは二次元アレイ、yは一次元アレイ。…

ぱらぱらめくるscikit-learnのUser guide

昨日の記事でpythonのscikit-learnをいじってみた 今日はUser_guideをぱらぱらめくってみる まず、目次 1. Supervised learning 2. Unsupervised learning 3. Model selection and evaluation 4. Dataset transformations 5. Dataset loading utilities 6. S…

dlib C++ library

C++のライブラリを探していたら、ちょっと面白いスゴロクを見つけました。Dlib ライブラリ 機械学習的に課題解決をするためのC++メニューを提供してくれるライブラリですが、そのメニュー選択ガイドがスゴロク式判断分岐木でした。 機械学習の解決課題は大き…