2016-07-01から1ヶ月間の記事一覧
オッカムの剃刀 説明は単純な方がよい 説明変数の組み合わせ爆発 組み合わせ爆発に代わるものとしてのL1ノルム正則化 劣微分 微分可能なときは接点が見つかるが、必ずしも微分可能でないとすると、単純に微分して傾きが０になる、という探し方ではうまく行か…
学習と言う意味で、回帰・分類・最適化は似たり寄ったり クロス・バリデーション 行列のランク 線形独立な列の数 線形独立な行の数 行列が作る連立１次方程式の独立な方程式の数 非ゼロ特異値の数 汎化と過剰適合 平均ケース評価と最悪ケース評価 期待値と分…
スパース性 要素ワイズのスパース性：行列に０がたくさんばらまかれていること グループ単位のスパース性：行列の特定の行に０が密集していること 低ランク性：行列の特異値のなかに０があることにより、ランクが低いことになるが、それはその行列が持つ情報…
正則化を通じてスパース性を導く 直接にスパース性を仮定する方法に比べて計算量の上でメリットがある その理由は凸最適化問題に帰着させることができるから ３種類のスパース性を扱う L1ノルムに基づく正則化 説明変数をグループ化し、それに関するL1ノルム…
スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)作者: 冨岡亮太出版社/メーカー: 講談社発売日: 2015/12/19メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る 目次 まえがき 第１章 はじめに 第２章 データからの学習 …
トレースノルムによる疎最適化は空間に凸なオブジェクトを配置したもので探索がしやすいもののこと それをさらに一般化して、複数のベクトルの集合(ただし逆向きもあり)の張る張子のような凸制約を考える さらには、ベクトルは単位球上の連続部分集合でもよ…
低ランク行列の応用は広い 低ランク制約は凸ではないので、最適化問題として直接扱うのは大変 L1ノルム正則化の拡張として、トレースノルムの低ランク性を誘導する 行列の特異値に対して、双対ノルムやprox作用素などL1ノルム関連の道具立てを拡張して、トレ…
最適化法の種類 繰り返し重み付き縮小法 損失項とリッジ正則化項の和が効率的に最小化できることを仮定する (加速付き)近接勾配法 損失項の滑らかさだけを仮定する 双対拡張ラグランジュ法 最小化関数が損失関数とデータ行列とに分解できることを必要とする …
ノイズがあると、理論的な「場所」からずれているので、「ノイズなしなら満足する」はずのモデルでも、ノイズのせいで、探索が失敗するところにデータ点が現れることもある 色々理論が提示され、ノイズなし条件よりきつい条件が出るが、それに「強凸性」など…
制約がはいったために滑らかでない探索平面で最適解に行きつける条件というのがあるだろうという話 必ずその条件を満たすわけではなく、条件を満たす確率を考察できる サンプル数、非ゼロ要素数の関数となるそうだ
ipython notebookでは、記載の単位をCellと言う Cellにはタイプがあって、Code(python のコード)、Markdown、Heading1,2…などがあるので、それを選ぶことで、最終的な見てくれを操作できる Markdownなのでその記法を使えば、数式Texなども入れられる Cellの…
昨日の記事は、scikit-learnをべたにやろうかと思ったその書きかけ しばらくやったら、たくさんありすぎることと、まあ、コピペすれば動くじゃない！ということでやる気がなくなる が、そうは言っても手を動かすことは慣れるために必要 ただし、Exampleは読…
http://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html # Code source: Gaël Varoquaux # Andreas Müller # Modified for documentation by Jaques Grobler # License: BSD 3 clause # 色々importする # …
7.1 Prediction Latency 7.2 Prediction Throughput 7.3 Tips and Tricks
6.1 Scaling with Instances using Out-of-core Learning
5.1 General Dataset API 5.2 Toy Datasets 5.3 Sample Images 5.4 Sample Generators 5.5 Datasets in Svmlight/libsvm format 5.6 The Olivetti Faces Dataset 5.7 The 20 Newsgroups Text Dataset 5.8 Downloading Datasets from the mldata.org Reposito…
4.1 Pipeline and Feature Union: Combining Estimators 4.2 Feature Extraction 4.3 Preprocessing Data 4.4 Unsupervised Dimensionality Reduction 4.5 Random Projection 4.6 Kernel Approximation 4.7 Pairwise Metrices, Affinities and Kernels 4.8 T…
3.1 Cross-validation: Evaluating Estimator Performance 3.2 Grid Search: Searching for Estimator Parameters 3.3 Model Evaluation: Quantifying the Quality of Predictions 3.4 Model Persistence 3.5 Validation Curves: Plotting Scores to Evaluate…
2.1 Gaussian Mixture Models 2.2 Manifold Learning 2.3 Clustering 2.4 Biclustering 2.5 Decomposing Signals in Components (Matrix Factorization Problems) 2.6 Covariance Estimation 2.7 Novelty and Outlier Detection 2.8 Density Estimation 2.9 …
1.1 Generalized Linear Models 1.1.1 普通の線形回帰 from sklearn import linear_model clf = linear_model.LinearRegression() x = [[0, 0], [1, 1], [2, 2]] y = [0, 1, 2] clf.fit (x, y) clf.coef_ clf.intercept_ xは二次元アレイ、yは一次元アレイ。…
昨日の記事でpythonのscikit-learnをいじってみた 今日はUser_guideをぱらぱらめくってみる まず、目次 1. Supervised learning 2. Unsupervised learning 3. Model selection and evaluation 4. Dataset transformations 5. Dataset loading utilities 6. S…
昨日の記事でpython(x,y)をWindows 7に入れた さて(Rよりpythonの方が楽と思われる)機械学習をやってみる scikit-learnモジュールのサイト pip install scikit-learn としてモジュールをインストールした後、python(x,y)にExamplesのサンプルを張り付けてみ…
久しぶりにWindows7でpython(x,y)を使おうと思ったらうまく行かなかったので、再インストールをすることにした こちらにあるような感じでやればよいのだが、なんらかのpythonが残っていると、インストール作業の冒頭で、削除してからインストールせよと言わ…
8.1 Hodge Decomposition 8.2 Homology Generators and Harmonic Bases 8.3 Connections and Parallel Transport 8.4 Vector Field Design
球面を平面に直すとゆがむ 長さと角度の両方を保存して平面化できないことを意味する 長さのゆがみは許容して、角度だけは保存することはできる。共形変換と言う 共形変換は平面を複素平面としてみることで説明することが多い 純虚数は複素平面での1/4回転を…
ラプラシアンと、ラプラシアンを用いた微分方程式であるポアソン方程式について。そしてのその離散版について スカラー場があって、その微分をしてベクトル場にして、そのベクトル場のdivergenceを取ってスカラー場と作りたい 微分形式を使うにしろ使わない…
離散三角メッシュの頂点の法線方向の定義についての章。複数の決め方がある 三角形の面積が法線ベクトルであることを利用して、面積の局所変化(gradient)を用いる方法 埋め込み関数をラプラシアンしたものが平均曲率の大きさを持つ法線ベクトルになることを…
球かドーナツか、などの話しとその離散版の話。今回は(も)省略 4.1 Euler Characteristic 4.2 Regular Meshes and Average Valence 4.3 Gauss-Bonnet 4.4 Numerical Tests and Convergence
3.1 Vectors and 1-Forms ベクトルは向きと大きさを持つもの ベクトルについて情報を取り出す関数があって、それは、ある方向に関するベクトルの成分を返す関数。これが1形式(covector) ベクトルも1形式も向きと大きさを持つので、同じもののようだが、片や…
