放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広げている女子生徒の横を通り過ぎたところで突然立ち止まった。 振り返ってその先客をよく眺めると、ツインテールの頭をどこか見覚えのある黄色い本に乗せて、机に突っ伏すようにして寝ていた。カズは思わず近寄って、本の正体を確認するためにのぞき込もうとしたそのとき。 「やっぱ、わかんない！ ……って、ひゃあ!?」 「わわっ」 突然跳ね起きたその生徒は、目と鼻の先にいたカズの姿にびっくりして悲鳴を上げた。カズもやはり驚きうろたえてしまった。 二人してしばらくそのまま息をのむようにして顔を見合わせていたが、そのうちどちらともなくぷっと吹き出した。 「あはは、ごめん……す
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
秘密主義の「Google X Labs」で働くGoogleの科学者らは、コンピュータを使って人間の脳をシミュレートすることに関して、大幅な進歩を遂げた。 自動運転車や拡張現実メガネの発明で最もよく知られる同研究所は、1万6000個のコンピュータプロセッサを接続して機械学習用のニューラルネットワークを作り出し、インターネットを徘徊させた。その過程で、同ネットワークは猫を認識する能力を自ら身につけた。 インターネット上で猫を見つける行為はそれほど困難なものに思えないが、The New York Times（NYT）の記事によると、同ネットワークの性能は研究者らの予想を上回るものであり、2万個のアイテムリストから物体を識別するときの精度が2倍に向上したという。 猫を見つけるために、同チームは100億件以上のYouTube動画から無作為に選択したサムネイル画像を同ネットワークに与えた。その結果は、
はじめに OLL によるオンライン学習を試してみた - 凹みTips にて oll （Online-Learning Library) を触ってみた記事を書きましたが、これを元に oll を node.js のアドオン化をしてみました。 ダウンロード hecomi/node-oll · GitHub 使ってみる github の README にも書きましたが以下のように使えます。 2012/06/20 0:25 - add の引数を修正 var oll = require('./build/Release/oll'); var PA1 = new oll.PA1(); // 学習とテスト PA1.add(true, '0:1.0 1:2.0 2:-1.0'); PA1.add(false, '0:-0.5 1:1.0 2:-0.5'); console.log(PA1.test('0:1
ICML2008で発表されたDredzeらのConfidence Weighted Linear Classificationを読んだ。これは線形分類器を学習する新しいオンライン学習型アルゴリズムの提案である。すぐに使える実装としてはOLLというオープンソースのライブラリがあり、実際に良い実験結果が出ているようだ。 Confidence Weightedのアイデアは、よく出てくる素性に関しては一回の更新における数値の変更量を減らしてやり、あまり出てこない素性に関しては、一回の更新でぐっと値を変更してやろう、というものである。 こういった新しい更新方法を考案した動機を明らかにするために、Perceptronを使って、単語を素性として評判分類の学習を行うような問題を考えてみる。肯定的な評価のサンプルとして"I liked this author."というものがあったとすると、このサンプルの分類
最近SVM(Support Vector Machine)周りの復習をしているので有名どころのツールと、それに関連する論文をまとめた。完全に個人用メモなので抜けがあるかも。あくまで参考程度に。 ツールは色々あるけれど使うのが目的なら定番のsvmlightやlibsvmがいい気がする。最近だとliblinearが流行っている。SVMといえばカーネル関数とマージン最大化だけれど、最近ではカーネルは線形でいいやという流れになってきている？個人的にはpegasosがわかり易い線形カーネル＋オンライン学習になっていて自分で作って遊ぶには良いと思っている。またsvmsgdは"straightforward stochastic gradient descent"と言っているものの非常に高性能で、それを実現するための様々な工夫が施されていて実装を学ぶ上で大変参考になる。ここには挙げていないけれど、線形カ
はじめに 音声家電制御に用いている音声認識エンジン Julius の認識結果の精度を高めるために、機械学習を取り入れようと思います。機械学習を Julius に取り込んだ例としては、ルールベースjuliusの誤認識対策にSVMを利用してみよう - お前の血は何色だ!! 4 にて、rtiさんが liblinear を用いたものを紹介してされています。しかしながら liblinear ではオンライン学習できないことを課題として挙げられていました。そこでうまくやってくれそうな C++ ライブラリを探したところ、oll - oll: Online-Learning Library - Google Project Hosting を見つけました。以下、Wiki（OllMainJa - oll - oll: Online-Learning Library - Google Project Hosti
印刷 日本将棋連盟の米長邦雄会長（６８）とコンピューターの将棋ソフト「ボンクラーズ」が２１日、インターネット上で対局し、ボンクラーズが８５手で勝った。米長会長は２００３年に現役を引退したが、名人を含むタイトル獲得１９期の実績を誇る元トッププロ。 近年、実力が著しく伸びている将棋ソフトの実力を試すために企画された。この日は、ボンクラーズが初手に角を働かせる最も自然な手を選んだのに対し、米長会長は△６二玉という奇策で応じ、定跡にない戦いになったが、ボンクラーズが一方的に攻めて勝った。持ち時間は各１５分で、使い切ると１手６０秒という早指し対局だった。 ボンクラーズは５月の世界コンピュータ将棋選手権で優勝。早指しで対戦した現役プロを負かすこともあるという。これまで現役の棋士が将棋ソフトに公の場で負けたことはない。 続きは朝日新聞デジタルでご覧いただけます
機械学習の3大有名手法といえばSVM、CRF、LDAではないだろうか(と勝手に思っている)。 SVM(Support Vector Machine)については以前記事を書いたので今回はCRF(Conditional Random Fields)について書いてみたい。 機械学習超入門IV 〜SVM(サポートベクターマシン)だって30分で作れちゃう☆〜 - EchizenBlog-Zwei といっても今回はさくっと読んでもらうのを目的にしているので手法の具体的な解説は行わない。具体的な部分は@uchumik氏の資料がとても詳しい｡ uchiumi log: 間違ってるかもしれないCRFの説明 また、実装方法については高村本(言語処理のための機械学習入門)がとても詳しい。 さて、具体的な解説をしないなら何をするの？ということだが、今回はそもそもCRFとは何かという話をする。過去の経験上この、そも
いろいろ勉強会やらなんやらで「どうやって予測モデルを作ればいいんですか？」って質問が多いので、ここで記録しておきます。統計モデルってのは、物理とかのモデルと違って正解が無いのが厄介でもあり、楽しいところでもあります。 基本的に最終的なモデルは線形式でビシッと書ける方がカッコいいですし、実装も簡単です。単純な線形モデルで如何に予測精度を上げるか？が統計家の腕の見せ所でもあります。 モデルを探索する作業が統計家にとって最も至福の時の1つですね！探索というと闇雲にやっているようにも聞こえますが、その探索作業にもいくつか手順があります。 1. 結果変数を定める予測したい対象を決めます。これが無いと始まりません。 2. 明らかに特性の違う集団を分ける性別、年代、職種、地域など。分け過ぎてもセグメントが多くなって手に負えなくなるので、グループ数は4つくらいが良いかも。特性が違わない、同じと仮定しても大
「言語処理のための機械学習入門」通称高村本でCRF(Conditional Random Fields, 条件付き確率場)のお勉強をしたのでメモしておく。 まず最初に世界には単純な線形識別関数があった。 y = wxこの線形識別関数で、素性はxそのもの。人々はよりリッチな素性が欲しくなったので事例xと正解ラベルtによって定まる素性φ(x, t)を思いついた。つまり y = wφ(x, t)である。さらにこれを確率化したくなった。確率とはつまり 1: P(x) >= 0 2: ΣP(x) = 1を満たす関数のこと。まずは1:を考える。つねにゼロ以上の値をとればよいのでyをexp(y)とする。こうすると y = -∞ => exp(y) = 0 y = ∞ => exp(y) = ∞ となりゼロ以上になることが保障される。つぎに2:を考える。足して1にするには全てのexp(y)の和で各exp(
ニーズがあるのかさっぱりわからない機械学習超入門だけどひっそり続けていきたい。 前回は識別関数の基礎であるパーセプトロンの簡単な説明とPerlによる実装を解説した。実はこの時点でかの有名なSVM(Support Vector Machine、サポートベクターマシン)もほぼ完成していたのだ！というわけで今回はSVMをPerlで作ってしまうお話。 参考: これからはじめる人のための機械学習の教科書まとめ - EchizenBlog-Zwei 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei 機械学習超入門II 〜Gmailの優先トレイでも使っているPA法を30分で習得しよう！〜 - EchizenBlog-Zwei 機械学習超入門III 〜機械学習の基礎、パーセプトロンを30分で作って学ぶ〜 - EchizenBlog-Zwei さて
2011/06/19 "第12回 データマイニング+WEB 勉強会＠東京−機械学習MapReduce・大規模R解析 祭り−"を開催しました。 第12回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 12th)−機械学習MapReduce・大規模R解析 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi
2010年は、パターン認識と機械学習（PRML）を読破して、機械学習の基礎理論とさまざまなアルゴリズムを身につけるという目標（2010/1/1）をたてています。もうすでに2010年も半分以上過ぎてしまいましたが、ここらでまとめたページを作っておこうと思います。ただ漫然と読んでると理解できてるかいまいち不安なので、Python（2006/12/10）というプログラミング言語で例を実装しながら読み進めています。Pythonの数値計算ライブラリScipy、Numpyとグラフ描画ライブラリのmatplotlibを主に使ってコーディングしています。実用的なコードでないかもしれませんが、ご参考まで。 PRMLのPython実装 PRML読書中（2010/3/26） 多項式曲線フィッティング（2010/3/27） 最尤推定、MAP推定、ベイズ推定（2010/4/4） 分類における最小二乗（2010/4/
統計的機械学習入門(under construction) 機械学習の歴史ppt pdf 歴史以前 人工知能の時代 実用化の時代 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise データの性質 数学のおさらいppt pdf 線形代数学で役立つ公式 確率分布 情報理論の諸概念 (KL-divergenceなど) 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 パーセプトロン カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 クラスタリングppt pdf 距離の定義 階層型クラスタリング K-means モデル推定ppt pdf 潜在変数のあるモデル EMアル
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
