漸近理論をスライド1枚で（フォローアッププログラムクラス講義07132016）
5 likes6,030 views
統計学の理論の根幹をなしている「漸近理論」はR.A. Fisherによって打ち立てられた壮大な理論体系です。普通、大学の高学年や大学院で教える内容です。それをここでは大学1年生にも分かるように簡潔に要点のみをスライド1ページで説明することを試みました。
1 of 22
Recommended
『バックドア基準の入門』＠統数研研究集会
『バックドア基準の入門』＠統数研研究集会takehikoihayashi 2017年2月17日に行われた統計数理研究所での研究集会『因果推論の基礎』での講演内容です（配布用の改変あり）。スライドだけだと口頭での説明がないので分かりにくい部分もあるかもしれません。
[http://www.ism.ac.jp/events/2017/meeting0216_17.html:title]
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"takehikoihayashi 社会学系の研究会からの依頼で、(1)因果推論の諸理論が奥の方でどう繋がっているか、また(2)そこで「質的理解」と「量的分析」がどう繋がっているのか、についてお話したときの資料です／ 訂正情報 (1) 誤：Neiman→正：Neyman, (2) スライド97枚目 誤:p(Y|X=小さい, Z) = p(Y|X=do(小さい))→正：E_{Z}[p(Y|X=小さい, Z)] = p(Y|X=do(小さい))（＊SlideShareではスライドの再アップロードが不可のためスライド自体を直せないのです...）
ベイズ推定の概要＠広島ベイズ塾
ベイズ推定の概要＠広島ベイズ塾Yoshitake Takebayashi ベイズ推定の発想、MCMCによる推定の概要など入門的なお話です。2014年6月の第一回ベイズ推定WSと内容はほぼ同一。
reveal.jsでクルクル回ります。
http://ytake2.github.io/bayes.github.io/#/
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」Ken'ichi Matsui The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to simulate sampling from these distributions and compare the simulated distributions to their theoretical probability density functions.
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化gree_tech The document discusses hyperparameter optimization in machine learning models. It introduces various hyperparameters that can affect model performance, and notes that as models become more complex, the number of hyperparameters increases, making manual tuning difficult. It formulates hyperparameter optimization as a black-box optimization problem to minimize validation loss and discusses challenges like high function evaluation costs and lack of gradient information.
階層ベイズとWAIC
階層ベイズとWAICHiroshi Shimizu HijiyamaR#3で発表しました。
階層ベイズを使った場合に，最尤法のAICと結果が大きく異なります。その問題についてどのように考えたらいいかについて発表しました。
PRMLの線形回帰モデル（線形基底関数モデル）
PRMLの線形回帰モデル（線形基底関数モデル）Yasunori Ozaki PRML上巻勉強会 at 東京大学の資料です。
この資料はChristopher M. Bishop 著「Pattern Recognition and Machine Learning」の日本語版「パターン認識と機械学習 上 - ベイズ理論による統計的予測」について補足説明を入れた上でなるべくわかりやすくしたものです。
本資料では第３章の前半、特に3.1節を中心に解説しています。
詳しくはこちらのサイト（外部）を御覧ください。
http://ibisforest.org/index.php?PRML
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索西岡 賢一郎 ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
臨床疫学研究における傾向スコア分析の使い⽅ 〜観察研究における治療効果研究〜
臨床疫学研究における傾向スコア分析の使い⽅ 〜観察研究における治療効果研究〜Yasuyuki Okumura 臨床疫学研究における傾向スコア分析の使い⽅〜観察研究における治療効果研究〜
第4回臨床研究実践講座ワークショップ
2020/2/27 (⽊) 12:30~16:30
JAM⾦属労働会館3階 301・302会議室
能動学習セミナー
能動学習セミナーPreferred Networks The document contains mathematical equations and notation related to machine learning and probability distributions. It involves defining terms like P(y|x), which represents the probability of outcome y given x, and exploring ways to calculate the expected value of an objective function Rn under different probability distributions p and q over the variables x and y. The goal appears to be to select parameters θ to optimize some objective while accounting for the distributions of the training data.
データを読む感性
データを読む感性Hideo Hirose Hiroshima Institute of Technology Symposium in 2018
広島工業大学シンポジウム「AIが奪う仕事、AIが創る仕事」
More Related Content
What's hot (20)
ベイズ推定の概要＠広島ベイズ塾
ベイズ推定の概要＠広島ベイズ塾Yoshitake Takebayashi ベイズ推定の発想、MCMCによる推定の概要など入門的なお話です。2014年6月の第一回ベイズ推定WSと内容はほぼ同一。
reveal.jsでクルクル回ります。
http://ytake2.github.io/bayes.github.io/#/
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」Ken'ichi Matsui The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to simulate sampling from these distributions and compare the simulated distributions to their theoretical probability density functions.
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化gree_tech The document discusses hyperparameter optimization in machine learning models. It introduces various hyperparameters that can affect model performance, and notes that as models become more complex, the number of hyperparameters increases, making manual tuning difficult. It formulates hyperparameter optimization as a black-box optimization problem to minimize validation loss and discusses challenges like high function evaluation costs and lack of gradient information.
階層ベイズとWAIC
階層ベイズとWAICHiroshi Shimizu HijiyamaR#3で発表しました。
階層ベイズを使った場合に，最尤法のAICと結果が大きく異なります。その問題についてどのように考えたらいいかについて発表しました。
PRMLの線形回帰モデル（線形基底関数モデル）
PRMLの線形回帰モデル（線形基底関数モデル）Yasunori Ozaki PRML上巻勉強会 at 東京大学の資料です。
この資料はChristopher M. Bishop 著「Pattern Recognition and Machine Learning」の日本語版「パターン認識と機械学習 上 - ベイズ理論による統計的予測」について補足説明を入れた上でなるべくわかりやすくしたものです。
本資料では第３章の前半、特に3.1節を中心に解説しています。
詳しくはこちらのサイト（外部）を御覧ください。
http://ibisforest.org/index.php?PRML
ベイズ最適化によるハイパラーパラメータ探索
ベイズ最適化によるハイパラーパラメータ探索西岡 賢一郎 ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
臨床疫学研究における傾向スコア分析の使い⽅ 〜観察研究における治療効果研究〜
臨床疫学研究における傾向スコア分析の使い⽅ 〜観察研究における治療効果研究〜Yasuyuki Okumura 臨床疫学研究における傾向スコア分析の使い⽅〜観察研究における治療効果研究〜
第4回臨床研究実践講座ワークショップ
2020/2/27 (⽊) 12:30~16:30
JAM⾦属労働会館3階 301・302会議室
能動学習セミナー
能動学習セミナーPreferred Networks The document contains mathematical equations and notation related to machine learning and probability distributions. It involves defining terms like P(y|x), which represents the probability of outcome y given x, and exploring ways to calculate the expected value of an objective function Rn under different probability distributions p and q over the variables x and y. The goal appears to be to select parameters θ to optimize some objective while accounting for the distributions of the training data.
More from Hideo Hirose (20)
データを読む感性
データを読む感性Hideo Hirose Hiroshima Institute of Technology Symposium in 2018
広島工業大学シンポジウム「AIが奪う仕事、AIが創る仕事」
Derivative of sine function: A graphical explanation
Derivative of sine function: A graphical explanationHideo Hirose The derivative of a sine function can be derived by using the limit for sine function. However, it seems difficult to understand this transformation. Thus, I have drawn a figure expressing the differentiation.
sine関数微分 d sin x / dx = cos x の説明は、sineの差の公式を積に変換して、sin x / x → 1 (x → 0) を使って説明されることが多い。
ここでは、図形的に示してみた。sin x / x → 1 (x → 0) が見えないだけになっているが、結局は、、、
Success/Failure Prediction for Final Examination using the Trend of Weekly On...
Success/Failure Prediction for Final Examination using the Trend of Weekly On...Hideo Hirose H. Hirose, Success/Failure Prediction for Final Examination using the Trend of Weekly Online Testing, 7th International Conference on Learning Technologies and Learning Environments (LTLE2018), pp.139-145, July 8-12, 2018.
Attendance to Lectures is Crucial in Order Not to Drop Out
Attendance to Lectures is Crucial in Order Not to Drop OutHideo Hirose H. Hirose, Attendance to Lectures is Crucial in Order Not to Drop Out, 7th International Conference on Learning Technologies and Learning Environments (LTLE2018), pp.194-198, July 8-12, 2018.
HTT vs. HTH
HTT vs. HTHHideo Hirose How many times are we tossing coins until we observe head, tail, and head? It's ten. It's not eight. This is an intriguing result against our intuition.
統計の世界：予測を扱う科学 Statistics World: A Science of Prediction
統計の世界：予測を扱う科学 Statistics World: A Science of PredictionHideo Hirose 中学3年生から高校2年生までを対象として統計の世界を紹介する講演の概要である。まず、80段のゴルトンボードを用いて、身の回りで観測される数値には確率的なゆらぎがあることを実験的に確認した。中心極限定理にも触れた。次に、感染症拡大予測についてさまざまな予測手法を紹介し、平均的なふるまいとゆらぎについて説明した。これは、広島大学附属中学校・高等学校での2017年10月27日に行われたSSH特別講義の内容である。
Solve [X^2=A], where A is a matrix![Solve [X^2=A], where A is a matrix](https://cdn.slidesharecdn.com/ss_thumbnails/solvex2ab09-170126130944-thumbnail.jpg?width=560&fit=bounds)
Solve [X^2=A], where A is a matrixHideo Hirose Solve [X^2=A],
where A is a matrix of
A = {{13,10},{10,17}}
コーヒーはホットかアイスか 意外なことが分かった
コーヒーはホットかアイスか 意外なことが分かったHideo Hirose 暑いとアイスコーヒーの注文が多い
寒いとホットコーヒーの注文が多い
こう思うが、果たして正しいのだろうか
そこで、真夏の5日間と真冬の5日間の
ホットコーヒー、アイスコーヒー
の売り上げを調べて季節とこれらの関係を見ることにした
その結果、意外なことが分かった
多変数の極値問題は解析と線形代数の融合だ
多変数の極値問題は解析と線形代数の融合だHideo Hirose 極値を求める問題は工学系に限らずあらゆる面で利用価値のある数学の応用分野である。高校生のときには1変数の場合の極値を取り扱い視覚的にもわかりやすく理解しやすかった。しかし、大学で多変数関数の微分に入ると急に複雑に感じ始める。2変数までは視覚的に捉えられても、3変数以上になるともう感覚的に捉えることができなくなり、理解しにくくなる。極値問題を取り扱うときにも同様で、2変数まではなんとか説明されている大学の教科書も3変数以上になると省略されていることが多い。しかし、実用面から考えると3変数以上の極値を求める応用分野はとても広い。重要なテーマなのである。
ここでは主に3変数以上の極値問題をできるだけわかりやすく概観することを試みる。解析だけの知識だけでは2変数の極値問題に限られてしまうので線形代数の知識も使いながら3変数以上に汎用性を広げていく。線形代数の、行列式、固有値、固有ベクトル、直行変換、2次形式、正値（負値）などの概念を使うことになるが、逆に解析と線形代数のつながりが見えてくる重要な場面にもなっている。
Homotopy法による非線形方程式の解法
Homotopy法による非線形方程式の解法Hideo Hirose 非線形方程式の解法にはNewton法が定番。しかし、収束は初期値に敏感であることはあまり教科書に載っていない。非常に簡単な問題でもいいので試しに指数関数が入った方程式をNewton法で解いてみるとイライラしてくるくらい初期値設定が難しいことがわかる。現実問題とはそんなもの。初期値設定を手助けする意味でHomotopy法を使ってみる。数学的には美しい理論。おもしろいのはHomotopy法を使うということは微分方程式を解いていることにつながるということ。エンジョイして欲しい。
Different classification results under different criteria, distance and proba...
Different classification results under different criteria, distance and proba...Hideo Hirose 分類の規準を距離の規準にとるか確率の規準にとるかで分類結果が違う。
ここではその典型例示した。
雷の波形は指数関数（フォローアッププログラムクラス講義07072016）
雷の波形は指数関数（フォローアッププログラムクラス講義07072016）Hideo Hirose 自然界によく観られる現象は指数関数や対数関数で表されることが多いのです。ここでは雷の波形を単純な2つの指数関数の差で表して微分、極値、変曲点を学びましょう。
微分は約分ではない（フォローアッププログラムクラス講義06152016）
微分は約分ではない（フォローアッププログラムクラス講義06152016）Hideo Hirose 2016年前期フォローアッププログラムクラスで行った講義です。微分は約分に似ていますが極限をとりますので意味を考えて使い分けましょう。
Interesting but difficult problem: find the optimum saury layout on a gridiro...
Interesting but difficult problem: find the optimum saury layout on a gridiro...Hideo Hirose Even though we use a simple but ridiculous problem finding the optimum saury baking layout on a fish gridiron by Joule heat, we can invoke the interest to science by combining electrical engineering, linear algebra and probability viewpoints. These elements are, use of solving linear equation and Poisson's equation, and applying the central limit theorem to this situation. In addition, by removing the constraints, we can create a new problem free from our common sense. Presenting funny but essential problems could be another aspect for active learning using the problem of the interdisciplinary scientific methods.
Central Limit Theorem & Galton Board
Central Limit Theorem & Galton BoardHideo Hirose With 80 steps Galton boards, we can see the binomial distribution approximated to the normal distribution.
Youtube ===>>>
https://www.youtube.com/watch?v=3w4e1RQTAB8
回路方程式, ポアソン方程式, 中心極限定理による最適なサンマの焼き方
回路方程式, ポアソン方程式, 中心極限定理による最適なサンマの焼き方Hideo Hirose サンマが一尾。魚焼きの網はあるがコンロと炭がない。電気はある。
電気でサンマを焼いてみよう。
回路方程式, ポアソン方程式, 中心極限定理を用いて魚焼き網の両端から電流を流してジュール熱で魚を焼く。
さて、魚をどのように置いたらうまく焼けるだろうか。
最適な焼き方について考えてみよう。
最後にはあっと驚く発想の転換と意外な結果が。
….. 電気学会教育フロンティア研究会, FIE-16-015, pp.71-78（February 29-30, 2016）
Extended cumulative exposure model, ecem
Extended cumulative exposure model, ecemHideo Hirose The cumulative exposure model (CEM) is often used to express the failure probability model in the step-up test method; the step-up procedure continues until a breakdown occurs. This probability model is widely accepted in reliability fields because accumulation of fatigue is considered to be reasonable. Contrary to this, the memoryless model (MM) is also used in electrical engineering because accumulation of fatigue is not observed in some cases. We propose here a new model, the extended cumulative exposure model (ECEM), which includes features of both the described models. A simulation study and an application to the actual experimental case of oil insulation test support the validity of the proposed model. The independence model (IM) is also discussed.
「科学=予測」Science cafe 2011 june 10
「科学=予測」Science cafe 2011 june 10Hideo Hirose 予測の確からしさをどこまで求めるか。
サイエンスカフェ、科学は予測、インフルエンザの流行予測、血液型と性格の間の関係、メディアと情報
Parameter estimation for the truncated weibull model using the ordinary diffe...
Parameter estimation for the truncated weibull model using the ordinary diffe...Hideo Hirose In estimating the number of failures using the truncated data for the Weibull model, we often encounter a case that the estimate is smaller than the true one when we use the likelihood principle to conditional probability. In infectious disease predictions, the SIR model described by simultaneous ordinary differential equations are often used, and this model can predict the final stage condition, i.e., the total number of infected patients, well, even if the number of observed data is small. These two models have the same condition for the observed data: truncated to the right. Thus, we have investigated whether the number of failures in the Weibull model can be estimated accurately using the ordinary differential equation. The positive results to this conjecture are shown.