前提 設定 n 組の目的変数 y_i と p-1 個の説明変数 x_{1i}, x_{2i}, ..., x_{p-1,i} からなるデータセット(i=1, 2, ..., n)をもとに、線形回帰モデルを作成する： y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... \beta_{p-1} x_{p-1,i} + \varepsilon_i. ただし、\varepsilon_i は独立同時な分布に従う誤差項とし、その期待値は E[\varepsilon_i] = 0、分散は V[\varepsilon] = \sigma^2 とする。 この時上記のモデル式は、目的変数ベクトル \boldsymbol{Y} = (y_1, y_2, ..., y_n)^\top、計画行列 \boldsymbol{X}、回帰係数ベクトル \boldsym

プログラミングの舞台裏には、異なるプログラミング言語を組み合わせて使用することで、プロジェクトに深みをもたらす魔法が広がっています。今回の記事では、PythonとR言語の連携に焦点を当て、データサイエンスの分野でこれらの言語を連携させることで得られる恩恵について詳しく探ってみましょう。 PythonとR言語: データサイエンスのダイナミックデュオ Pythonは豊富なライブラリやシンプルな構文を持ち、データ処理や機械学習分野で強力な存在です。一方で、R言語は統計解析や可視化に特化しており、データサイエンスの分野で広く使用されています。これらの異なる強みを連携させることで、データサイエンスのダイナミックデュオが誕生します。 連携の鍵: PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出すためには、subprocessモジュールを使用します。以下は基本的な例です。 i

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Pythonで統計処理をしているが、Rでコードを書いたことがない方々のために、30分から1時間で読めるR入門を書きました。この記事の R Markdown 文書と実行環境は、こちらの GitHubレポジトリ にあります。 目次 準備 プログラミング言語Rの基本 基本型 演算 Assertion ベクトルの要素数とrange リスト DataFrame (tibble) Matrix 関数 いろいろな処理と込み入った話題 文字列処理 強制型変換 等差数列 集合演算 日時と時刻 クラス 参照渡しと copy-on-modify デフォルト値 Assertionで実行を止める コマンドライン引数を解析する CSVファイルを読んで集計する ディレクトリを作る CSVファイルを読む グラフを描く CSVファイルを加工する それぞれの行を集計する それぞれの列を集計する 行をグループ化する カテゴリ変

連載目次 Python／Rコードの実行や機械学習／データサイエンスの実装を無料でオンライン実行できる環境といえば、Google Colaboratory（略してColab）が特に有名である。2021年12月1日、そのColabに強力なライバルが現れた。「Amazon SageMaker Studio Lab」（アマゾン・セージメーカー・スタジオ・ラボ）だ*1。 *1　日本語では「ラボ」だが、英語では「ラブ（Lab）」と発音するのが普通。「スタジオ」は英語では「ステューディオ（Studio）」。「セージ（Sage）」とは、ハーブや花の名前ではなく「学び経験を積んだ賢者（Wise old man、例えばハリー・ポッターのダンブルドア校長は魔法の賢者）」のことで、賢者は「機械学習モデル」を暗喩すると思われるが、一説にはマーケティング目的で独自用語にするためにランダムな単語生成で命名されたという噂

概要 Quarto という R Markdown のような動的ドキュメント生成プログラムが開発中 まだ開発版だが野心的な機能をめざしているらしい 単なる R Markdown の再設計ではなく, Jupyter Notebook の変換にも対応している R や Python だけでなく Jupyter カーネルで使える任意の言語でも R Markdown のように扱えるかもしれない 使い方の参考になるようにこの投稿も Quarto を利用して書いている ただしはてなブログは独特の仕様なので一部手動で修正している 先行して Rpubs にアップロードしたものは出力されたHTMLをそのまま使っている. はっきりいってこちらの方が見栄えが良い. 付録としてプレゼンテーション資料への変換, Jupyter Notebook の変換例も用意した github.com 注意 Quarto は最近公開さ

本日のPyCon JP 2020にてお話しました以下の発表に関する補足・解説ブログとなります. スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 - PythonとRを行ったり来たり このエントリーではスライドのスクショとともに, 参考資料 細かすぎて本編で話さなかったハナシ もし真似してやるならこれぐらいは読んでおいたほうがいいよ 的な話を中心に, 過去記事のreference等を掲載しています. スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 これを読むと⚾️で特徴量エンジニアリングと機械学習がいい感じにできるかと思います👍 スタメン スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 スタメン CM JX通信社 Pythonもくもく自習室 #jisyupy 特徴量エンジニアリングについて 野球データの特徴量 Python, R, SQ

PyCon JP 2020 8/28 「スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 - PythonとRを行ったり来たり」登壇資料 https://pycon.jp/2020/timetable/?id=203110 #Baseball #SABRmetrics #Py…

学生時代からデータ解析にはRをメインで使ってきました。Pythonについてはデータ構造やクラス/インスタンスなど最低限知っておくべきPythonの知識は学んだものの，細かい文法・テクニックなどについて詳しくなく，困ったときにはRのノリ + ググった付け焼き刃で乗り越えてきました。最近仕事でPythonを使う機会が段々多くなり体系的に学ぶ必要があると感じ，『Python 実践入門』と『Python言語によるプログラミングイントロダクション』*1など読み進めています。 Python実践入門 ── 言語の力を引き出し、開発効率を高める (WEB+DB PRESS plusシリーズ) 作者:陶山 嶺発売日: 2020/01/24メディア: 単行本（ソフトカバー） Python言語によるプログラミングイントロダクション：世界標準MIT教科書 作者:John V. Guttag発売日: 2016/05

時系列予測のベストプラクティスを共有するGitHubリポジトリを開設、Microsoft：PythonやR向け Microsoftは、時系列予測のベストプラクティスを共有するためのGitHubリポジトリを開設した。PythonやRを使っている開発者に向けたものだ。 Microsoftの「R」コミュニティー向けブログサイト「Revolutions」は、2020年4月14日（米国時間）、時系列予測のベストプラクティスを共有するためのGitHubリポジトリ「Time Series Forecasting Best Practices & Examples」を開設したと発表した。 Microsoftはこのリポジトリについて、README.mdで次のように説明している。 「時系列予測は、データサイエンスで最も重要なトピックの一つだ。的確な意思決定と効果的な資源配分を行うために、ほぼ全ての企業には未来

TL;DR 書籍「効果検証入門 正しい比較のための因果推論／計量経済学の基礎」のRソースコードを、Pythonで（ほぼ）再現しました https://github.com/nekoumei/cibook-python 本記事では、主にRではライブラリどーん！で済むけどPythonではそうはいかない部分の解説をします 書籍の紹介 https://www.amazon.co.jp/dp/B0834JN23Y 上記Amazonに目次が載っているのでそれを見るのが早い気がしますが。。 とても良い本です。正確な意思決定を行うためにどうやってバイアスを取り除くか？に焦点を当てて種々の因果推論の手法（傾向スコア/DiD/RDDなど）をRソースコードによる実装とともに紹介されています。 全体を通して、現実問題の効果検証に因果推論を活用するにはどうすればいいか？という観点で書かれており、非常に実用的だなーと

サムネイルがまんま結論の一部です&タイトルでビビッと来たアナタ（+野球好き）が対象読者です. ちょっとやりたいことがあって, やりたいこと⚾のサンプルがたまたまRだった このあと自分で分析したりなにか作るんやったらPythonでやりたい せや！RからPythonに移植しちゃえば良いンゴ ってことで, 粛々とRからPythonに移植した時に気がついた事をサラッと書きたいと思います. 最初に断っておくと, RよりPythonが優秀（またはその逆）だから書き換える！って意味ではありません！ どっちが優秀だの, 好みは何だのといった所は（必要と思った箇所を除き）触れないのでご了承ください.*1 というわけで, 変に力んだりマウントを取ること無く, ごゆるりとおくつろぎながら読んでもらえると幸いです. TL;DR 数式を意識しながら読んだり, 統計的にいい感じにしたい時はRの方がしっくりくる. 一方

0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向スコアモデリングの実装 7. 傾向スコアマッチング 7.1 結構面倒なpython 7.2 R (Matchingライブラリ) 7.3マッチングの評価 8.IPW 9. ダブルロバスト 9.1 回帰モデル 9.2ダブルロバスト 10.Proximityマッチング 11.改めて、各種手法による推定因果効果のまとめ 12.まとめ 0. はじめに 理論編に引き続き、実装を行なっていきます。 pira-nino.hatenablog.com 実装はpythonとRの両方で行いました。 作業用のコードは以下のgithu

(Background image by Pixabay) 最近また「データ分析をやるならRとPythonのどちらでやるべきか」という話題が出ていたようです。 言語仕様やその他の使い勝手という点では、大体この記事に書いてあることを参考にすれば良いと思います。その上で、人には当然ながら趣味嗜好がありますので、個々人が好みだと思う方を使えば良い話ではあります。 とは言え、僕自身もクソコードの羅列ながらこのブログにR & Pythonのコードを載せているということもあるので、便乗して今回の記事では僕個人の意見と感想も書いてみようと思います。いつもながらど素人の意見（特にPythonは本業ではない）なのと、自分がメインに使っているRでもtidyverseをほとんど使わないなど割とout-of-dateな使い方をしているということもあり、読んでいておかしなところなどあればどしどしご指摘くださると有難

このほど、「matloff/R-vs.-Python-for-Data-Science｜GitHub」に、データサイエンスで利用するという観点からプログラミング言語であるRとPythonを比較した記事が掲載された。これまで、データサイエンスの分野ではRが使われることが多かったが、近年はPythonの利用が進んでいる。 記事の執筆者であるNorm Matloff氏はカリフォルニア大学デービス校におけるコンピュータサイエンスの教授。以前は、同大学で統計学の教授だったようだ。同氏はR関連の書籍を4冊執筆しているほか、現在はR Journalの編集長を務めている。同氏はこれまでの経験および統計学者/コンピュータ学者という視点から、今回のトピックに関して有用な光を当てることができるだろうと説明している。 執筆段階で掲載されている比較の主な内容は次のとおり。