Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
$ papermill papermill_example.ipynb papermill_example_output.ipynb Input Notebook: papermill_example.ipynb Output Notebook: papermill_example_output.ipynb 50%|█████████████████████████████████████████████████████████████▌ | 1/2 [00:01<00:01, 1.56s/it] Traceback (most recent call last): File "/home/ubuntu/anaconda3/bin/papermill", line 11, in <module> sys.exit(papermill()) File "/home/ubuntu/anacon
import nbformat nb = nbformat.v4.new_notebook() title = "# タイトル" code = """ %matplotlib inline from sympy import * # to print with mathjax on jupyter notebook init_printing() """ nb["cells"] = [ nbformat.v4.new_markdown_cell(title), nbformat.v4.new_code_cell(code) ] with open("output.ipynb", "w") as f: nbformat.write(nb, f) これで、色々便利なことができそうですね。 PyCharmでカスタムした.ipynbを生成する PyCharmはPythonの統合開発環境(IDE)で
SparkをiPython Notebook(Jupyter)で動作させ、MLlibを動かしてみるテストです。クラスタリング（KMeans）、分類:Classification（SVM, ロジスティック回帰, Random Forest）をirisデータで試しました。 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0 (x86_64)| (default, May 28 2015, 17:04:42) 本稿では上記の環境で行ったものを記載していますので、他の環境では設定が異なる場合もあるかと思いますのでご注意ください。 #1. Sparkバイナリのダウンロード&配置 http://spark.apache.org/downloads.html から
TL;DR MXNet Tutorials Building neural networks imperatively with gluon部分をさらうためのDockerfile + 起動法の紹介 公式のインストール法 + Jupyter環境 2017/7/17時点でさらうための方法、今後gluonがリリースに取り込まれた際は公式Dockerイメージの方が適するハズなので要注意 Python3を利用、Beginer部分はコレで大丈夫でした。 【2017/07/26追記】 上記gluonを用いたチュートリアルは公式より一旦下げられ、http://thestraightdope.mxnet.io でホストされる模様です。 Dockerfile FROM ubuntu:16.04 RUN groupadd mxnet && useradd -m -g mxnet mxnet RUN apt-ge
はじめに 「達人データサイエンティストによる理論と実践 Python 機械学習プログラミング」という本の評判が良かったので読みました。 https://www.amazon.co.jp/dp/B01HGIPIAK/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1 その際に、後から復習できるようにJupyter Notebooksのノートファイルにまとめノートを作りながら学習を進めていきました。その時のまとめノートをせっかくなので共有したいと思います。特に重要だと思ったポイントや、ちょっとした補足を追加して、「この手法、scikit-learn使ってどんな風に書くんだっけ？」の備忘録として使えるように書きました。ただ、省略してる部分も多いので適宜元の本を見て補ってもらえると幸いです。あと1,2,8,9,12,13章についてはノートを作っていません。（デ
はじめに TreasureDataは、アプケーションログやセンサーデータなど時系列のデータを簡単に収集・保管・分析が行えるクラウドサービスです。 現在は、分析エンジンの一つとして、Prestoが利用できるようになり、収集したデータをインタラクティブにSQLで分析が行えるようになりました。 しかし、SQLでデータを分析したデータを元に可視化をするという機能自体はTreasureDataでは備えていないため、ExcelやTableauなどの外部ツールを使って、可視化を行う必要があります。 そこで今回は、Pythonのライブラリとして人気があるPandasと、WebブラウザでインタラクティブにPythonを実行できるJupyterを利用して、TreasureDataとインタラクティブにSQLを実行して集計・可視化を行っていきます。 セットアップ 利用環境 Ubuntu 14.04 Python
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 環境 OS X El Capitan 10.11.6 python: 2.7.11 pandas: 0.18.0 matplotlib: 1.5.1 numpy: 1.10.4 IPython: 4.1.2 初めに Pythonによる作図のおすすめ10 Pythonには様々な作図方法があり、matplotlibというライブラリを使うのが基本です。ただそれは少し野暮ったいので楽にオシャレに描けるようにするseabornというラッパーがあります。これに満足できなかったら、Bokehとかがいいのかもしれません。ggplotはRで使用している方
を加えることで、matplotlibの__nbagg__が有効になり、Jupyter上でアニメーションが再生できます。 matplotlibの公式の説明によると、__nbagg__はmatplotlib 1.4で新たに追加された機能で、Jupyter上でのインタラクティブな画像表示を実現するための機能だそうです。 以下はデモのソースコードです。 %matplotlib nbagg import numpy as np import matplotlib.pyplot as plt import matplotlib.animation as animation fig = plt.figure() x = np.arange(0, 10, 0.1) ims = [] for a in range(50): y = np.sin(x - a) im = plt.plot(x, y, "r")
Jupyterとseaborn、pitchpxを使ったMLB野球データの可視化 前回の記事（といっても4ヶ月近く経っちゃいましたがw）の続編かつ、BPStudy#103「Baseball Play Study 2016」の技術的な補足資料となります. 野球Hack!（野球プログラミング）2016年の新作となります. 【はじめに】ライセンスについて 絶対質問が来る&コメントが入るので先に書いちゃいます. 使用ライブラリ(Jupyter,seabornなど)のライセンスは各ライブラリのページもしくはPyPIのページで確認ができます. 今回使用する野球データ(MLBAM)のライセンスは、 個人利用程度であれば問題ありません！！！ ただし、商用利用、大量に取得&スクレイピングはNG この辺の解説は以下のリンクを参照ください&認識齟齬があればコメントを. http://gd2.mlb.com/com
はじめに TensorFlowにはTensorBoardという視覚化ツールが用意されています。TensorBoardを使うとニューラルネットのグラフや学習状況をインタラクティブに確認することができるので大変便利です。 しかし、TensorBoardの利用には「ログの書き出し→サーバ起動→ブラウザ起動」の手間があったり、GRAPHで表示されるグラフはノード名が途中で「...」で丸められてしまって他人に説明するには使いづらかったり、データサイエンス系で人気のJupyter notebookと連携できないといった面倒な点があります。 そこで、TensorFlowで構築したグラフをDOT言語+graphvizによって可視化するモジュールtfgraphvizを作りました。tfgraphvizを使うことで、グラフを簡単に画像化したり、TensorBoardのGRAPH機能と同等の機能をJupyter
概要 機械学習でTensorFlowを使っていみたいなと思い、調べたらDockerを使うと良いとの事だったのでDockerでTensorFlowを使ってみました。実際にやってみるとJupyter Notebookを使うことになったのでそちらに関しても書いておこうと思います 用語の説明 Docker 簡単に仮想環境を作り、動作させられるオープンソース。Paasのようなもの。 [注目を浴びる「Dockerコンテナ」、従来の仮想化と何が違うのか？](http://cn.teldevice.co.jp/column/detail/id/102) TensorFlow TensorFlow(テンソルフロー)とは、Googleの機械学習/ディープラーニング/多層ニューラルネットワークライブラリ。基本的にPythonで書く。 [TensorFlowとは](http://www.ossnews.jp/os
TL;DR Jupyter Notebookがアツい！ RubyとかElixirも動かしてみたい！ Dockerコンテナで動かせば楽！ Docker ToolboxだけでOK！ Pythonの知識なくても環境構築できる RubyやElixirの知識がなくてもJupyter Notebook上でそれらの言語が扱える Jupyter Notebookについて Jupyter Notebookがキテる！という話は色々なところでなされているため本稿では省略する: Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita Railsエンジニアに役立つJupyter NotebookとiRuby - クックパッド開発者ブログ 現代のエンジニアのための強力なメモ帳 Jupyter notebookのすゝめ - クックパッド開発者ブログ このJu
はじめに ちょっとデータ分析や機械学習をやってみたい、んだけど環境準備が少し面倒だとか、 ハンズオンとかやるんだけど環境セットアップの説明だけで結構時間を使ってしまう、ということがなきにしもあらずかと思います。 Jupyter Notebookは機能的にも素晴らしい環境ですし、Webブラウザがあれば使うことができます。そういう環境はDockerに入れておくと便利で、各自のLocalで起動して使うか、クラウドサーバで起動しておけば、Webブラウザがあれば誰でも使えるのでお手軽です。 既に公開されているDocker Containerもあるのですが、いくつか欲しいものが足りないので追加したものを作ったので共有します。 Jupyter Notebook Docker Container Dockerファイルはここにあります。 https://github.com/mokemokechicken/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
