Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Hands-On Python 3 Concurrency With the asyncio Module Python’s asyncio library enables you to write concurrent code using the async and await keywords. The core building blocks of async I/O in Python are awaitable objects—most often coroutine
最近、Kaggle などのデータ分析コンペで使われることの多い Adversarial Validation という手法について調べたり考えていたので書いてみる。 もくじ もくじ 背景 Adversarial Validation 試してみる 下準備 二つのデータが同じ分布に由来するとき 二つのデータが異なる分布に由来するとき 異なる分布でそのまま分類してみる 検証用データに似ているものを取り出す 取り出したデータを使って学習してみる ラベルごとに似ているデータを取り出す どれだけ取り出して学習させれば良いのか Adversarial Validation の応用例 背景 Adversarial Validation という手法は、データ分析コンペに存在する、ある課題を解決するために考案された。 その課題とは、提供される複数のデータセットの分布が異なる場合に、いかにして正しく予測するかとい
Python has had awesome string formatters for many years but the documentation on them is far too theoretic and technical. With this site we try to show you the most common use-cases covered by the old and new style string formatting API with practical examples. All examples on this page work out of the box with with Python 2.7, 3.2, 3.3, 3.4, and 3.5 without requiring any additional libraries. Fur
これは，クローラー／Webスクレイピング Advent Calendar 2016の1日目の記事です． JavaScriptを利用したページをスクレイピングするためには，スクリプトを実行し，ページを適切にレンダリングする必要があります． 本記事では，そのようなケースに便利なPythonライブラリscrapy-splashを紹介します． 前置き ScrapyやSplashを既にご存知の方は読み飛ばして下さい． Scrapyとは？ Scrapyとは，Python製のクローリング・スクレイピングフレームワークです．フレームワークというだけあって，Scrapyにはクローリング・スクレイピングに便利なオプションがあらかじめ用意されています． Scrapyに用意されている便利なオプション例 サイトクローリング間隔を設定 robots.txtを解釈したクローリングを自動的に実行可能 Scrapyを利用す
python-shogiは、Pythonで扱える非常に役立つ将棋ライブラリですが、速度が遅いのが用途によっては欠点になります。 公式サイトにも記述されていますが、速度よりもシンプルに抽象的に扱えることが目的となっています。 しかし、機械学習の用途に使用しようとする速度の遅さがネックになります。 そこでPythonからもできるだけ高速に動作する将棋ライブラリを作成することにしました。 python-shogiの内部では、盤面はビットボードで表現されていますが、Pythonのビット演算は非常に遅くボトルネックとなっています。 ビット演算部分をC++で開発して、Pythonから呼び出せるようにすることで速度の改善が見込まれます。 C++で将棋ライブラリを一から作成するのもロマンがありますが、ほとんど既存のライブラリをまねるだけになるため、C++部分にAperyのソースコードを使用させてもらい、A
スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.
Python Developers Survey 2018 ResultsIn the fall of 2018, the Python Software Foundation together with JetBrains conducted the official annual Python Developers Survey for the second time. Much like the previous survey, we set out to identify the latest trends and gather insight into how the world of Python development looks in 2018. Over twenty thousand developers from more than 150 different cou
今回は Python で自作したライブラリなどをパッケージングして、配布できる状態にする方法について書いてみる。 現在の Python では、パッケージングに setuptools というサードパーティ製のライブラリを使うのがデファクトスタンダードになっている。 この setuptools は、pip などを使ってパッケージをインストールするときにも必要になるので、実は気づかずに使っているという場合も多いかもしれない。 また、サードパーティ製といっても PyPA (Python Packaging Authority) というコミュニティが管理しているので準公式みたいな位置づけ。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python -V Pyth
Python には依存関係を管理するツールがたくさんあります。 Python も歴史あるプログラミング言語なので仕方ないですが、情報が多すぎて特に初心者は混乱してしまいます。 結局の所、pip、virtualenv (venv) を使えば十分な場合が多いので、まずはこれらの使い方を学習しましょう。 近頃は Pipenv という依存関係管理ツールが登場して人気です。 日本語でも Pipenv の情報をよく見かけるようになりました。 さらに、最近になって Poetry という依存関係管理とパッケージングを支援するツールが登場しました。 意外と Poetry に関する日本語の情報がないようなので、簡単に紹介してみようと思います。 各ツールの機能をまとめた表 が公開されていたので参考にしてください。 Pipenv 2017 年 1 月に Pipenv というツールが登場しました。 Pipenv に
今回は Python のパッケージ「 Poetry 」を紹介します。 最初に Poetry とは何ぞや（ WHAT ）の説明をした後に Poetry の使い方（ HOW ）について説明します。最後に Pipenv からの移行方法についてかんたんに説明します。 Poetry とは Poetry とは 2018 年 2 月頃から開発がスタートした Python パッケージの管理ツールです。 ドキュメント: Poetry - Python dependency management and packaging made easy. リポジトリ: GitHub - python-poetry/poetry pip と venv を組み合わせて、 npm ・ bundle ・ composer 等他の言語で定番のパッケージ管理ツールと似た使用感で使える Python パッケージ管理機能を提供していま
情報処理推進機構（IPA）は1月24日、ITの基礎知識を評価する国家試験・基本情報技術者試験について、プログラミング言語・COBOLの出題を2019年秋期試験で廃止し、20年の春期試験から新たにPythonを追加すると発表した。「AI人材育成のニーズなどを踏まえた措置」としており、出題や配点も、理数能力やプログラミング能力を重視する形に変える。 同試験のソフトウェア開発分野で扱うプログラミング言語は従来、C、COBOL、Java、アセンブラ言語、表計算ソフトだったが、見直し後はCOBOLを廃止し、Pythonを追加する。 COBOLは、試験での受験者の選択率が極端に低下し、教育機関で指導されることも減っているという。一方Pythonは利用が拡大している上、機械学習やディープラーニングに関わる主要なオープンソースソフトでの採用が広がっているとし、採用を決めた。 また今後のAI時代を見据え、1
この記事は BeProud Advent Calender 2018 の20日目の記事です。そのためいつもよりボリュームたっぷり、文体も丁寧にお送りします。 adventar.org 本記事ではPoetryを使ってパッケージ開発→PyPIへ登録するまでの流れを紹介します。 github.com プロジェクト作成からPyPI登録までわずか30秒 Poetry について 基本的な使い方 Poetry と Pipenv Pipenvは確かに便利だけど Pipenv から Poetry に乗り換える Poetry と Pyenv PEP517 と PEP518 Poetryの各種設定 venvの作成先をプロジェクト内にしたい TestPyPIへアップロードできるようにする TestPyPIのユーザー名とパスワードを設定する ここまでの設定 プロジェクトを用意する 新規作成 標準的なレイアウト sr
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
PySpa統合思念体です。 Pythonの開発環境の最新の環境の構築に挑戦してみたら、いろいろ型チェックとかできるようになって面白かったのですが、まとまった情報がなかったのでまとめてみます。基本的にはmacOSでやっているけど、Python本体のインストール以外には使用しているツール類はOS依存のものは使っていないため、パスや環境変数の設定を読み替えれば他の環境でも使えると思います。もし他の環境で注意すべきポイントがあったらお気軽に編集リクエストください。 本エントリーは @aodag と @moriyoshi 、 @knqyf263 の情報提供により完成しました。ありがとうございました。 タイトルの意味 タイトルは本文の想定状況を過不足なく状況をお伝えするために色々制約を加えています。「内作アプリケーション」と書いているのは、配布しているツールとかでなければ、特定のバージョン1つを選択し
Python のコードを自動整形するツールでは、autopep8 と YAPF が有名です。 これらを使えば、コードのスタイルについて気を回さないでよくなり、生産性が上がります。 最近、2018 年に登場したばかりの Black が使われるのを見かけるようになりました。 Black は現時点ではベータ版なのが注意点ですが、十分に使えそうです。 ここではデフォルト設定の YAPF と比べつつ、Black についてまとめてみようと思います。 Black の特徴 自動整形ツールは基本的に pycodestyle などのチェッカーでエラーにならないように整形します。 しかし、Black はそれに縛られず、より細部に渡って PEP8 に準拠したスタイルに整形します。 YAPF は設定できる項目が多いのが特徴ですが、Black は一行あたりの文字数だけしか設定を変更できません。 できるだけスタイルを統
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechViz - The Data Science Guy: Faster pandas, even on your laptop