Why Ray?The AI ChallengeAI grows more complex by the hour, with complex data modalities and new models, frameworks, and accelerators released daily. Without effective infrastructure, teams face slow time to production, underutilized resources, and exploding costs. To deliver real ROI and combat the AI Complexity Wall, teams need an engine to support any workload – across AI, ML, and Gen AI.
はじめに みなさん、こんにちは！最近、API開発の現場で「これマジですごい！」と思わず叫んでしまったツールを見つけたんですよ。それが「FastAPI-MCP」です！ FastAPI使ってる人なら絶対に知るべきツールです。だって、あなたのAPIをAIモデル（GPTやClaudeなど）に簡単に操作させることができるんですから！私みたいな初心者でも数分で設定できちゃいました。 FastAPI-MCPって何がすごいの？ まず、FastAPI-MCPの核となる機能を紹介します： 認証機能が標準装備：FastAPIの依存性注入（Depends()）をそのまま使えるから、セキュリティ面も安心！ FastAPIとの相性抜群：単なるOpenAPI変換ツールじゃなく、FastAPIのASGIインターフェースを直接使うから超効率的！ 設定ほぼゼロ：FastAPIアプリを指定するだけでMCPツールが自動生成される
Pythonで非同期処理をやる場合はCeleryを使うのが定番です。 今回はceleryを試しに動作させるための環境をdocker-composeを使って簡単に作る方法をご紹介し、Django上で動作するように環境構築します。 以前、昔にnoteに書いた以下の記事の応用や焼き直しのような内容です。（随分昔に書いた懐かしい記事） 基本的に使用するツール類 今回は以下の4つを使用します。 それぞれ別なコンテナで動作させるため、本番の運用などでは、別々なサーバーで動作させることを想定しています。 redis (キューを動作させるためのBroker) celery (Pythonのタスクキューサービス、別なプロセスで動作させる) django (PythonのWEBフレーワーク、ここからceleryに対しタスクを投げることになる） flower (celery内にあるタスクを監視するためのツール、
> uv python pin 3.8.7 > uv sync error: Failed to download https://github.com/indygreg/python-build-standalone/releases/download/20210103/cpython-3.8.7-x86_64-pc-windows-msvc-shared-pgo-20210103T1125.tar.zst Caused by: Request failed after 3 retries Caused by: error sending request for url (https://github.com/indygreg/python-build-standalone/releases/download/20210103/cpython-3.8.7-x86_64-pc-window
LLMアプリ開発プラットフォームのDifyでは、ワークフローのコードブロックでPythonコードを実行できます。 この記事では、このコード内でboto3やnumpyなど任意のライブラリを呼び出す方法をまとめます。セルフホストのDify向けです。 Difyコードブロックの例 Difyのコード実行の仕組み 前提知識として、Difyのコード実行の仕組みを簡単におさらいします。 Difyでは、PythonやNode.jsのコードをDify Sandboxという独自のサンドボックス内で実行します。 Dify、特にSaaS版では、ユーザーがDifyのサーバー上で悪意のあるコードを実行する可能性があるため、こうしたセキュリティ対策が必要となります。対策がない場合、例えばDifyのサーバーから重要な情報を窃取したり、Difyサーバーのネットワーク・AWS IAM権限 (あれば) を悪用したりといったリスク
はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM（大規模言語モデル）とRAG（検索拡張生成）を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にすることが必要です。 そこで今回は、PythonでPDFからテキストを抽出するためのライブラリを比較して、どれが良いのか検証しました。 はじめに 概要 実装 PyMuPDF pdfplumber unstructured 比較結果 テキスト抽出 サンプル1のテキスト抽出結果 サンプル2のテキスト抽出結果 表の抽出 サンプル3の表抽出結果 サンプル4の表抽出結果 検証結果 まとめ 概要 今回はPDF読み取りライブラリとして、PyMuPDF、pdfplumber、unstructuredの3
Pythonのリンター･コード整形ツール Ruff を開発している Astral から、Pythonのパッケージツール uv の大型アップデート(uv v0.3)の知らせが届きました。 発表されたブログには「uv: Unified Python packaging(訳:統一されたPythonパッケージング)」とあり、READMEには以下の一文があります。 A single tool to replace pip, pip-tools, pipx, poetry, pyenv, virtualenv, and more. https://astral.sh/blog/uv-unified-python-packaging プロジェクトのランタイムのバージョン管理(pyenv/.python-version)、プロジェクト固有の環境(virtualenv)、パッケージ管理(pip/poetry
題名の結論だけ知りたい方は、解決法の節をご覧ください。 Streamlit とは 一次情報 https://www.streamlit.io/ を見て頂くと、Streamlit がどのようなもので、何が便利かがよく分かります。と書いて終わってしまうと私の出番がないので、本節の残りはご興味があればどうぞ 私はこれまで、データの集計をする際に Pandas, Jupyter, Flask などをよく使っていたのですが、つい先日 Streamlit を知って触れてみたところ、とても取り扱いが軽快で気に入りました。 例えば、ちょっとRDBやREST風APIなど複数ソースから収集したデータを加工してプレゼンテーションしたい。アウトプットにはBootstrapとJQueryをほんのり当ててリッチ風にプレゼンテーションしたい。なんていう事があると思います。 これをFlaskで作ろうとすると、環境としての
About the Open Edition The 3rd edition of Python for Data Analysis is now available as an “Open Access” HTML version on this site https://wesmckinney.com/book in addition to the usual print and e-book formats. This edition was initially published in August 2022 and will have errata fixed periodically over the coming months and years. If you encounter any errata, please report them here. In general
作業メモ。モダン Python 速習。 AI 周りのツールを動かしていたら TypeScript だけでやるには無理が出てきたので、久しぶりに Python の環境構築をする。 具体的には TestGen LLM を動かしたい。 Python はたまに触るけど、基本 2.x 時代の知識しかない。 基本的にこの記事を読みながら、細かいアレンジをしている。 追記 rye が ruff と pytest を同梱してるので rye fmt, rye check, rye test で良かった uvicorn を叩くより、 fastapi-cli を使って起動したほうが良さそうので変更 基本方針: Rye に全部任せる 良く出来てると噂に聞いたので、 rye に任せる。 自分が Python が苦手な点は pip を下手に使うと環境が汚れていく点で、基本的に rye で閉じて管理させる。システムの
問題 今回は以下のような文字列を json.loads() してみたときにおきた問題があったときの対応をまとめました。 sample_text = '{"key": "value \t value"}' 再現させる >>> import json >>> sample_text = '{"key": "value \t value"}' >>> >>> json.loads(sample_text) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/www/.pyenv/versions/3.6.5/lib/python3.6/json/__init__.py", line 354, in loads return _default_decoder.decode(s) Fil
要約: Flake8 + Black + isort はもうすべて Ruff だけで置き換えられる。 PythonのLinterとして、すでに Ruff を使われている方も多いと思います。Ruffは Rust で実装された高速なPython用Linterで、従来よく使われていた Flake8 に比べて数十倍短い時間で処理が終わるほか、Flake8の主要なプラグインの代替も初めから搭載されています（Lintルール一覧）。 その成功が約束されている（？）ためか、Ruff の知名度がまだ低いころから GitHub Actions公式のPythonチュートリアルは早々に Flake8 を Ruff に置き換えていました。 そして、2023年10月末にリリースされた v0.1.2 あたりから、ついにLintだけでなく、コードフォーマット（コード整形）の機能も正式に搭載されました。公式のブログ記事はこ
プログラムがメモリを使い始め、どこに問題があるかを調べようとすることがあります。 こんなとき役に立つ、さまざまなツールがあります。ここでは、 Pympler lib の、asizeof というシンプルなツールをご紹介したいと思います。 Pymplerには、Pythonオブジェクトのメモリ動作を測定、監視、分析するための2つの追跡手段があります。 muppyとClass Trackerです。 これが、メモリの漏れを調べるのに、役立ちます。 純粋なPythonオブジェクトのサイズだけを返す、組み込みの sys.getsizeof（）というメソッドがあります。 例えば、このように使います。 >>> import sys >>> sys.getsizeof(None) 16 >>> sys.getsizeof([]) 64 >>> sys.getsizeof('a') 50 >>> sys.get
Settings¶ This is an exhaustive list of settings for Gunicorn. Some settings are only able to be set from a configuration file. The setting name is what should be used in the configuration file. The command line arguments are listed as well for reference on setting at the command line. Note Settings can be specified by using environment variable GUNICORN_CMD_ARGS. All available command line argume
これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
