はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は何？ kunishou が 2022 年 1 月 ～ 2023 年 3 月の期間に Kaggle の NLP コンペに参加していたときにまとめていた NLP トリックの雑なメモ書きです 。 最近、2023-24年のKaggleコンペから学ぶ、NLPコンペの精度の上げ方 という記事を拝見し、「そういえば、自分も NLP コンペのトリックをメモしてたな...」と思い出しました。 もともとは自分の振り返り目的でメモを取っており、たくさん蓄積してきたらそのうち何らかの形でアウトプットしようと考えていましたが、2023年後半に興味が L

概要 Anthropic 社の生成 AI サービスである Claude から Projects という機能が新しく公開されました。今回は、この Projects に特定のライブラリのリファレンスをコンテキストとして入れ、そのリファレンスをもとにこちらの質問に回答できるのかを試してみます。 モチベーション 多くの IT エンジニアがコーディング作業で ChatGPT や Claude , Gemini などの生成 AI を活用しているかと思いますが、 新しくリリースされたライブラリやリポジトリを利用する場合、生成 AI に質問をしても適切に回答してくれないことが多いです。また、活発に開発が行われているライブラリの場合、生成 AI に質問をしても回答内容が最新のものではないということも多々起こります。 このような場合に、新機能である Projects にライブラリのリファレンスの情報を与え、質

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Information 2024/7/24： Ibis-Polars vs Native Polars Ibis-Polars と Native Polars の処理速度の比較記事を書かれている方がおりました。 Ibis 経由で Polars を使用しても Polars と処理速度に大きな差がないことを示していました。 ibis-frameworkでPolarsとSQLをつかってみた 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用

はじめに どうもこんにちは。kunishouです。2023年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 今年も昨年と同様、仕事も勉強もしなくていい日が数日続き、すでにソワソワしてきました。というわけで毎年恒例の（と言いつつ今年で2回目の） Python / データ分析関連の人気 Qiita 記事 150選を今年も投稿することにしました！本記事では、2023年にQiitaに投稿された Python/データ分析関連の記事の中からいいね数の多かった150記事をピックアップし表にまとめました。 年末年始の空いている時間に、本記事で2023年のPython/データ分析関連のトレンドを振り返っていただけたら幸いです。 昨年の記事はこちら モチベーション Qiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

※ 本題から逸れますが本日、OpneAssistant/oasst2 を日本語に翻訳した oasst2-135k-ja を公開しました。こちらのデータセットも LLM 開発にぜひご活用下さい。 kunishou/oasst2-135k-ja はじめに どうもこんにちは、kunishouです。本記事は LLM Advent Calendar 2023 25日目の記事になります。今回企画させていただいたこの LLM アドカレ 2023 もついに最終日になりましたが、無事に期日までに記事をまとめることができ、ほっとしています。アドカレ最終日ということで気合を入れて書いたため長文ですが、有益な内容になっていると思うので是非最後まで読んでいただけると幸いです。 本記事について 本記事は LLM 向けのオリジナル Instruction データセット作成にチャレンジしてみた話になります。記事では、取り

このことを踏まえて dolly , hh-rlhf の品質スコアの分布を確認してみます。なお、分布図は dolly と hh-rlhf の2つのデータセットをマージして表示しており、赤い破線は oasst1 で求めた、各品質スコアでデータ選定する際の最適な閾値になります。 横軸は品質スコアの 生値（ mix-max スケール前）、赤い破線はデータ選定の最適な閾値 なんということでしょうか（本記事3回目）。品質スコアの分布を見ると dolly , hh-rlhf の品質スコアは JcommonsenseQA 、MARC-ja についてはかなり低く、逆に JSQuAD だけは oasst1 と比較してもかなり品質スコアが高いようです。この分布の結果から、dolly , hh-rlhf において oasst1 で求めた3つの品質スコアの最適閾値の条件すべてに該当するデータは存在しないことが分かり

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 はじめに どうもこんにちは、kunishouです。 この度、PythonライブラリであるPolarsを効率的に学ぶためのコンテンツとして

はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

はじめに どうもこんにちは。ヤフー株式会社のkunishouです。気づけば2022年も残り3週間、皆様いかがお過ごしでしょうか？ 今年の機械学習のトレンドと言えば、海外のAI企業から次々とオープンソースのAIが発表されたことが非常に印象的でした。画像生成分野ではStability AI社の「Stable Diffusion」、音声認識分野ではOpenAI社の「Whisper」などが発表されました。発表されたこれらのAIは非常に高機能であるにも関わらず、オープンソースのAIとして、自由に利用することができます。 今回、 クリスマスも近いということなのでこれらの高機能なAIを活用して何か面白い物を作ることはできないか と考え、物理的に言葉を投げかけると返事が返ってくるような音声対話ロボットを作ってみることにしました（ クリスマスにしゃべる相手がいないからというわけでは決してありません ）。 目

Information 2024/10/7： ストレージとして Amazon S3 をマウントする方法を 10 章に追記しました。 これにより、コストの安い S3 をストレージとして使用できるため、 Paperspace のストレージ容量が少ない問題を解決できます（ S3 の料金体系については 9 章を参照）。 特定の torch や cuda のバージョンのコンテナで notebook を起動するする方法を 3 章に追記しました。 「torch==2.4.0 でないとライブラリが動かせない！」といった場合にお試し下さい。 はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggle

はじめに 筆者は先月まで通信会社で働いていましたが、無事に転職活動を成功させ、12月からネット広告会社のデータアナリストとして働くことになりました。今回は転職活動を通じて感じていた、**「模擬面接サービスがあったらいいのに」**という思いをアプリにしてみました。百聞は一見にしかずですので、初めに模擬面接アプリのURLとデモ動画を貼っておきます。 模擬面接100本ノック （PC閲覧推奨、スマホからだと音声が出ません） 作成の動機 一般的に転職活動では、自分がこれまでどういった業務を経験してきたか、どういうスタンスで業務に取り組んできたを面接官に分かりやすく伝えることがとても重要になってくるかと思います。そのため、転職志望者は徹底的に自己分析をし、面接の練習をしたりするかと思いますが、**私はわりと物事をじっくり考えるタイプで、質問に対して即座に回答するような瞬発力があまりないため、面接がとに

はじめに この記事では、PythonモジュールのひとつであるPyInstallerを用いたPythonスクリプトのexe化方法および各種エラー対処方法について説明します。PyInstallerでexe化することで、Pythonをインストールしていない環境においてもPythonスクリプトを実行させることができるようになります。業務においてちょっとしたツールを作成しチームメンバーに配布したり、Tkinterと組み合わせてGUIを実装すれば、スタンドアロンで動くデスクトップアプリケーション（前回記事を参考）を作成することも可能です。 目次 はじめに 作成の動機 PyInstallerとは exe化の一連の流れ 1.仮想環境作成 2.PyInstaller実行 3.exeファイルの軽量化 4.各種エラー対処方法 その他 注意点 最後に 作成の動機 PyInstallerに関する記事についてはQii

はじめに この度、PythonライブラリであるPandasGUIとpandas-profilingを、Pythonをインストールしていない環境においても使用できるEDAツール**『Pandas Anywhere』**を作成したので公開します。本ツールを使用することで、誰でもどこでも簡易にビッグデータ※の分析が可能となります。 ※本記事でいうビッグデータとはMicrosoft ExcelやAccessで扱うのが困難な大容量データを指します。 作成の動機 前回書いた記事「Python初学者のためのPandas100本ノック」では、知り合いにPython・機械学習を始める人が増えてきていることから、そのような人たちの学習を支援するコンテンツを作成しました。私の周りでは、このコンテンツをきっかけにPython、pandasを用いたデータ分析ができるようになった人もおり、目的通りの効果があったと思い

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして