タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習がしたい！ PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． 機械学習入門講座第33回です．(講座全体の説明と目次はこちら) 追記) 機械学習超入門本番編ではLightGBMについてさらに詳しく解説をしています．勾配ブースティング決定木アルゴリズムのスクラッチ実装もするので，さらに理解を深めたい方は是非受講ください:) 前回の記事で決定木の勾配ブースティングアルゴリズムであるXGBoostを紹介しましたが，今回は同じ決定木の勾配ブースティングの別のアルゴリズムであるLightGBMについて解説します． LightGBMはXGBoostが発表されてから2~3年後に発表され，今やXGBoostよりも高速で高精度なアルゴリズムとして認識され，XGBoostに代わる最強のアルゴリズムの一つとなっています． XGBoostと同じ決定木の勾配ブースティングをベースにしているの
概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか？ この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した
勾配ブースティング決定木 (Gradient Boosting Decision Tree; GBDT) では、以下が経験則として知られている。 学習率 (Learning Rate) を下げることで精度が高まる 一方で、学習にはより多くのイテレーション数 (≒時間) を必要とする しかしながら、上記が実際に実験などで示される機会はさほど無いように思われた。 そこで、今回は代表的な GBDT の実装のひとつである LightGBM と、疑似的に生成した学習データを使ってそれを確かめていく。 確かめる内容としては、以下のそれぞれのタスクで学習率を変化させながら精度と最適なイテレーション数の関係を記録して可視化する。 二値分類タスク 多値分類タスク 回帰タスク 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 12.6.2 Bu
メッセージを見ると分かる通り、early_stopping_rounds引数はそのうち使えなくなる可能性が高い(最新版のマスターブランチでは既に削除済)ため、今後はコールバック関数を用いた新たな指定方法を用いる必要がありそうです。 early_stoppingとは？ LightGBMやXGBoostは、学習に「勾配ブースティング決定木」と呼ばれる手法が用いられています。詳しくは以下の記事が分かりやすいですが、 学習手順を超シンプルにまとめると 「前回の学習結果に基づき、誤判定を減らすよう再学習を繰り返す」 という処理が行われています。 ここで重要となるのが、「学習（イテレーション）を何回繰り返すか」です。 early_stoppingを使用しない場合、Training APIではnum_boost_round引数、Scikit-Learn APIではn_estimators引数で指定した固
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は、下記のハイパーパラメータチューニングに関する記事の、LightGBMにおける実装例を紹介する記事となります。 ※2022/4 early_stoppingの仕様変更について early_stoppingの指定に関して、以前はfit()メソッドのearly_stopping_round引数で指定する事ができましたが、現在はcallbacks引数にコールバック関数early_stopping()を指定する方法に変わっています。 本記事も新しい仕様に合わせて修正しました。 ※2023/6 チューニング手順の改善 本記事に記
目次 1, はじめに 2, 今回の目標 3, 使用するデータ 4, 前処理 5, モデル作成 6, スコア結果 7, レース結果 8, 反省点・改善点 9, さいごに はじめに ご覧いただきありがとうございます。 今回は、競馬予測の機械学習モデルを作ってみました。 作成しようと思った理由としては元々競馬が好きで予想とかをしていましたが、自分で予想するのは難しくなってきたから機械にやってもらおうというのが事の発端です。 まだまだ勉強不足や荒い知識で作成しているようななところもありますが、改善案などをコメントでいただけると幸いです。 GitHubにコードをあげています！ GitHub-競馬予想モデル 今回の目標 複勝or単勝で回収率100％を超えるようなモデルの作成、データの前処理を行うこと。 使用するデータ 今回使用するデータはこちらです。平地レースのみのデータを使用しています。 （障害レー
今回は、LightGBM が構築するブースターに含まれる決定木を可視化した上で、その分岐を追いかけてみよう。 その過程を通して、LightGBM の最終的な出力がどのように得られているのかを確認してみよう。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.2.3 BuildVersion: 20D91 $ python -V Python 3.9.2 もくじ もくじ 下準備 二値分類問題 (乳がんデータセット) 回帰問題 (ボストンデータセット) 多値分類問題 (あやめデータセット) まとめ 下準備 まずは動作に必要なパッケージをインストールする。 決定木の可視化のために graphviz を、並列計算のために OpenMP を入れておく。 $ brew install graphviz libomp そして、Pyt
胡散臭いタイトルですがガチです。 （シミュレーション方法等間違っていたらコメントで教えてください） TL;DR LightGBMを用いて翌日のトヨタ株の終値が予測実行日の終値よりも、上がる or 下がるの二値分類を実施 上がる場合は株を買う、下がる場合は株を売る、という処理を毎日実施 2020/01/01~2020/12/31の実績を用いて売買のシミュレーションを行ったところ、年利30.2299%のプラスとなった 背景 仕事をサボりながらネットサーフィンをしていたら面白そうな論文を発見。 当論文は2008年の発表で、予測モデルはSVMを使用している。 そこで、2008年以降に発表されたモデル(今回はLightGBM)で予測する実験を行う。 また、該当論文では、日経平均株価を予測対象としているが、今回は実際の取引を想定して、トヨタ自動車株式会社の株価を予測対象とする。 実験環境 Google
導入 機械学習モデルは学習データの範囲内では高精度でも、範囲外に外挿した瞬間に挙動が変わることがあります。本記事の目的は、木ベースのアンサンブルである LightGBM と線形回帰を比較し、「内挿に強く外挿に弱い」という性質を、温度と反応速度の最小実験で視覚的に確認することです。短いコードで再現できるため、手元で動かしながら直感と理解を一致させていきます。 TL;DR 20–40℃の狭い範囲で学習し、0–100℃で検証する実験を作成しました。 LightGBM は内挿では高精度ですが、外挿では値が伸びず飽和しやすくなります。 線形回帰は直線で外挿できる一方、真の関数が高温側で超線形に増えるため過小予測になります。 図と誤差で、内挿に強く外挿に弱いがはっきり確認できます（ノートブックと画像を公開）。 実験設計（データとモデル） 本実験では、横軸に 0–100℃の温度、縦軸に約 0–100 に
最初に XGboost 1. 目的関数 2. 正則化項 二次近似 もっと詳しく 4.木の成長戦略 詳しく概念的な話 5. 特徴量重要度 LigthGBM 1. Gradient-based One-Side Sampling (GOSS) 2. Exclusive Feature Bundling (EFB) 3. Leaf-wise Tree Growth 最後に 最初に 前回はGBDTの理論とフルスクラッチ実装に関して解説記事を書きました。今回は、その発展形であるXGboostとLightGBMの理論に関して、解説していこうと思います（めんどくさくて扱わない予定でしたが頑張りました！）XGboostやLigthGBMは、予測・分類タスクにおいて第一手段として利用されています。これは、比較的安定して高い予測精度と安定性を誇るという部分からきているという認識です。GBDTの時も書きましたが
こんにちは！ 皆さんはXGBoostとLightGBMの二つをご存じですか？ 機械学習をやっている方は聞き慣れているフレームワークだと思いますが、 両者の違いを正しく理解できているでしょうか。 今回はこの二つのフレームワークの違いを解説していきます。 結論から話すと、XGBoostではLevel-wiseという決定木の作成方法を用いており、LightGBMではLeaf-wiseを用いています。Leaf-wiseでは決定木の分岐が少ないためそれを活用したLightGBMでは高速な計算が可能になります。 GBDTの計算手順を復習してから、両者の違いを理解していきましょう。 勾配ブースティング決定木とは 決定木 アンサンブル学習 勾配降下法 GBDTの計算手順 XGBoostとLightBGMの異なる点 Level-wise Leaf-wise ジニ不純度 その他のLightGBMの高速化の理由
はじめに 初めまして, マイクロアドで機械学習エンジニアをしている福島です. 今年の4月に新卒でマイクロアドに入社し, 現在は UNIVERSE Ads というプロダクトでCTR(Click Through Rate)予測や入札アルゴリズムの開発研究をしています. 今回はCTR予測について共有させていただきたいと思います. CTR予測ではロジスティック回帰が広く使われてきており, マイクロアドでも長らく利用されてきました. 線形モデルであるため解釈性の高さや推論速度の速さなどのメリットも多く, 現在でも広く使われている手法です. しかし複雑なデータにはフィッティングしづらく, CTR予測のようなカテゴリ変数が多いデータの場合はデータを何らかの方法で連続値に変換する必要もあります. マイクロアドでは, entity embedding1を用いて作った分散表現を利用してカテゴリ変数を連続値に変
前回までに、scikit-learn のロジスティック回帰を使って競馬予測のモデルを作ってみた。 説明変数などを工夫してみても馬券回収率（単勝）は 80％超程度までで上昇は見込めず この回からは、流行りの決定木アルゴリズムに基づいた勾配ブースティング（Gradient Boosting）の機械学習フレームワーク LightGBM を使って競馬予想してみるのだ #データの取得 ###ターゲットフロンティアのレース検索データを出力して使用 前回までと同様にターゲットフロンティアのレース検索で 2000年からのレースをすべて検索 前走読込み ボタンを押して前走のレースID等を取得して、今回はすべてのデータを CSV で出力した 全データを出力すると出力時間や pandas での読込みに時間がかかるのだが、使いたいデータがないときの出力し直しが面倒なのでとにかく全データを出力したのだ 参照：【第1
1.はじめに SIGNATEで「日本取引所グループ ファンダメンタルズ分析チャレンジ」というコンペが開催されています。私も参加していますが、その中で出てくる知識に関して基礎部分をまとめよう！という動機で書いた記事の第2弾です。 コンペのチュートリアルでは、「XGBoost」での予測結果に関しての根拠説明として本記事で紹介する「SHAP」を使用していますが、本記事では現在一番メジャーなLightGBMを使用してこのSHAPを紹介していきます。 動作環境 OS : Windows10 pro Python : 3.8.3 // Miniconda 4.9.1 LightGBM: 3.1.1 SHAP : 0.38.1 jupyter notebook 2.LightGBMでとりあえず学習して、特徴量重要度を図示する 今回は、回帰分析を例として行うことにする。 サンプルデータはscikit-le
機械学習の回帰と分類タスクに対しては、ほとんどの場合はlightGBMが使われています。 今日は決定木からLightGBMまでの流れと、その過程でどのような改善がなされたのかについて、木モデルの全体像を紹介したいと思います。 木モデルに関して完全に理解しているわけでもないので、間違っているところがあればぜひ教えていただきたいです。 ①決定木 まず木モデルで一番ベースとなっているのは決定木です。 決定木とは、データの特徴ごとの優先順位や分割ポイントを学習して、データをカテゴリに分類または数値予測を行うモデルです。 木は一個しかないために、非常に過学習しやすいかつ精度も低いというのは特徴となります。 それを改善するために、Bagging（複数モデルの平均値を取ること）の考え方に基づいて、ランダムフォレスト（RandomForest）というモデルが生まれました。 ②ランダムフォレスト ランダムフ
仮想通貨botter Advent Calendar 2021の10日目の記事です。幅広いbotterに有意義な優良記事が続いてる中で恐縮なのですが、ML botter向けにLightGBMの少々マニアックなパラメータを紹介します。 TL;DRLightGBMを使ってる？ → “extra_trees”: True がオススメ sklearnのExtraTreesRegressorを使ってる？ → “extra_trees”: True, ”boosting”: “rf” のLightGBMもオススメ この2点について順を追って説明していきます。 Extra Treesって？extra treesというのはextremely randomized treesの略で、直訳すると非常にランダム化された木です。意味分からないですね。extra treesはrandom forestの変種で、普通
こんにちは。人材領域でレコメンドシステムの機能開発をしている羽鳥です。 今日はレコメンドの要素技術でもよく使われている LightGBM でランキング学習を行うときのTipsと、LightGBMのパラメータに関してのちょっとした知識について紹介したいと思います。 ランキング学習とは レコメンドの問題設定として、あるユーザーにアイテムを配信する場合を考えます。この際の代表的な手法として、過去の配信ログを学習し、各ユーザーに対して最もコンバージョン(CV)確率が高いアイテムを配信するようなものがあります。 この時に使用される手法はいくつかありますが、データの前処理にあまり手間がかからないLightGBMなどの勾配ブースティング木のモデルがよく使われているようです。 LightGBMでこの手のタスクを解くとなったときに、一番よくあるパターンはCVしたユーザとアイテムのペアを正例、CVしなかったユ
どんな場面で活用できる？ 業務活用事例としては、以下のようなものが考えられます。 株価の予測： 株価の予測に回帰モデルを使用することができます。過去の株価データを学習し、企業の業績や経済指標などの特徴量を入力として、将来の株価を予測することができます。 顧客満足度の予測： 顧客満足度の予測に回帰モデルを使用することができます。顧客のアンケート調査結果を学習し、顧客属性や取引履歴などの特徴量を入力として、将来の顧客満足度を予測することができます。 不動産価格の予測： 不動産価格の予測に回帰モデルを使用することができます。過去の不動産取引データを学習し、地域、面積、築年数、駅からの距離、周辺環境などの特徴量を入力として、不動産価格を予測することができます。 製品の需要予測： 製品の需要予測に回帰モデルを使用することができます。過去の販売データを学習し、季節性や広告費などの特徴量を入力として、将
はじめに アーキテクチャの比較 メモリ効率と計算速度の比較 カテゴリカル変数の処理 適切な使用シーンと実践的な注意点 最後に はじめに XGBoost、LightGBM、CatBoostは現代の機械学習において最も強力なブースティングアルゴリズムとして知られています。これらのアルゴリズムはそれぞれ独自の特徴と長所を持っており、適切な使用場面が異なります。この記事では、これらのアルゴリズムの比較に焦点を当て、それぞれの特徴、長所、短所、そして適切な使用シーンについて詳しく解説していきます。 特に、各アルゴリズムの理論的な特徴を実践的な観点から解説し、実際の使用シーンでの判断材料を提供することを目指します。また、それぞれのアルゴリズムが持つ独自の問題解決アプローチについても、具体例を交えながら説明していきます。 XGBoostやLightGBMの理論に関しては以下の記事を参考にしてください t
はじめに lightgbmで学習から評価までの一連の流れをやってみました。 （結構忘れてしまうんですよねぇ…） ※ 追記追記で読みにくいところもあるかと思います 環境 Corabolatory で実行しています。 ※ これ環境変わっちゃうので良くなかった… コード 4.1.0 の例 バージョン上がって今までのじゃNGになったので。 ついでに GroupKFold も。 import os import random import numpy as np import pandas as pd import lightgbm as lgb from sklearn.model_selection import GroupKFold def seed_everything(seed: int): random.seed(seed) os.environ["PYTHONHASHSEED"] =
当サイト【スタビジ】の本記事では、最強の機械学習手法「LightGBM」についてまとめていきます。LightGBMは決定木と勾配ブースティングを組み合わせた手法で、Xgboostよりも計算負荷が軽い手法であり非常によく使われています。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ 様々なデータ分析コンペティションで上位入賞しているのが勾配ブースティングを使ったモデル！ 決定木とブースティングを用いたXgboostが2014年に考案され、今でも最前線を戦う最強の手法ではあるのですが・・・ そんなXgboostの絶対的地位を脅かす存在がLightGBM！！ LightGBMの構造はXgboostと非常に近いものがありますが、計算負荷が少なくXgboostから置き換わりつつある手法です。
はじめに 以前も記事にしたが、ウェブ上のユーザーの行動ログを使って推薦システムを開発している自分のようなMLエンジニアにとって、ランキング学習におけるポジションバイアスの除去は重要なテーマである。サービスのログは通常様々なバイアスに塗れており、特にリストの上位に表示されたアイテムほどクリックが集まりやすくなってしまうポジションバイアスは非常に厄介だ。アカデミアではこの手のテーマはだいぶ研究が進んでいるものの、これまでは論文や書籍で手法が紹介されるだけで、手軽にパッと使えるライブラリは存在しなかった。 しかしどうやら最近になって XGBoost や LightGBM という多くの人が使う強力なGBDTライブラリにポジションバイアスを除去する機能が実装されたらしく、これが使い物になるのであれば実務で利用するハードルがグッと下がると思い、実験して性能を検証してみた。 検証に使うデータセット ここ
LightGBM のバージョン 4.0.0 が 2023-07-14 にリリースされた。 このリリースは久しぶりのメジャーアップデートで、様々な改良が含まれている。 詳細については、以下のリリースノートで確認できる。 github.com リリースの大きな目玉として CUDA を使った学習の実装が全面的に書き直されたことが挙げられる。 以前の LightGBM は、GPU を学習に使う場合でも、その計算リソースを利用できる範囲が限られていた。 それが、今回の全面的な刷新によって、利用の範囲が拡大されたとのこと。 ただし、PyPI で配布されている Linux 向け Wheel ファイルは CUDA での学習に対応していない。 対応しているのは CPU と、GPU でも OpenCL の API を使ったもの。 そのため、もし CUDA を使った学習を利用したい場合には自分で Wheel を
今更ながらLightGBMの論文を読んだのでその時のメモを残しておきます。 ※GPUでの計算への適応など、計算機での活用に関する技術については省略しています。 要約 LightGBMが使う既存の技術 pre-pruning early stopping問題 best-first (leaf-wise) tree histogram-based 考察：予測精度は激減しないのか？ LightGBMが新たに提案した技術 背景 Gradient-based One-Side Sampling（GOSS） Exclusive Feature Bundling（EFB） 実験結果 2024-08-26 追記：量子化について 参考 要約 LightGBMは pre-pruning（決定木の枝をそれ以上分岐させても予測が改善しなくなったら分割を停止する剪定方法） best-first（情報利得が最大の枝か
Focal Lossとは？ facebookが開発した損失関数で、分類問題を解く時にイージーサンプル(予測が容易なサンプル)のロスを小さくすることで、ハードサンプルを集中的に学習させることができる損失関数になります。 分類で一般的に使用されるcross entropy lossと非常に似ている損失曲線をしています。 (参照：Focal Loss for Dense Object Detection) 図でFLがFocal Lossを表しており、γはこちらで与えるパラメータになります。γの値が大きいほど、分類が良くできている対象(容易な対象)に対してロスが0に近いことがわかります。 例えば、学習データに大量のイージーサンプルが含まれている場合、Cross entropy lossではイージーサンプルに対してもロスが発生している(図の青線)ので、それらに対してモデルのパラメータが更新されてしま
はじめに LightGBMは、Gradient Boosting Decision Tree (GBDT) アルゴリズムをベースとした人気の高い機械学習アルゴリズムです。 そのため、SageMaker でもLightGBM を使いたいというユースケースは非常に多いと思います。 SageMaker では、LightGBM を使う方法がいくつかあるため、ここではそれらの方法について整理したいと思います。 SageMakerでLightGBMを使ってモデル構築する方法 SageMakerでLightGBMを使ってモデル構築する方法は、現時点（2023/3）で以下の4つの方法があります。 1. SageMaker built-in LightGBM を利用 2. SageMaker でカスタムスクリプトを利用 3. SageMaker Autopilot を利用 4. SageMaker Jump
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
