The latest news from Google on open source releases, major projects, events, and student outreach programs. ML development and deployment today suffer from fragmented and siloed infrastructure that can differ by framework, hardware, and use case. Such fragmentation restrains developer velocity and imposes barriers to model portability, efficiency, and productionization. Today, we’re taking a signi
In the past few years we have seen the meteoric appearance of dozens of foundation models of the Transformer family, all of which have memorable and sometimes funny, but not self-explanatory, names. The goal of this paper is to offer a somewhat comprehensive but simple catalog and classification of the most popular Transformer models. The paper also includes an introduction to the most important a
こんにちは！AIチームの戸田です！ 本記事では私がKaggleのコンペティションに参加して得た、Transformerをベースとした事前学習モデルのfine-tuningのTipsを共有させていただきます。 以前も何件か同じテーマで記事を書かせていただきました。 Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編 Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜 Kaggleで学んだBERTをfine-tuningする際のTips③〜過学習抑制編〜 Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜 今回はラベルなしデータの活用について書かせていただきます。 世の中の様々な問題を、蓄積された大量のデータを使った教師あり学習で解こうとする試みは多くなされてい
第15回最先端NLP勉強会
GGML - AI at the edge ggml is a tensor library for machine learning to enable large models and high performance on commodity hardware. It is used by llama.cpp and whisper.cpp Low-level cross-platform implementation Integer quantization support Broad hardware support Automatic differentiation ADAM and L-BFGS optimizers No third-party dependencies Zero memory allocations during runtime The ggml way
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Transformer models: an introduction and catalog — 2023 Edition January 16, 2023 52 minute read This post is now an ArXiV paper that you can print and cite. Update 05/2023 Another pretty large update after 4 months. I was invited to submit the article to a journal, so I decided to enlist some help from some LinkedIn colleages and completely revamp it. First off, we added a whole lot of new models,
Humbleiconsは汎用的で使いやすいアイコンを意識してデザインされたオープンソースのSVGアイコンセットです。 シンプルでクセの無いスタイリングで、そのまますぐにプロジェクトで使えるようなアイコンとなるよう丁寧にデザインしたそうです。 全てのアイコンをセットでDLする事も出来ますし、個別でコードをコピーして使う事も出来ます。コードはインラインとSVGスプライトが用意されています。また、コードにはclassが与えられているので一括でCSSスタイリング出来るようになっています。ラインセスはMITとの事です。 Humbleicons
今ニューラルネットワーク業界に旋風を巻き起こしていて、今後主流になるかもしれないし、埋もれるかもしれない理論である「Neural Tangent Kernel（ニューラルタンジェントカーネル、略してNTK)」の日本語版解説です。NTKがどういったものなのかを理解することを目的としています。 はじめに（英語のお勉強） Tangentは日本語で「接線」です。サインコサインタンジェントだと思ったそこのあなた！違いますよ！ Neural Tangent Kernel(NTK)とは2018年末に提案され、その理論が機械学習の真理に近いとは言われているものの、イマイチ結果に結びつかない理論です。 ニューラルネットワークモデルはy=f(x,θ)（y=出力、x=入力、θ=重みの集合）という関数で表すことができ、一般的には個々の重みを調整することで正しいyを導いていくアルゴリズムです。NTKは重みを調整する
Overview | Quick install | What does Flax look like? | Documentation Released in 2024, Flax NNX is a new simplified Flax API that is designed to make it easier to create, inspect, debug, and analyze neural networks in JAX. It achieves this by adding first class support for Python reference semantics. This allows users to express their models using regular Python objects, enabling reference sharing
コンペに参加したきっかけ 本コンペに参加した理由は2点あります。 1点目は、事前に今回のチームメンバーとコンペに取り組む約束をしていたためです。今回共にコンペに参加したチームメイトである増田や青田とは今年の5月にも別のコンペに参加しており、その際には銀メダルを取得しました（当時の体験記はこちら）。5月のコンペを通じ、同じ職場のメンバーで和気藹々とコンペに取り組む楽しさを覚え、「次はPPPMで」と約束を交わしていたのでした。 2点目は、ドメインが個人的に馴染み深く興味が湧いたためです。私は大学時代に産業財産権について学んでいたこともあり、特許領域には強い思い入れがありました。結果的には、ドメイン知識を何一つ活かしませんでしたが、最後まで興味を持ってコンペに取り組むことができたので結果オーライだと思っています。 Team Nの解法 前書きの通り、私たちは1,889チーム中8位という好成績を収め
こんにちは。NTTコミュニケーションズの露崎です。本ブログでは2025年3月のGTCで紹介されたNVIDIA社のOSS Dynamoについて紹介します。 はじめに 特徴 インストールと基本動作 Dynamo Run Dynamo Serve 推論グラフとコンポーネント dynamo serveの起動の流れ 1. nats/etcdの起動 2. dynamo serveの起動 3. 動作確認 4. 終了 分散処理の仕組み まとめ はじめに こんにちは。NTTコミュニケーションズの露崎です。本ブログでは2025年3月のGTCで紹介されたNVIDIA社のOSS Dynamoについて紹介します。 NVIDIA Dynamoは発表されて間がなく、開発/変更が盛んに行われています。本ブログでは2025年5月の時点での最新版である0.2.0について紹介しますが、最新情報については公式をご参照ください。
はじめにR&D 室の渡邉です． 本日は，機械学習界隈ではお馴染みの Andrew Ng 先生が提唱されている Data-Centric AI について A Chat with Andrew on MLOps: From Model-centric to Data-centric AI という動画の内容を中心に紹介していきたいと思います． 2021 年頃に出てきた話なので何番煎じか分からないくらいの紹介になりますがお付き合いいただければと思います． Model-centric AI から Data-centric AI へはじめに Data-centric AI とは何なのかという話ですが，Data,Centric,AI という Word からデータを中心とした AI っぽいことを言っているのは想像が付くかと思います．そうです，Data-centric AI とはデータに重きを置いたアプロー
はじめに 機械学習で生成した学習モデルをAPIサーバーにして、ブラウザーからJSON通信で、データを送って予測値を返すということをやりました。この機械学習によるAPIサーバーは、主に三つのプログラムによって実装されています。最初に、XGBoostで機械学習を行い、学習モデルを生成し、保存します。次にFlaskで学習モデルのAPIサーバーを実装します。最後に、HTMLファイルでフォームタグを書き、フォームタグから得たデータをjavascriptのAjaxでJSON通信を行えるようにします。この三つのプログラムによって、ブラウザーからAPIサーバーにデータを送って予測値を返すというものを作ることができます。 このプログラムを実行するために必要な環境 Anaconda、XGBoost、joblib、Flask、flask-corsなどのライブラリがインストールされている。 主なプロセス この機械
MIT researchers found that massive neural network models that are similar to large language models are capable of containing smaller linear models inside their hidden layers, which the large models could train to complete a new task using simple learning algorithms. Large language models like OpenAI’s GPT-3 are massive neural networks that can generate human-like text, from poetry to programming c
COCO dataset：セグメンテーションなどに使える大規模なカラー写真の画像データセット：AI・機械学習のデータセット辞典 データセット「COCO」について説明。約33万枚のカラー写真（教師ラベル付きは20万枚以上）の画像データとアノテーション（＝教師ラベル）が無料でダウンロードでき、物体検知／セグメンテーションや、キーポイント検出／姿勢推定、キャプション作成などに利用できる。
横田 理央 東京工業大学 学術国際情報センター 教授 「富岳を用いた大規模言語モデルの分散並列学習」 近年GPTなどの大規模言語モデルが身近な場面でも利用される機会が増えており、多岐にわたる産業応用の可能性を秘めている。ただし、そのような大規模言語モデルが学習できるのはGoogle, OpenAI, Metaなどの巨大企業に限定されており、大規模モデルを学習するための独特なノウハウもそれらの企業に専有されている。大規模な分散並列学習には多くの技術の積み重ねが必要であり、この分野で立後れることは我が国の経済安全保障上の重大な懸念点である。本講演では富岳を用いた大規模言語モデルの分散並列学習を行う際の技術的な課題についていくつか紹介する。 発表資料（PDF:4.97MB）
We present QLoRA, an efficient finetuning approach that reduces memory usage enough to finetune a 65B parameter model on a single 48GB GPU while preserving full 16-bit finetuning task performance. QLoRA backpropagates gradients through a frozen, 4-bit quantized pretrained language model into Low Rank Adapters (LoRA). Our best model family, which we name Guanaco, outperforms all previous openly rel
Introduction Text mining and knowledge discovery from biomedical literature play important roles in drug discovery, clinical therapy, pathology research, etc. Typical tasks include recognizing named entities in the articles, mining the interaction between drugs and proteins/diseases/other drugs, answering questions given reference text, generating abstracts for given phrases/words, etc. People hav
Every day, businesses deal with large volumes of unstructured text. From customer interactions in emails to online feedback and reviews. To deal with this large amount of text, we look towards topic modeling. A technique to automatically extract…
Three mysteries in deep learning: Ensemble, knowledge distillation, and self-distillation Published January 19, 2021 By Zeyuan Allen-Zhu , Senior Researcher Yuanzhi Li , Assistant Professor, Carnegie Mellon University Under now-standard techniques, such as over-parameterization, batch-normalization, and adding residual links, “modern age” neural network training—at least for image classification t
下記で取り扱ったTransformerの簡易的な解説を公開します。 ・Transformer と画像処理 https://lib-arts.booth.pm/items/2741653 TransformerはLLMのベースに用いられるなど、応用の幅が広いので抑えておくと良いと思います。
Image: ShutterstockThis post was co-authored with Petar Veličković. See also my last year’s prediction, Michael Galkin’s excellent post on the current state of affairs in Graph ML, a deeper dive into subgraph GNNs, techniques inspired by PDEs and differential geometry and algebraic topology, and how the concepts of symmetry and invariance form the picture of modern deep learning. Summing up impres
この記事についてこの記事では、以下２つを解説します。 early stoppingと併用して学習率を適応的に変えていく手法をtensorflow2.xを使って実装する方法early stoppingと併用して、学習率の代わりにバッチサイズを適応的に変えて学習率減衰と同じ効果を得る手法の説明とtensorflow2.xその実装方法 学習率減衰とは？学習率減衰(Learning rate decay)は深層学習の汎化性能向上のためによく使われる手法で、学習がある程度進んだ場所で学習率を下げる手法です。下図にあるように、学習率を落とすと、急激に精度が向上することが知られています。 では、いつ学習率を減衰させれば良いのでしょうか？2020年7月現在では、学習がある程度収束してから学習率を1/10~1/5程度に減衰させることが多いように思います。論文を見ていると、よく使われるCIFAR10やImag
これは Kaggle Advent Calendar 2023 12/10 の記事です。 ディープラーニングでは何を考えたらいいのか？「モデルの気持ち」などと言いますが、もっと具体的にどういうことなのか？私も素人でわからないのですが、今年参加したコンペで読んだ solution を題材に「情報を与える」という観点からモデルの気持ちを推測してみます。 「それ、俺も書いたが？」みたいなのはたくさんあるかと思いますが advent calendar ゆえどうかご容赦を。記憶をたよりに雑に書いて調べ直していません。 Classification の根拠を segmentation で与えるG2Net 2 Detecting Continuous Gravitational Waves はノイズに埋もれたデータに重力波の信号が含まれているかを判定する二項分類のコンペでした。入力は spectrogr
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
以下の論文の解説(まとめ)になります． Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks この論文は，Chelsea Finnが出した論文でICML 2017に採択されています．Meta-Learningの汎用性を大きく改善した，ターニングポイントとなる手法を提案していて非常に面白く，また論文の優位性を適切に説明した日本語解説がなかったため，今回紹介させていただきました．この論文で提案しているモデルは，MAML(Model-Agnostic Meta-Learning)と呼ばれる手法になります． 記事中の図は，特に記載がない限りすべて論文からの引用です． 記事内容に不備がございましたら，ご指摘頂けると助かります． 概要 この論文は， Model-Agnostic 微分可能である以外，モデルや損失関数の形式を仮
![[論文解説] MAML: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d8c8218e10315a26efb5b6a5b991c56230b4bdbf/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMjQ4NTUyJTJGcHJvZmlsZS1pbWFnZXMlMkYxNjE4NTE0MjU5P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWI3ZjEyMDdjZjQzMTlmZGJjNmQ2NjZiMjY3OTY3Mzcz%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Da6597675c4463f390c3d2850eaa3671a%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU4JUE3JUEzJUU4JUFBJUFDJTVEJTIwTUFNTCUzQSUyME1vZGVsLUFnbm9zdGljJTIwTWV0YS1MZWFybmluZyUyMGZvciUyMEZhc3QlMjBBZGFwdGF0aW9uJTIwb2YlMjBEZWVwJTIwTmV0d29ya3MmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0zOTJhMzVkMzNmYzk5NmUwODEyZGM2MGM2NjljZDQ0Mg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrdTI0ODImdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz02ZmYxMGNkMmEyZmRhYzM1MWUwNDg1MjAwMDE5YTI1Yg%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dbcee82aaa1e8d21ef8a2491aa68fba6e)
In this post, we provide a Bayesian inference framework for in-context learning in large language models like GPT-3 and show empirical evidence for our framework, highlighting the differences from traditional supervised learning. This blog post primarily draws from the theoretical framework for in-context learning from An Explanation of In-context Learning as Implicit Bayesian Inference 1 and expe
Equivalence of Geodesics and Importance Weighting from the Perspective of Information Geometry
Chinese translation is available here. At the beginning of the year, I have a feeling that Graph Neural Nets (GNNs) became a buzzword. As a researcher in this field, I feel a little bit proud (at least not ashamed) to say that I work on this. It was not always the case: three years ago when I was talking to my peers, who got busy working on GANs and Transformers, the general impression that they g
Machine learning is a vast field. Thanks to the internet, there are plenty of resources available to get your hands on it — from books to blogs to vlogs. Analytics India Magazine has been compiling learning resources for the ML community for quite some time now. In this article, we list down top machine learning books for those who want to get practical with algorithms. (The books below are listed
多言語文埋め込み手法であるLanguage-agnostic BERT Sentence Embedding (LaBSE)の論文について解説した資料です。
![[輪講資料] Language-agnostic BERT Sentence Embedding](https://cdn-ak-scissors.b.st-hatena.com/image/square/31a266b27659d0ed4b3b5a687e4358391f717e09/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Ffiles.speakerdeck.com%2Fpresentations%2Fe74de317d36c4a4ebebbd36c57765da0%2Fslide_0.jpg%3F21522465)
Faster, more flexible inference on GPUs using AITemplate, a revolutionary new inference engine GPUs play an important role in the delivery of the compute needed for deploying AI models, especially for large-scale pretrained models in computer vision, natural language processing, and multimodal learning. Currently, AI practitioners have very limited flexibility when choosing a high-performance GPU
言語処理学会第29回年次大会 併設ワークショップ JLR2023 (
Date: June 24, 2018 | Estimated Reading Time: 21 min | Author: Lilian Weng [Updated on 2018-10-28: Add Pointer Network and the link to my implementation of Transformer.] [Updated on 2018-11-06: Add a link to the implementation of Transformer model.] [Updated on 2018-11-18: Add Neural Turing Machines.] [Updated on 2019-07-18: Correct the mistake on using the term “self-attention” when introducing t
DeepSpeed: 深層学習の訓練と推論を劇的に 高速化するフレームワーク Microsoft DeepSpeed Team 2023 年 6 月 7 日 このスライドでは、我々が研究開発しているDeepSpeedというフレームワークに ついて、概要をご紹介します。 1 概要 • 大規模かつ高速な深層学習を容易に実現する様々な機能を持ったソフトウェア • オープンソースソフトウェアとしてGitHubで公開中 • DeepSpeed (メインのレポジトリ) • DeepSpeedExamples (使用例). • Megatron-DeepSpeed (NVIDIAのMegatron-LMと結合したもの). • DeepSpeed-MII (DeepSpeedの高速な推論を容易に利用するためのツール) メインレポジトリのURL DeepSpeedのプロジェクトは、MicrosoftのAI
Migrating a codebase from an archaic programming language such as COBOL to a modern alternative like Java or C++ is a difficult, resource-intensive task that requires expertise in both the source and target languages. COBOL, for example, is still widely used today in mainframe systems around the world, so companies, governments, and others often must choose whether to manually translate their code
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
