The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

学びカテゴリーの変更を依頼記事元:

arxiv.org

27users がブックマークコメント

記事へのコメント4件

注目コメント
新着コメント

knok 3値なのは線形層だけっぽい。アクティベーション関数は8bitみたい。XOR-Netが出たときも「GPUいらなくなる?」と最初はささやかれたけどそうはならなかったしなあ https://arxiv.org/abs/1603.05279

2024/02/29 リンク

misshiki 論文“1 ビット LLM の時代: すべての大規模言語モデルは 1.58 ビットです”

2024/02/29 リンク

hinonono 実は1(.58)ビットな戯言はともかく、整数演算で済むというなら飛びつくっしょ/これ自体はむしろ予想の効く正統進化ではないかな。deeplearning界隈の先が全然読めないというのは同意だが。

2024/02/29 リンク

stealthinu 話題の1bit LLM。ほんとにEra of 1-bit LLMsになったりするのかな？？ほんとdeeplearning界隈は1年先もぜんぜん読めないよ…

2024/02/29 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

Recent research, such as Bit Net, is paving the way for a new era of 1-bit Large Language Models (... Recent research, such as Bit Net, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely Bit Net b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transf ormer LLM with the same model size and training tokens in terms of both perplexity and end-t