35 名员工的Etched团队筹集了 1.2 亿美元，研发出专为 Transformer打造的芯片sohu

事实上，当时的 AI 模型种类繁多，有用于自动驾驶汽车的 CNN、用于语言的 RNN，还有用于生成图像和视频的 U-Nets 等等。而Transformer（ChatGPT 中的“T”）是第一个可以扩展的模型。

当时，Transformer 还没风靡全球，许多公司都构建了灵活的 AI 芯片和 GPU 来处理数百种不同的架构，例如英伟达的 GPUs、Amazon 的 Trainium、AMD 的加速器、Graphcore 的 IPUs、D-Matrix 的 Corsair 和英特尔的 Gaudi 等。如此背景下，自然没人想要制造专为特定架构设计的 AI 芯片（ASIC）：Transformer 的市场不大，而芯片项目的成本为 5000 万至 1 亿美元，还需要数年时间才能投入生产。但突然之间，ChatGPT 的全球爆火令情况发生了巨大变化：

（1）前所未有的需求：在 ChatGPT 之前，Transformer 推理的市场约为 5000 万美元，现在则已达数十亿美元。所有大型科技公司都在使用 Transformer 模型（OpenAI、谷歌、亚马逊、微软、Meta 等）。

（2）架构逐渐趋同：AI 模型过去变化很大，但自 GPT-2 以来，最先进的模型架构几乎保持一致。OpenAI 的 GPT 系列、谷歌的 PaLM、Meta 的 LLaMa、甚至特斯拉的 FSD 都是基于 Transformer。

专用 ASIC 芯片（专为特定架构而设计的 AI 芯片）是一种必然趋势。

当模型的训练成本超过 10 亿美元，推理成本超过 100 亿美元时，就会自认会有人去研发专用芯片：在这种规模下，只要有 1% 的性能改进，都能证明成本为 5000 万至 1 亿美元的芯片项目是值得的。

在运行文本、图像和视频转换器时，Sohu 的速度比英伟达下一代 Blackwell GB200 GPU 还要快一个数量级，且成本更低；700 亿参数 Llama 3 吞吐量能达到每秒 50 万 tokens；一台 8xSohu 服务器可取代 160