猎鹰翱翔：Falcon 3系列模型发布，端侧模型持续发力（Falcon3测试）

阿联酋科技创新研究所（TII）最近发布了Falcon 3，这是该所最新一代的开源大语言模型（LLM）系列。本次发布树立了小型LLM的新性能标准，支持在笔记本电脑等轻量基础设施上高效地运行模型。Falcon 3引入了优异的推理功能并增强了微调功能，使其成为更强大、更好用的人工智能模型。看来未来新出模型，推理将成为标配新范式。

Falcon 3一共包含四个不同规模的模型（Falcon3-1B、3B、7B和10B）的集合，旨在提供高性能的人工智能解决方案。该模型利用14万亿个词元进行训练，是上一代模型所用5.5万亿的两倍以上，在多个基准指标上都展现出超卓的性能。尤其是在全球可在单个GPU上运行的模型中位居前列。Falcon 3发布时位列Hugging Face的全球第三方大语言模型排行榜第一，超越同等规模的其他开源模型，包括Meta公司的Llama模型。Falcon 3-10B模型在该类别的表现尤其耀眼，优于所有参数低于130亿的模型。

与传统的大型语言模型（LLM）相比，SLM模型因其较少的参数和更简洁的设计，具备高效性和低成本优势，尤其适合在客户服务、医疗保健、物联网等领域中应用。根据市场研究公司Valuates Reports的数据，SLM市场预计将在未来五年实现18%的年均增长。

Falcon3的基础模型适合通用任务，指令版则专为对话任务如客户服务和虚拟助手优化。该系列的推出将进一步推动边缘计算和隐私敏感应用的发展，支持如个性化推荐、数据分析、医疗诊断和供应链优化等场景。

模型具体特点：

无缝集成：Falcon 3系列模型与各种广泛使用的应用程序接口（API）和库兼容，大幅减少了集成工作，确保了易用性。

多样性：每个Falcon 3小模型都有一个基础模型和一个针对对话应用场景进行微调优化的Instruct变种模型，在同等规模的模型中都位居世界前列。

多语言支持：目前提供英语、法语、西班牙语和葡萄牙语版本。

量化版本：提供各种量化版本，以优化在专门架构中的集成，满足快速部署和推理需求的高效轻量级资源。

应用领域：Falcon 3在推理、语言理解、指令执行、代码生成和数学任务等领域都具有卓越的性能，定将树立人工智能功能的新标准。

开放平台：Falcon 3可通过HuggingFace和FalconLLM.TII.ae立即下载，此外还提供了有关性能基准的详细信息。此外，TII还推出了Falcon Playground，这是一个方便最终用户、编程人员、编码人员和研究人员在官方版本发布前探索Falcon 3的测试环境。

许可信息：Falcon 3依据TII Falcon许可证提供许可，这是一种宽松的Apache 2.0软件许可证，包含旨在促进以负责任方式使用人工智能的可接受使用政策。

未来发展：2025年1月初，Falcon 3系列模型将推出强调多模功能的新成员，包括文本、图像、视频和语音模式等。

具体测试效果：

10B模型在8G的N卡环境下，跑得比较艰难，端侧还是要以7B模型四位量化为主。

完美解决比数大小的问题

数学问题上中规中矩，步骤相对容易的基本都推理出来了，复杂一点的还是不行，诸如鸡兔同笼问题解决得比较好。

专业文字翻译能力低于阿里国际的o1推理模型，只能说一般：

逻辑问题还算好

我喜欢测的红烧螺丝钉，不能正确认知螺丝钉是不能食用的，也就是没去做用户提问的错误的可能性

数字母也不行

整体中规中矩，如果使用文字，建议还是用阿里国际的marco-o1，尤其是做文字翻译。但数学问题，可以考虑猎鹰3。