weixin_72808879的博客

1. 采用MoE解决路由崩溃难题（1）传统的 Top-2 路由策略经典的 MoE（Mixture-of-Experts）架构，使用 Top-2 Routing 策略。由 N 个专家（Expert） 组成，路由器（Router）会为每个输入选择 K=2 个专家进行计算。计算结果通过加权求和后输出。（2）细粒度专家分割（Fine-grained Expert Segmentation）

上下文学习&思维链COT&Prompt工程

deepseek的介绍、使用方式和技巧

大模型训练介绍：硬件、微调、知识增强

llama权重文件转hf格式及模型使用

内容包括：llama、alpaca、vicuna模型介绍，vicuna模型使用等。