SJJS_1的博客

是一个统一的模型，它结合了大语言模型的语言推理能力和扩散模型的图像合成能力。提出了一种统一的图像嵌入空间来建模图像理解、生成和编辑任务。为了在多个任务上进行联合优化，整理了一个包含 2630 万个样本的大规模数据集，并使用多阶段策略训练 Nexus-Gen，包括自回归模型的多任务预训练以及生成和编辑解码器的条件适应。Nexus-Gen 的定性结果：限制：请注意，Nexus-Gen 是在有限的文本到图像数据上训练的，可能对文本提示不够鲁棒。

MiniCPM 4 是一个极其高效的边缘侧大型模型，经过了模型架构、学习算法、训练数据和推理系统四个维度的高效优化，实现了极致的效率提升。

FLUX.1 Kontext LoRA专用炼丹炉。预设新人LORA训练参数包，教程详细。支持离线模型调用，加快训练进程，减少实例费用消耗。

Load chekpoint:基础大模型加载器，用于加载模型。Load CLIP：作用是将输入的内容与生成式大模型结合，从而引导图片生成。Load ControNet Model：用于加载 contronet 各功能的节点KSampler:K 采样器。VAE :变分自编码器，类似滤镜。现在很多模型都自带 VAE，VAE 分为 Decode（解码）和 Encode（编码）。其中 编码器将输入数据压缩成一个潜在向量，解码器则根据这个潜在向量重构原始输入。

Calligrapher是一种创新的扩散模型框架，由蚂蚁集团与香港科技大学的研究团队共同开发，专门用于数字书法和设计应用中的文本图像定制与风格转换。Calligrapher可以提供个性化的文本图像定制，它允许用户使用各种风格化的图像和文本提示执行自定义，支持英文的修改。该框架通过自蒸馏机制、局部风格注入框架和上下文生成机制三大核心技术，实现了对任意文本或非文本输入的高精度风格复制和排版设计。自蒸馏机制：利用预训练的文本到图像生成模型和大型语言模型自动构建风格中心的排版基准数据集，无需手动注释即可实现风格学习

腾讯混元 3D-2.1 作为可扩展的三维资产生成系统，通过两大突破性创新推动前沿三维生成技术发展：全开源框架与基于物理的渲染（PBR）纹理合成。该系统首次完整公开模型权重与训练代码，使社区开发者能够直接微调并扩展模型，满足多样化下游应用需求，显著加速学术研究与工业部署进程。升级后的 PBR 管线取代了先前的 RGB 纹理模型，通过基于物理原理的材质模拟技术，生成具备真实感光效交互的纹理（如金属反射、次表面散射等）。混元 3D 2.1 与其他开源及闭源三维生成方案的对比评测。

Gemma-3n-E4B-it（简称 E4B-IT）是 Google 于 2025 年 6 月 26 日推出的轻量级开源多模态 AI 模型，属于 Gemma 3n 系列的高阶版本（E4B 指“有效参数 4B”），专为移动设备和边缘计算场景设计，支持本地处理文本、图像和音频输入，并生成文本输出。E4B-IT 的音频功能支持设备端语音转文本和翻译（英法/英西翻译准确率超 92%），视觉功能由 MobileNet-V5 编码器驱动。

今年5月，阿里云开源模型，凭借其突破性技术架构与能力，极大提升了AI视频创作效果。本次合并模型整合了的作用域（scopes）与的模型架构。

GLM-4.1V-9B-Thinking是由智谱AI联合清华大学团队推出的多模态大模型，以基座模型为底，通过引入“思维链推理机制”和“课程采样强化学习策略”（Reinforcement Learning with Curriculum Sampling），显著提升了模型的跨模态推理能力与稳定性。在继承 GLM 系列通用大模型能力的基础上，进一步强化了视觉理解和复杂推理能力。该模型支持长上下文输入，具备处理图像、视频、文本等多种模态的能力，适用于教育、科研、工业和政务等多个领域。

OuteTTS-1.0-0.6B 是 OuteAI 于 2025 年 5 月发布的开源语音合成模型，基于 Qwen-2.5-0.5B 架构优化，参数规模 6 亿，专注于轻量级高性能语音合成。该模型通过创新技术路径实现了多语言支持、声音克隆和低资源消耗的平衡，在边缘计算、移动应用等场景展现出独特优势。

Cosmos-Predict2 是由 NVIDIA 推出的新一代物理世界基础模型，专为物理 AI 场景下的高质量视觉生成与预测任务设计。该模型具备极高的物理准确性、环境交互性和细节还原能力，能够真实模拟复杂的物理现象与动态场景。Cosmos-Predict2 支持文本到图像（Text2Image）和视频到世界（Video2World）等多种生成方式，广泛应用于工业仿真、自动驾驶、城市规划、科学研究等领域，是推动智能视觉与物理世界深度融合的重要基础工具。

ComfyUI-v0.3.43 是基于节点化工作流的 Stable Diffusion 图形界面工具的最新版本，专注于提升模型兼容性、性能稳定性及用户体验。Flux Kontext 与 Omnigen 2 集成新增对 Flux Kontext（基于扩散模型的图像编辑工具）和 Omnigen 2 模型的官方支持。用户可通过节点直接调用这些模型，实现高精度图像风格迁移、多模态内容生成等复杂任务。

是百度推出的新一代多模态大模型，属于，采用，总参数规模达，激活参数。该模型基于开发，支持文本与视觉的联合训练，具备强大的多模态理解和生成能力。1.2.3.

ERNIE-4.5-0.3B-Paddle 是百度文心大模型 4.5 系列中的轻量级成员，采用，总参数量仅 3 亿，基于飞桨（PaddlePaddle）框架深度优化，专为边缘计算、移动端和资源受限环境设计。：模型基于文本和视觉模态进行联合训练，能更好地捕捉多模态信息的细微差别，并提升文本理解与生成、图像理解以及跨模态推理等任务的性能。团队设计了一种异构 MoE 结构，并引入了模态隔离路由，采用了路由器正交损失和多模态标记平衡损失。这些架构选择确保两种模态都得到有效表示，从而在训练过程中实现相互强化。

Cosmos-Predict2 是（WFM） 物理 AI 生态系统的一个关键分支，专门通过高级世界建模进行未来状态预测。它提供两项强大的功能：用于从文本描述创建高质量图像的文本到图像生成，以及用于从视频输入生成视觉模拟的视频到世界生成。我们在下图中可视化了 Cosmos-Predict2 的架构。

是由北京智源研究院最新推出的一个强大、高效的开源多模态生成模型。与 OmniGen v1 不同，OmniGen2 具有两种不同的文本和图像模态解码路径，利用非共享参数和解耦的图像分词器。

是一个强大的、模块化的界面与后端项目。该用户界面将允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。FLUX.1 Kontext 是 Black Forest Labs 最新推出的突破性多模态图像编辑模型，支持文本和图像同步输入，智能理解图像上下文并执行精确编辑。其开发版本为开源的 120 亿参数扩散 transformer 模型，具有出色的上下文理解和字符一致性维护能力，确保角色特征、构图布局等关键要素即使经过多次迭代编辑也能保持稳定。

RAGFlow 是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。当与 LLM 集成时，它能够提供真实的问答功能，并以来自各种复杂格式数据的有根据的引用为后盾。接下来将介绍RAGFlow快速上手指南，帮助大家更快入门该引擎。

智能助手（Agent Assistant），利用大语言模型的推理能力，能够自主对复杂的人类任务进行目标规划、任务拆解、工具调用、过程迭代，并在没有人类干预的情况下完成任务。

Kimi-Dev-72B由月之暗面（Moonshot AI）最新开源的AI编程模型，专为软件工程任务设计，并，超越 DeepSeek-R1 等模型，成为当前。

MiniMax-M1 型号可以在配备 8 个 H800 或 8 个 H20 GPU 的单个服务器上高效运行。在硬件配置方面，配备 8 个 H800 GPU 的服务器可以处理多达 200 万个令牌的上下文输入，而配备 8 个 H20 GPU 的服务器可以支持高达 500 万个令牌的超长上下文处理能力。，凭借其百万级上下文支持、超高效计算性能和突破性成本表现，成为大模型领域的新标杆。为了保证部署环境的一致性和稳定性，我们建议使用 Docker 进行部署。💡 如果您使用的是其他环境配置，请参阅。

是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。

Qwen3-Embedding与Qwen3-Reranker是阿里巴巴通义实验室于今年6月开源的双模型系列，专为文本表征、检索与排序任务设计。基于Qwen3基础模型构建，二者通过协同工作显著提升语义理解与信息检索效率，在多语言场景和工业部署中表现卓越。基于 Qwen3 系列的密集基础模型，提供了各种大小（0.6B、4B 和 8B）的全面文本嵌入和重新排序模型。该系列继承了其基础模型出色的多语言能力、长文本理解和推理技能。

MonkeyOCR 是华中科技大学联合金山办公(Kingsoft Office)推出的文档解析模型，模型支持高效地将非结构化文档内容转换为结构化信息。基于精确的布局分析、内容识别和逻辑排序，显著提升文档解析的准确性和效率。与传统方法相比，MonkeyOCR在处理复杂文档(如包含公式和表格的文档)时表现出色，平为性能提升5.1%，在公式和表格解析上分别提升15.0%和8.6%。同时，模型在多页文档处理速度上表现出色，达到每秒0.84页，远超其他同类工具。

MiniCPM 4 是一个极致高效的端侧大模型，从模型架构、学习算法、训练数据与推理系统四个层面进行了高效优化，实现了极致的效率提升。高效模型架构：InfLLM v2 -- 可训练的稀疏注意力机制：采用可训练的稀疏注意力机制架构，在 128K 长文本处理中，每个词元仅需与不足 5% 的词元进行相关性计算，显著降低长文本的计算开销高效学习算法：模型风洞 2.0 -- 高效 Predictable Scaling：引入下游任务的 Scaling 预测方法，实现更精准的模型训练配置搜索。

5月26日，开源RAG（Retrieval-Augmented Generation）流程管理平台RAGFlow正式发布v0.19.0版本，以跨语言搜索、Agent代码组件、图像直显功能为核心，带来了一场智能交互领域的革新。这款面向AI知识检索与对话管理的平台，凭借其多语言、多模态、多引擎集成的特性，正在为企业构建高效智能问答及知识服务系统提供全新可能。

前不久，DeepSeek R1 模型进行了一个小版本升级，当前版本为 DeepSeek-R1-0528。是由中国 AI 实验室 DeepSeek 于 2025 年 5 月底发布的一款轻量级开源模型，它基于 Qwen3-8B Base 模型，通过蒸馏微调而成。该思维链对于推理模型的学术研究以及专注于小规模模型的工业开发具有重要意义。

Seed-Coder 由字节跳动于 2025 年 5 月开源，是一款专注于代码生成、补全与推理的（基于 Llama 3 架构），支持，包含三个变体，以为核心创新，显著减少人工干预，提升代码生成质量与效率。🌟 亮点以模型为中心： Seed-Coder 主要利用 LLM 而不是手工制作的规则来过滤代码数据，从而最大限度地减少预训练数据构建中的手动工作。透明：我们公开分享以模型为中心的数据管道的详细见解，包括管理 GitHub 数据、提交数据和代码相关的网络数据的方法。

LoRA-scripts（又名 SD-Trainer），是一个专为设计的开源工具集主要应用于Stable Diffusion等AI绘图模型的微调，帮助用户高效创建定制化风格、角色或概念的轻量级模型。目前已经包含FLUX模型的lora训练。

BAGEL是一个开源的多模态基础模型，具有 70 亿个激活参数（总共 140 亿个），并在大规模交错多模态数据上进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶级的开源 VLMs 如 Qwen2.5-VL 和 InternVL-2.5，并且提供了与强大的专业生成器如 SD3 竞争的文本到图像质量。此外，BAGEL 在经典的图像编辑场景中展示了比领先的开源模型更好的定性结果。更重要的是，它扩展到了自由形式的视觉操作、多视图合成和世界导航，这些能力构成了超出以往图像编辑模型范围的“世界建模”任务。

FlowGram 是一套基于节点编辑的流程搭建引擎，通过自研 Canvas 渲染引擎，可支持200+ 节点流畅操作（60FPS）。该引擎可帮助开发者快速创建固定布局或自由连线布局模式的流程，并提供一套交互的最佳实践, 很适合有明确输入和输出的可视化工作流。

Quantum ESPRESSO 是一个用于电子结构计算和纳米尺度材料建模的开源计算机代码集成套件，专门用于进行第一性原理（第一性原理）计算，涵盖了电子结构、晶体学和材料性能的模拟。Quantum ESPRESSO GPU 版本支持GPU加速，该部署版本为q-e-7.4.1。发布 · QEF - Quantum ESPRESSO Foundation / q-e · GitLab。

NAMD（Nanoscale Molecular Dynamics）是一款高性能分子动力学模拟软件，专为大规模生物分子系统设计，支持多核CPU/GPU集群及超算平台，可高效模拟百万原子级体系（如蛋白质折叠、膜蛋白转运）。该部署为NAMD 3.0.1版本，支持多核 CPU 和 GPU 加速，以 CUDA 优化的方式进行并行计算，极大提升了大型分子体系的模拟速度。其高效的并行架构使得 NAMD 能够在超级计算机、集群和工作站上高效运行。

GPUMD 是一款开源分子动力学模拟软件，由渤海大学樊哲勇教授团队主导开发，2017年首发1.0版本，持续迭代至3.9.4版本，是国内首个完全基于GPU加速的开源分子动力学软件，专为 NVIDIA GPU 加速设计。它使用 CUDA 提高计算效率，能够快速模拟原子尺度的物理过程。

LAMMPS 官方手册LAMMPS （"Large-scale Atomic/Molecular Massively Parallel Simulator"，大尺度原子/分子并行模拟工具）是一个经典的分子动力学模拟程序，由桑迪亚国家实验室开发。LAMMPS 提供了元素周期表中对应原子的经验势函数，能够开展与实际体系相符的分子动力学模拟。例如，可以计算金属铝的晶格常数或水的密度，并获得与实验结果一致的数值。

BAGEL，这是一个开源的多模态基础模型，具有 70 亿个激活参数（总共 140 亿个），并在大规模交错多模态数据上进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶级的开源 VLMs 如 Qwen2.5-VL 和 InternVL-2.5，并且提供了与强大的专业生成器如 SD3 竞争的文本到图像质量。此外，BAGEL 在经典的图像编辑场景中展示了比领先的开源模型更好的定性结果。

GROMACS 是一个用于执行分子动力学计算的通用软件包，即模拟包含数百到数百万个粒子的系统的牛顿运动方程，它是一个开源的项目。它主要设计用于具有大量复杂键合相互作用的生物化学分子，如蛋白质、脂质和核酸，但由于 GROMACS 在计算非键合相互作用（通常主导模拟）方面速度极快，许多研究小组也用它来研究非生物系统，例如聚合物和流体动力学。

该项目展示了 Bilibili 为动漫世界带来的礼物——Index-AniSora，最强大的开源动漫视频生成模型。它支持一键创建多种动漫风格的视频片段，包括系列剧集、中国原创动画、漫画改编、VTuber 内容、动漫 PV、鬼畜动画等！由我们被 IJCAI'25 接受的工作AniSora: 探索天空时代动画视频生成的前沿提供支持。动画在最近的影视行业中引起了极大的兴趣。尽管像 Sora、Kling 和 CogVideoX 这样的先进视频生成模型在生成自然视频方面取得了成功，但在处理动画视频时却缺乏同样的效果。

ComfyUI是一个强大的、模块化的界面与后端项目。该用户界面将允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。目前全面支持SD1.xSD2.xSDXLSD3和命令行选项：--lowvram使其在显存小于 1GB 的 GPU 上运行（在显存较低的 GPU 上自动启用）即使没有 GPU，也可以工作：--cpu（慢）可以加载ckpt和。独立 VAE 和 CLIP 模型从生成的 PNG 文件加载完整的工作流程（带有种子）将工作流程保存/加载为 Json 文件。

MatterGen 是一种用于跨周期表设计无机材料的生成模型，可以微调以引导生成满足广泛性能约束条件。MatterGen 的基础模型在生成新颖、稳定且多样化的材料方面已达到领先水平（如图所示）。该模型利用来自。