Naive-N0.5-Flash 运营中

Naive-N0.5-Flash 是 NaiveAI 开源的首个 MoE 大模型，定位编程与 AI 研发场景。Naive-N0.5-Flash 基于小米 MiMo-V2.5 基模改造，为 309B MoE 架构，采用 SWA+DSA 混合稀疏注意力，原生支持 1M 上下文且无全注意力层。模型由 AI 深度参与研发，配套推理系统 NaiveRT 单流解码峰值达 2122 tokens/s。

长上下文编程：原生支持 1M token 上下文，可处理超长代码仓库与长程软件工程任务。
AI 研发辅助：能读论文、复现方法、跑实验、分析结果，直接参与模型研发全流程。
推理加速：配套 NaiveRT 推理系统，标准模式 50 tokens/s，极速模式单流解码峰值达 2,122 tokens/s。
自主科研：可在给定目标、算力预算和评测协议后，端到端自主推进研究。

微信关注回复“开源”，加入AI开源项目交流群
SWA–DSA 混合稀疏注意力：模型基于 MiMo-V2.5 基模，将原本开销大的全局注意力层替换为 DeepSeek 稀疏注意力，与滑动窗口注意力按 5:1 交替堆叠，全网络无任何全注意力层。SWA 处理 128 token 局部窗口，DSA 由轻量索引器对全历史打分并选出 top-2048 token 供主干计算。
轻量索引器设计：将 DSA 原本的 MLA 改为 GQA，索引器查询头从 64 减至 16，使索引选择路径耗时降低 44%，同时在 1M 上下文的 Agent 任务上保持性能不衰减。
三阶段训练流程：先在 50B token 上冻结主干、用 KL 散度损失对齐索引器与全注意力分布；再切换稀疏注意力进行 3T token 继续预训练，适配新的信息选择机制并强化编程与研发能力；最后 200B token 监督微调并衰减学习率。全程维持 1M 上下文，AI 自动完成 top-k 召回分析与数值稳定性修复。
混合序列并行与显存优化：针对 SWA 只需局部窗口、DSA 需全历史的差异，分别采用 Halo 序列并行；显存侧将激活卸载粒度细化到算子级，显式保留 top-k 索引避免重计算改变选择，512 卡约 4 天可训 1T token。
NaiveRT 推理优化：通过巨型算子融合、PDL 让上下流 kernel 重叠执行、投机解码循环完全在 GPU 上推进，将单轮解码延迟从 12.3ms 降至 3.4ms；且支持按随机种子逐位确定性采样，保证 RL 训练中采样与训练 logprob 一致。所有优化以端到端真实模型路径为准入标准。

确认硬件：需要支持 FP8 的 NVIDIA GPU，模型权重约 315GB，需预留额外显存。
获取权重：从 Hugging Face 拉取 NaiveAI/Naive-N0.5-Flash-FP8 仓库。
安装依赖：执行 pip install "transformers[torch,kernels]>=5.17.0"。
加载模型：用 AutoTokenizer 和 AutoModelForCausalLM 以 trust_remote_code=True、device_map="auto" 方式加载。
构造输入：通过 apply_chat_template 传入对话消息并生成输入张量。
生成结果：调用 model.generate() 生成回复，再用 tokenizer.decode() 解码输出。
设置参数：通用场景推荐 temperature=1.0、top_p=0.95。
复现高性能推理：如需 2,122 tokens/s 速度，可获取 NaiveRT 开源代码、Docker Compose 环境和配套基准脚本自行部署。

超长上下文：原生支持 1M token 上下文，且全网络无全注意力层，长序列解码开销远低于常规架构。
推理速度顶尖：配套 NaiveRT 系统单流解码峰值达 2,122 tokens/s，投机解码延迟较 SGLang 降低 72.4%。
研发能力突出：PaperBench 63.2、MLE-bench-30 73.7%、NanoGPT SpeedRun 73.8s，多项 AI 研发评测超越同级模型。
AI 原生研发：模型由 AI 参与架构设计与系统优化，是人类设定目标、AI 执行迭代的”AI 研发 AI”范式落地。
自主科研潜力：给定目标与预算后可端到端自主完成研究，400 小时训出 AutoWM 世界模型并登顶 WorldArena。

项目官网：https://naive.ai/en/research/
GitHub仓库：https://github.com/NaiveAI-Labs/Naive-N0.5-Flash
HuggingFace模型库：https://huggingface.co/NaiveAI/Naive-N0.5-Flash

AI 研发助手：辅助研究员读论文、复现方法、跑实验与分析结果，如 PaperBench、MLE-bench 类研发任务。
长程软件工程：凭借原生 1M 上下文处理大型代码仓库，完成跨文件理解、Bug 修复与仓库级代码生成。
长上下文 Agent 任务：在终端操作、多轮工具调用等长交互场景中保持完整任务历史。
RL 训练基础设施：配合 NaiveRT 的高单流解码速度与逐位确定性采样，加速长程强化学习 rollout，减少掉队样本。