Sophon-Realtime v1 运营中

Sophon-Realtime v1 是 AI降临派（Adventists AI）开源的全双工语音模型，能边听边判断话轮，随时被打断，能听懂语气、笑声和叹气，用带感情的声音回应。Sophon-Realtime v1基于 32B 参数，在语音评测 VoiceBench 上达 82.8 分，开源全双工模型中排名第一。Sophon-Realtime v1提供 Tag（表现力强）、Flash（响应快）和 E2E（研究预览）三个版本，单张 80GB 显卡即可部署，采用 Apache-2.0 许可，可商用。

全双工对话：说话时一直在听，一停就接上，随时插话立刻停下回答新问题。
听懂语气：能识别犹豫、重音、笑声、叹气、反话等副语言信息，不只是听字面内容。
说得出语气：回答时声音里会自然地笑、叹气、清嗓子、换气，而不是念出文字。
多模态理解：给它看图表和截图，能读得懂并口头解读。
工具调用：支持多步工具调用（Full-Duplex-Bench v3 Pass@1 达 48%），能”干活”。
Live 模式：兼容 OpenAI GPT-Live 协议，可与大模型后端联合工作。
快速部署：一条命令、一张 80GB 显卡即可上线，Flash 版首包仅 0.31 秒。
可微调：基于 ms-swift 用 LoRA 微调人设、口吻、领域知识和工具调用习惯。

安装环境：确保系统为 Linux + CUDA + Python 3.12，运行 pip install sophon-realtime。
启动服务：运行 sophon-realtime serve，首次启动自动下载约 42GB 的 Tag 权重，之后服务监听在 8000 端口。
调用接口：通过 ws://HOST:8000/v1/realtime（全双工）或 POST /v1/chat/completions（语音进、文字+语音出）与模型交互。
测试对话：运行 python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh 发送一段语音并收听回复。
接入 Live 模式（可选）：在引擎旁运行 cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh，即可用 OpenAI GPT-Live 协议接入你的后端大模型。
微调定制（可选）：用 ms-swift 以 LoRA 方式在 80GB 显卡上训练，准备 jsonl 格式对话数据（音频写 、回复加 [laughter] 等标签），执行 swift sft 命令即可改人设和领域知识。

开源全双工第一：VoiceBench 得分 82.8，与 GPT-4o-mini-Audio 持平，超越 MiniCPM-o 4.5（76.1）等其他开源全双工模型。
语音推理最强：在 1,000 道语音推理题 Big Bench Audio 上答对 81.8%，远超此前最好的开源模型 Raon SpeechChat（58%）。
听懂语气：听觉模型 DuplexJev 在 LISTEN、StressTest、MSPB 副语言基准综合排名第一（48.6），高于 Gemini 3.8 Flash 和 Qwen3-Omni。
说得出语气：NVV-SuperBench 上 Tag 版中文 0.86、英文 0.80，笑声、叹气、清嗓子等表演最像。
能干活：Full-Duplex-Bench v3 工具调用 Pass@1 达 48%，高于 Grok（43%），该接话时 100% 接上。
快且扛得住人：Flash 版首包 0.31 秒，单卡支持 40 路并发；Tag 版约 0.6 秒、16 路并发。

GitHub仓库：https://github.com/adventists-ai/sophon-realtime

智能客服：Flash 版首包 0.31 秒、单卡 40 路并发，能听懂客户情绪并多步调用工具办理业务，适合大规模呼叫中心。
AI 陪伴与虚拟角色：Tag 版语气表现力最强，会笑会叹气，适合做情感陪伴、虚拟恋人和游戏 NPC。
车载语音助手：全双工随时插话、低延迟响应，无需唤醒词，听懂语气还能辅助判断驾驶员状态。
AI 硬件终端：团队技术已落地 300 多款硬件产品，Apache-2.0 许可可商用，适合集成进音箱、玩具、机器人等设备。
企业语音智能体：Live 模式兼容 GPT-Live 协议，Sophon 负责”听和说”，把查询办事交给后端大模型，适合银行、政务、航空等行业定制服务。