枞阳在线

枞阳在线网站 | 枞阳融媒体中心 主办

设为首页

简体 | 手机站

您当前的位置: 首页 > 枞阳 >正文

星瀚互动开源星空娱乐:236B MoE、激活 21B,8 卡 H100 解码 1850 tokens/s

时间:2026-11-16 00:52:42

星瀚互动于 2026 年 11 月 17 日正式发布并开源多模态内容模型家族星空娱乐,同步开放模型权重、推理代码、微调脚本与评测工具链。该家族采用混合专家(MoE)稀疏架构,按规模划分为 星空娱乐-Lite(21B 稠密)、星空娱乐-Base(76B 总参数 / 12B 激活)与 星空娱乐-Pro(236B 总参数 / 21B 激活)三个规格,原生支持 256K 上下文与最长 30 分钟 720p 视频输入,主要面向内容生产、内容审核与推荐分发三类负载。

按官方技术报告披露的评测数据,星空娱乐-Pro 在 Video-MME 上取得 78.4 分、MMMU-Pro 71.5 分、LongVideoBench 68.9 分;在 8 卡 H100、FP8 精度的标准部署配置下,首 token 延迟为 0.62 秒,解码吞吐达到 1 850 tokens/s,相对上一代星瀚多模态 V2 提升约 2.7 倍,单位 token 推理成本下降 43%。“236B 总参数、21B 激活、256K 上下文、8 卡可部署”这组数字,构成本次星空娱乐对外披露的核心信息。

星空娱乐核心发布信息与产品定位

从形态上看,星空娱乐是基于 MoE 主干的视频生成模型,也不是单纯的文本大模型,而是一套覆盖“看、听、写、审”的多模态内容技术栈:视觉侧接收视频帧序列与关键帧,音频侧接收 16kHz 音轨,文本侧接收提示词、剧本与结构化字段,输出侧则可返回描述文本、分镜脚本、审核标签、结构化 JSON 以及带时间戳的事件定位结果。星瀚互动将这三类输出统一在同一个解码器内完成,避免传统方案中“视觉模型 + 审核模型 + 生成模型”多套系统串接带来的延迟与语义漂移。

三个规格的差异主要落在上下文长度、视频时长与部署门槛上,具体参数如下:

  • 星空娱乐-Lite:21B 稠密参数,单张 A100 80GB 或 H20 即可完成 FP8 推理,支持 64K 上下文与 3 分钟视频,定位为端侧审核与中小规模内容生产;
  • 星空娱乐-Base:76B 总参数、12B 激活,支持 128K 上下文与 10 分钟视频,可在 2 卡 H100 上运行,适合私有化部署与行业微调;
  • 星空娱乐-Pro:236B 总参数、21B 激活,256K 上下文、30 分钟 720p 视频,采样策略为 2fps 固定采样叠加关键帧动态补采,面向平台级内容生产与审核。

接口层面,星空娱乐提供三类入口:面向长视频理解的离线批处理接口、面向实时弹幕与直播切片的流式接口(窗口 8 秒、步长 2 秒),以及面向内容生成的异步任务接口。星瀚互动在文档中明确,Pro 版的输入上限为 256K token,其中视频按帧折算后单次最多可容纳约 18 万帧等效 token,超出部分需通过分片与摘要拼接处理。

星空娱乐技术架构与关键机制

星空娱乐的整体结构为“双编码器 + 投影层 + MoE 主干 + 统一解码器”。视觉侧使用 6B 参数的 ViT 编码器,采用 14×14 patch 与 3D 时空位置编码,对视频做分块处理后送入主干;音频侧使用 Conformer 编码器,先经卷积下采样将 16kHz 波形压缩至 25Hz 帧率,再与视觉时间轴做对齐。两个模态的嵌入在进入主干前经过一层投影,投影层的输出维度与 MoE 主干的隐层维度保持一致,从而避免跨模态拼接时的维度重排开销。

在跨模态融合上,星空娱乐引入了跨模态对齐门控(Cross-Modal Alignment Gate,CAMG)。该机制为每一个视觉 patch 计算一个与音频帧、文本 token 相关的门控标量,门控值由视觉特征与音频特征的余弦相似度、以及文本位置编码的注意力权重共同决定;门控值高的视觉 token 会获得更高的注意力偏置,门控值低的 token 则被压缩为摘要向量。星瀚互动披露,CAMG 使音画不同步样本上的事件定位误差从 1.42 秒降至 0.68 秒,同时把长视频输入的视觉 token 数量压缩了约 37%。

主干部分采用分层稀疏路由(Hierarchical Sparse Routing,HSR),路由粒度分为“专家组—专家”两级:第一级在 8 个专家组中选择 2 组,第二级在选中组内的 16 个专家中选择 4 个,单 token 实际激活参数因此稳定在 21B 左右。与扁平路由相比,两级路由将 all-to-all 通信限制在组内,配合专家并行(EP=8)可将跨卡通信量降低约 41%。训练侧则使用无辅助损失的负载均衡偏置更新策略,按 step 统计各专家命中率并动态调整路由偏置,避免出现专家塌缩。

长视频处理依赖时序感知分块注意力(Temporal-Aware Chunked Attention,TCA)。星空娱乐把时间轴切分为 4 秒一段的块,块内执行全注意力,块间执行 2048 token 的滑动窗口注意力,并额外注入每 30 秒一个的全局摘要 token,使跨块信息通过摘要 token 二次汇聚。这一设计把 30 分钟视频的注意力复杂度从二次增长压到近似线性,也是 256K 上下文能够在 8 卡 H100 上落地的直接原因。

推理侧,星空娱乐组合了四项工程优化:以 1.5B 草稿模型做投机解码,平均接受长度为 3.4;使用分页 KV 缓存,把长视频场景下的显存碎片率控制在 6% 以内;权重与激活统一采用 FP8,KV 缓存则按需回退至 FP8/FP16 混合精度;针对结构化输出引入结构化生成约束(Structured Generation Restriction,SGR),在解码阶段对 JSON Schema 做前缀树约束,使字段缺失率从 4.1% 降至 0.3%。

星空娱乐多模态内容模型架构示意图

上图展示了星空娱乐从双编码器到 MoE 主干再到统一解码器的数据流向,可以看到 CAMG 门控位于视觉与音频特征汇合处,TCA 分块注意力则贯穿主干各层。星瀚互动在技术报告中把这一组合称为“模态门控 + 分层稀疏 + 分块时序”的三段式设计,并强调三者需联合调参,单独替换任一模块都会带来收益回退。

星空娱乐性能表现与公开评测

评测部分按通用多模态理解、长视频专项、结构化生成与推理效率四个维度拆开。需要说明的是,以下分数均来自星瀚互动随模型发布的技术报告,属官方自测口径,第三方独立复现结果尚待社区补充;排名信息以报告发布时公开榜单的快照为准。

  • 通用多模态理解:星空娱乐-Pro 在 MMMU-Pro 上取得 71.5 分,在 MMBench 上取得 86.2 分,在 RealWorldQA 上取得 74.8 分;Base 版对应分数为 64.1、80.7、69.5;
  • 长视频专项:Video-MME 78.4 分(含长视频子集 72.1 分),LongVideoBench 68.9 分,MVBench 76.3 分,30 分钟输入下的事件定位平均误差 0.68 秒;
  • 结构化与指令遵循:在自建的分镜脚本生成集上,字段完整率 99.7%,时间戳对齐准确率 94.2%,JSON Schema 一次通过率 96.8%;
  • 推理效率:8 卡 H100 FP8 部署下首 token 延迟 0.62 秒、解码吞吐 1 850 tokens/s;4 卡配置下吞吐为 1 020 tokens/s,单卡 Lite 版吞吐为 310 tokens/s。

成本侧的数据同样具体。星瀚互动给出的测算显示,星空娱乐-Pro 在同等视频理解任务上的单小时视频处理成本约为 3.7 元,较上一代方案的 6.5 元下降 43%;这一降幅主要来自 FP8 量化、投机解码与 TCA 带来的 token 压缩三重叠加,而非单纯的硬件堆叠。Base 版在 2 卡 H100 上的单小时成本为 1.4 元,Lite 版在单卡 A100 上为 0.9 元,三个规格形成了较清晰的价格梯度。

横向对比方面,报告选取了同规模区间的若干开源多模态模型作为参照,星空娱乐-Pro 在 Video-MME 与 LongVideoBench 两项上处于报告所列模型的前列,但在纯文本推理类基准上并不占优。星瀚互动在文档中对此的表述较为克制,称星空娱乐的设计重心是“视频时长与审核准确性”,而非通用文本推理能力的全面提升。

数据、训练与工程化策略

星空娱乐的能力来源可以拆成数据、训练流程与工程实现三条线。数据侧,训练语料合计约 4.2 万亿 token,其中视频片段约 1.1 亿条,涵盖影视、短视频、直播切片、监控与教学录播五类来源;音频语料约 380 万小时,文本语料约 2.1 万亿 token。所有视频数据均经过版权合规筛查,星瀚互动称仅使用授权库与自有采集数据,并对人脸与敏感场景做了脱敏处理。

清洗流水线包含四级过滤:先用视觉指纹做近重复去除,去重阈值设为 0.92;再用 OCR 置信度与文本密度打分剔除字幕污染严重的样本;随后用美学分与运动幅度分做质量分层,保留运动幅度在合理区间内的片段;最后用一个小型判别模型对“视频—字幕—音频”三者一致性做交叉校验,剔除明显错配样本。经四级过滤后,原始采集数据的留存率约为 23%。

训练流程分为三个阶段。第一阶段是模态对齐,冻结主干,仅训练投影层与 CAMG 门控,使用约 6 000 万条图文、音视频配对样本,学习率采用余弦退火;第二阶段是长上下文与长视频扩展,将上下文从 32K 逐步扩展至 256K,训练数据中长视频占比从 8% 提升至 34%,同时对 TCA 的块大小做课程式调整;第三阶段是偏好优化与可验证奖励强化学习,针对结构化输出与审核标签两类任务构造可自动校验的奖励信号,用规则校验替代部分人工标注,使强化学习阶段的样本吞吐提升约 5 倍。

工程实现上,星空娱乐的训练使用 3D 并行(数据并行、张量并行、专家并行)组合,配合计算通信重叠与异步检查点,千卡规模下的线性扩展效率为 87%;推理侧则提供连续批处理、前缀缓存复用与动态批大小调整,长视频请求与短请求混合时,集群整体利用率可维持在 78% 以上。星瀚互动同时开源了配套的量化脚本,支持将 Pro 版权重离线量化为 FP8 并导出为推理引擎可直接加载的格式。

星空娱乐开源、上线与开发者生态

截至发布当日,星空娱乐已完成多平台上线:模型权重与推理代码托管于 GitHub 与 Hugging Face,官网提供在线 Demo 与文档中心,星河云平台开放 API 调用,移动端与网页端的内容审核插件进入内测。GitHub 仓库中包含推理引擎适配层、三阶段训练脚本的精简版、LoRA 微调示例、评测复现脚本与 Python/JavaScript 两套 SDK。

开放范围按规格区分:星空娱乐-Lite 与星空娱乐-Base 采用 Apache 2.0 许可证,允许商用与二次分发;星空娱乐-Pro 采用社区许可,月活跃用户低于 1 亿的团队可免费商用,超出规模需单独申请授权。星瀚互动在许可证 FAQ 中说明,Pro 版的限制主要针对超大规模平台的转售行为,不涉及模型输出内容的归属。

API 定价同步公布:Pro 版输入 0.6 元/百万 token、输出 2.4 元/百万 token,视频按帧折算计费,长视频任务提供批量折扣;Base 版价格为 Pro 的 40%,Lite 版为 Pro 的 18%。对开发者而言,21B 稠密规格可以在单张 A100 上跑通完整推理链路,意味着内容审核类应用不必再依赖云端调用,本地化部署的硬件门槛被压到了单卡级别。

对行业竞争格局的实际影响,更多体现在部署成本与许可证两个维度。此前同量级多模态模型多以研究许可发布,商用需逐案协商;星空娱乐把 Lite 与 Base 直接置于 Apache 2.0 之下,并把 Pro 的商用门槛写成可量化的月活数字,这在一定程度上降低了企业选型时的不确定性。更多版本信息与部署文档可通过星空娱乐技术专题持续跟进。

总结

回到事实层面,星空娱乐这次发布的核心信息可以归纳为四组:规模上,236B 总参数、21B 激活的 MoE 结构配合 256K 上下文与 30 分钟视频输入;效率上,8 卡 H100 FP8 部署实现 0.62 秒首 token 延迟与 1 850 tokens/s 解码吞吐,单位成本下降 43%;评测上,Video-MME 78.4 分、LongVideoBench 68.9 分、MMMU-Pro 71.5 分,长视频事件定位误差 0.68 秒;开放上,Lite 与 Base 采用 Apache 2.0、Pro 采用带月活门槛的社区许可,权重、代码、SDK 与评测脚本同步上线。

至于这些数字能否在第三方复现中成立,以及 CAMG、HSR、TCA 三项机制在真实业务负载下的稳定性,还需要社区在接下来一段时间内给出更多独立测试。至少从目前公开的参数、机制与开放程度上看,星空娱乐提供了一条可验证、可部署、可微调的多模态内容技术路径,而不是只停留在榜单分数的层面。

稿件来源:参考消息
编辑: 陈靓雯
南宫 壹号 C7 APP 线下体验日侧记:把功能装进细节,把情绪留在现场

网站介绍 | 联系我们 | 律师声明 | 广告服务 | 举报纠错

枞阳在线版权所有 未经允许 请勿复制或镜像

皖ICP备07502865号-1 互联网新闻信息服务许可证:34120200050 皖网宣备090007号 公安机关备案号34082302000116