鱼皮AI导航
鱼皮AI导航
  • 主页
  • 社区
  • AI工具
  • AI知识库
  • AI提示词
  • MCP
  • Skills
  • AI学习资源
  • AI资讯
  • GitHub开源
登录/注册

视频生成告别“瞬移变形”,群核科技Hugging Face登顶背后:空间语言改写AI物理世界规则

编程导航
编程导航
2025-09-01 12:30
阅读 128
编程导航
2025-09-01 12:30
阅读 128

AIGC技术正从文本、图像生成向更复杂的3D空间与视频领域延伸,但现有模型普遍面临两大核心挑战:一是对物理世界空间结构的理解不足,导致3D场景生成缺乏逻辑性;二是视频创作中因视角切换引发的时空一致性问题。

“何时人工智能从数字世界走向物理世界呢?我们认为空间智能就是这里面非常关键的桥梁。”群核科技联合创始人兼董事长黄晓煌表示。

而对于空间智能来说,它的核心是让AI真正理解物理世界的“语言”:要让AI学会用“空间语言”描述世界,这是它走进物理世界的第一步。

上周,杭州“六小龙”之一的群核科技正式宣布开源新一代空间语言模型SpatialLM 1.5与空间生成模型SpatialGen。这是中国企业首次面向全球开发者开放专注于3D室内场景认知与生成的大模型体系。

让AI“读懂”空间的几何密码

此次发布的两款模型分别针对文章开头所提的两大痛点——SpatialLM 1.5通过“空间语言”实现3D场景的结构化生成与交互,SpatialGen则依托3D高斯技术保障多视角图像的空间连贯性。

前者生成的场景富含物理正确的结构化信息,支持用户通过对话交互系统SpatialLM-Chat进行可交互场景的端到端生成,能够有效解决机器人训练数据难题;后者,专注于“生成与呈现”, 可根据文字描述、参考图像和3D空间布局,生成具有时空一致性的多视角图像。

据介绍,传统多模态模型(如GPT-4V、通义千问VLM)通过将图像切割为视觉Token与文本对齐,实现跨模态理解,但本质仍是对2D信息的处理。即VLM能描述“这是一张沙发”,但无法理解类似“沙发长2米、距墙50厘米”之类的空间信息,更不能基于这些数据生成可编辑的3D场景。

SpatialLM 1.5的突破在于,它将空间关系编码为“语言”,是非多模态的“语言模型”,它基于通义千问3小模型训练,通过“空间语言”指令实现3D场景的端到端生成。例如,用户输入“生成100平方米两居室,主卧含带扶手的老人床”,模型会输出包含墙线坐标、家具尺寸、物理参数的结构化脚本,并自动匹配资产库中的3D模型完成布局。

“一个比较重要的维度就是空间理解。”周子寒解释。传统大模型生成的是自然语言描述,而SpatialLM输出的是可直接用于渲染、仿真的“空间代码”。这一能力也使其成为具身智能机器人训练的关键工具——群核科技现场演示显示,基于SpatialLM1.5生成的家庭场景,机器人可自主规划“从卧室取药到客厅”的路径,并规避障碍物。

能达到这样的效果,与群核平台自有的稀缺数据有很大关系。据介绍,3D数据的稀缺性是空间智能发展的核心瓶颈,互联网上有百亿级图像文本数据,但高质量3D场景不足千万级,且标注成本极高。

“我最早是在NVIDIA做Cuda,出来之后发现用GPU来加速物理世界的渲染一件非常有意思的事情。酷家乐大量积累的数据是可以用来训练空间理解模型、空间生成模型等,这些模型又可以进一步强化工具能力,逐渐形成了一个工具、数据、模型三个环节相互循环的数据飞轮。”黄晓煌介绍。

基于公司早期创办的酷家乐这一全球最大的空间设计平台,截至2025年6月30日,群核科技拥有包含超过4.41亿个3D模型及超过5亿个结构化3D空间场景。

scaling law,在AI视频模型上并不奏效

“AI视频模型即使有scaling law,我们也不认为它能真正的理解现在的物理世界。”群核科技AI产品总监龙天泽表示。

当前AI视频生成工具(如Sora、即梦)常因视角切换导致物体“瞬移”“变形”,例如,在生成一条让高达跳舞的视频时,其腿部的反向扭曲、模型的穿透、移动时背景的混乱等,都是很典型的AI视频工具面临的真正问题。

“本质是它们基于2D图像序列训练,不懂3D空间规则。它学会了如何让上一帧图像在视觉上变的更像下一帧图像,但不理解所谓的物理世界运行的基本逻辑。”龙天泽说。也正因此,scaling law在AI视频模型上似乎并不奏效。

群核此次开源的SpatialGen通过多视角扩散模型打破了这一局限。它以3D高斯场景为中间载体,输入单张参考图和布局图,即可生成任意视角的图像,且保证物体形状、位置在不同帧中一致。现场演示显示,基于SpatialGen生成的12秒漫游视频,第1秒与第12秒的窗户、摆件位置完全吻合。

让模型“先造世界,再拍视频”,“如同虚拟摄像机,在3D世界内拍摄,所以天然会具备空间逻辑。”这种方式使视频生成效率成倍提升,且支持比如“从厨房直接跳转到卧室”的非连续视角切换。

“我希望它生成某个视角的一张图的时候,只要将这个视角指定,就会按照约束去生成。因为它是一个任意视角的生成模型,所以避免了视频模型非常依赖时空一致性的局限,可以去跳跃着生成任何视角的图片。”周子寒补充。

群核科技也正计划基于SpatialGen年内推出一款AI视频创作工具,或许能够成为全球首款深度融合3D能力的AI视频生成Agent。“广告从业者真的有可能不需要太过于昂贵的团队和前期的资本投入就可以做出接近顶级水平的广告。工业设计师可以在几分钟内快速地为自己的产品完成一个demo,并且展示详细的功能,”龙天泽说。

现场,龙天泽以一款国产香水为原型,生成“日式风格下的落日光影”宣传视频,其在保持商品主体高保证还原的情况下,在复杂的运境和商品动效之下,依然保持了空间的一致性、画面的合理性,内容元素没有崩坏。

基于视频效果,这位香水主理人评价:“离香奈儿、迪奥有非常大的差距,但考虑到生成的时间成本和金钱成本,在目前是比较重大的突破了,对于一些廉价品牌而言,这些视频已经具备足够marketing的属性。”

开源,中国AI的“生态突围”

不过,群核开源两款空间智能模型,并非仅限于技术模型层面的突破。

“目前空间智能肯定还是在一个发展的初期阶段的,我觉得任何一家公司都不可能独享这个市场。”黄晓煌强调,“所以我们在不断地开源数据、模型,希望跟全世界最聪明的大脑,全世界最有创新能力的人一起将这个‘蛋糕’做大,这是我们战略很重要的一部分。”

这在某种程度上也意味着,这家中国企业在空间智能领域,尝试从技术研发迈向生态共建。

2018年,群核认为海量数据是能够训练出一些过去所不掌握的认知能力,于是决定学习李飞飞的ImageNet,开源全球最大空间认知数据集InteriorNet;今年3月,群核再次开源的SpatialLM 1.0,迅速登上Hugging Face趋势榜前三。

目前,其开源策略已引发海外关注,上月群核开源全球首个3D高斯数据集InteriorGS,在Hugging Face数据集中排到第一。“它的作用是什么?过去自动驾驶领域的争议在于,做空间认知要不要激光雷达还是纯视觉就行了?中国很多车厂是用激光雷达的,但二者能否统一?这个数据集开源之后,很多机构跑过来跟我们讨论3D高斯作为统一输入好像是可行。”黄晓煌透露。

这种影响力背后是技术路线的差异化。与李飞飞团队World Labs的“3D场景生成”不同,群核聚焦“可交互的功能场景”。周子寒评价,李飞飞团队公布的Demo在大范围漫游上表现不错,但与其他业内已推出的世界模型一样,以3D表征为基础的世界模型,都会在空间一致性上有所缺失。此外,在生成的物理属性上,群核生成的场景不仅能看,还能让机器人开门、取物,这是工业级应用的关键。

“第一是真实感的全息漫游,第二是结构化可交互,第三是复杂的室内场景。”周子寒总结空间智能大模型的特点。基于此,周子寒也认为,基于空间智能大模型体系,工业软件领域曾经面临的“卡脖子”问题,中国企业有望探索出一条新路径。

“传统工业软件的‘卡脖子’源于底层复杂的几何算法,但空间大模型提供了新路径。通过找一些增量方式,将原来在传统软件不太能涉及的领域,进行补齐,就有能力打造一个之前缺失的几何内核的部分。”周子寒表示,即SpatialLM通过自然语言生成场景,在后续的探索中,有可能绕过传统CAD的复杂操作逻辑,“我们不做达索、Autodesk的替代品,而是创造‘AI原生’的设计工具——这就是弯道超车。”(本文首发钛媒体APP 作者 |秦聪慧)‌

原文链接: 视频生成告别“瞬移变形”,群核科技Hugging Face登顶背后:空间语言改写AI物理世界规则
站长:程序员鱼皮 老鱼简历 商务合作 增值电信业务经营许可证
2026 鱼皮AI导航 | 沪ICP备19026706号-6
🔥热门工具
朱雀AI检测朱雀AI检测
朱雀AI检测助手朱雀AI检测助手
LovartLovart
老鱼简历老鱼简历
WritePass官网WritePass官网
面多多面多多
CursorCursor
星月写作星月写作
零感AI零感AI
朱雀AI检测助手朱雀AI检测助手
🔥 热门文章
1
B 站上 DeepSeek 闹鱼灾了,我发起《大肥鱼清除计划》!
480
2
Vibe Coding 实战:从零构建现代专业级 AI 搜索引擎
430
3
我的第一个出海产品!7 天 2 万
370
4
又一个国产版 Codex 神器,也来卷办公了!
370
5
day3-如何写出一个高质量的 Skill(组内分享) 高质量 Skill 不是“一个调得很顺的巨型 Prompt”,而是一个可验证、可回归、可维护的能力包。 先定义“什么算好”,再实现“怎么做好”。评估体系先于 Skill 本身成型。 下面用“故障诊断 Markdown 转 YAML”作为例子,但方法是通用的。 --- 一、先想清楚:Skill 到底是什么 一个 Skill 至少包含四部分: 部分 作用 接口 输入什么、输出什么、边界在哪 流程 分几步做,每步的产物是什么 规则 硬约束、经验规则、失败模式 降级策略 不确定时怎么办,而不是硬编一个看似合理的结果 高质量 Skill 的共同点:职责单一、接口清晰、规则可定位、输出可验证。 反例:把几十条经验全塞进一个主 Prompt,改一条规则要重调整个 Prompt,评估时也不知道是哪条规则退化。 --- 二、核心方法:先建评估,再写 Skill 不要先写转换器再补测试。正确顺序是: 1. 定义输出契约:什么算合法、什么算合格; 2. 建金标准集:一小批人工认可“可放行”的样本; 3. 先写评估 Skill:让它在金标准集上跑出基线; 4. 再迭代生成 Skill:每次修改跑同一套评估,无退化且目标维度提升才算正向。 这就是评估驱动开发:评估是 Skill 的单元测试,金标准集是回归锚点。 --- 三、评估 Skill:三层门禁,逐层递进 前一层不过,后一层不跑。每层留可追溯证据。 第 1 层:确定性硬门禁 用解析器、Schema、校验器完成,不消耗模型成本。 · 输出可解析; · 必填字段齐全,类型/枚举合法; · 引用目标存在,无悬空引用、无不可达节点; · 关键路径至少有一条能到达预期出口。 不通过直接打回。 第 2 层:语义断言 用脚本 + 结构遍历检查“逻辑对不对”,仍然保持确定性。 通用检查项: · 覆盖率:源材料里的关键步骤、分支、条件,输出里是否都有对应? · 完整性:每个判断节点是否都有明确出口?有没有死胡同? · 可达性:每条路径是否都能到达预期终点?有没有无出口循环? · 顺序与依赖:有先后依赖的操作,是否保留了顺序?有没有被拍平成无序列表? 例子:故障诊断转换中,检查“每个判断项是否有是/否/异常出口”“每条路径是否能到根因”。 第 3 层:LLM-as-Judge 只处理解析器表达不了的维度:忠实度、完整性、可执行性。 但 Judge 会漂移,不能单独放行,必须建立在第 1、2 层之上。Judge 的 Prompt、rubric、模型版本都要版本化,换模型必须用金标准集重新校准。 通用 Judge 维度: 维度 问什么 忠实度 输出是否忠实源材料意图?有没有自行发明内容? 完整性 关键步骤、条件、证据是否保留?隐式知识有没有被压成空话? 收敛性 输出是否仍指向原目标,而不是发散? 可执行性 下游不依赖源材料能否直接使用? --- 四、金标准集:回归测试的锚点 不需要一开始就标注几百份。用已认可的样本当种子,扩到 15~30 份,覆盖失败模式而非随机抽样: · 完整正例:典型流程; · 边界/异常分支:异常路径、循环、前置失败回退; · 已知易错模式:实际踩过的坑; · 留出集:不参与调优,只用于最终验收,防过拟合。 金标准不需要完美,只需要当前标准下认可可放行。 回归指标:关键路径用 pass^k(k 次全过),稳定性用 pass@k。 --- 五、工程约束:让批量产出可重放 · 幂等:同输入 + 同 Skill 版本 + 同规则 → 输出一致,否则无法判断变好是 Skill 改了还是随机波动; · 隔离不阻断:单份失败进隔离队列,记录失败层和原因,不阻塞其余; · 版本绑定:规则、rubric、金标准集进 Git;每份报告绑定“源版本 + 生成 Skill 版本 + 评估 Skill 版本 + Judge 模型版本”; · 抽样人工复核:Judge 临界样本 + 易错模式,人工抽检结果反过来校准 rubric。 --- 六、Skill 本身怎么写 · SKILL.md 控制篇幅,写清:输入约定、输出契约、分步流程、硬规则、降级策略; · 经验规则放 references/ 或 rules/,按失败模式分类,不要全塞进主 Prompt; · 不确定时标 needs_review: true,不要硬编看似合理的结果; · 迭代由评估报告驱动:报告告诉你哪层挂了、哪类失败模式,你改对应规则文件,而不是漫无目的调 Prompt。 --- 七、落地顺序(不要反过来) 1. 固化输出契约:Schema + 结构约束; 2. 建金标准集:从已认可的 + 最易出错的样本开始; 3. 先写评估 Skill:跑出基线报告; 4. 再迭代生成 Skill:每次修改对比逐项通过率,无退化且目标提升才算正向; 5. 批量运行 + 隔离回放:失败进队列,结束后人工抽检; 6. 评估 Skill 自身版本化:换 Judge 模型必须重新校准。 --- 八、给组员的三条硬要求 1. 不许凭感觉说“变好了”:每次修改必须附评估报告对比,逐项通过率说话。 2. 不许跳过确定性门禁直接看 Judge 分数:前两层挂了,Judge 分数没有意义。 3. 不许把规则堆进主 Prompt:规则按失败模式分文件,评估报告要能定位到具体文件。 --- 一句话收尾 生成 Skill 决定“能不能做”,评估 Skill 决定“敢不敢用”。 先让评估体系站稳,再让生成器迭代。这样交付的不是一堆“看起来还行”的产出,而是一套可证明、可回归、可交接的 Skill 质量体系。
340
6
DeepSeek 重磅开源的超级 Agent,到底是个啥?
330
7
最近在落地 AI Native 项目,卡在团队资产协同这块,想请教下社区各位有实际落地经验的同学: 我们现在的资产分为三块:项目文档(PRD/ADR/ 运行手册)、Agent Skill(业务技能、执行 SOP、提示词包)、MCP 工具服务定义。 目标是做到:人和多 Agent 共用一套可信资料源,Skill、MCP 配置、项目文档能够版本化、同步、共享、可评审。 目前我们初步方案是用 Git 做底层版本主线: - 文档:Markdown + ADR,带元信息,支持 RAG 检索 - Skill:单技能包目录化,带版本、评估用例、依赖声明 - MCP:项目级声明文件纳入 Git 但实际协作里遇到不少疑问,想参考大家成熟的实践: 1. 大家团队里,文档、Skill、MCP 三者是怎么组织目录和版本管理的?有没有稳定的仓库结构模板? 2. 多人协作时,Skill 的变更评审、灰度升级、依赖管理怎么做?如何避免本地版本不一致、“本地能跑别人不行”? 3. MCP 是统一中心化网关模式,还是大家各自本地启动 + git 同步配置?权限白名单、调用审计这块有什么好方案? 4. 有没有成熟工具链做自动同步(类似 agentmeld /teamai-cli)、变更校验、eval 回归门禁? 5. 文档和 Agent 的打通:哪些文档放进 Git 作为可信真值,哪些放外部知识库,边界怎么划分? 如果有现成的仓库样例、目录规范、团队协作流程,非常希望能分享参考,感谢!
280
8
PHP 被曝两大致命漏洞,请所有程序员抓紧做这件事!
280
9
人工智能前沿部署工程师(FDE) · 概 览 与 方 法 论
270
10
QuireKit 编辑器的 AI-Native 是如何设计的?谈谈我对真正 AI-Native 的理解
250
11
告别“金鱼记忆”:我开发了一款能当“第二大脑”的浏览器 AI 助手
250
12
ARTS 1101: 最长回文串与子序列匹配、一次 URL 请求的来回之旅与如何验证 AI 的交付
230