解决机器人“叠被子困境”,杭州六小龙群核科技开源空间理解模型

admin 2025-03-19 阅读:14 评论:0
澎湃新闻记者 李晶昀 AI 创意,“杭州六小龙”企业之一群核科技3月19日宣布,公司自主研发的空间理解模型SpatialLM正式开源。该模型能够基于从视频中提取的点云数据,准确认知和理解其中的结构化场景信息,并将它以脚本语言的形式呈现出来。...
澎湃新闻记者 李晶昀 AI 创意,“杭州六小龙”企业之一群核科技3月19日宣布,公司自主研发的空间理解模型SpatialLM正式开源。该模型能够基于从视频中提取的点云数据,准确认知和理解其中的结构化场景信息,并将它以脚本语言的形式呈现出来。,“就像我们环顾四周环境便可以理解背后的空间结构一样。”群核科技如此比喻。具体运行中,可以简单理解,给SpatialLM“刷”一段视频,它便能生成物理正确的3D场景布局。,据介绍,该模型特点之一是更通用的数据输入模式。SpatialLM无须借助智能穿戴设备作为传感器输入数据,手机、相机所拍摄的视频均可以成为数据来源,大大降低了开发者的数据采集门槛。,其次是物理正确的场景创建能力。空间场景是否符合物理正确原则,是影响机器人空间理解效果的关键。,SpatialLM 基于视频重建的3D结构化场景,群核科技称,这得益于公司在过去十余年中积累了海量的3D数据和空间认知数据。该公司由黄晓煌、陈航、朱皓于2011年联合创办,主要以空间设计软件市场为目标。旗下产品包含空间设计软件酷家乐、海外版产品Coohom,以及为AIGC、具身人工智能、AR/VR、机器人等提供虚拟环境训练的群核空间智能平台SpatialVerse。,根据弗若斯特沙利文的资料,按2023年的平均月活跃用户(MAU)数目计量,群核科技是全球最大的空间设计平台;按2023年的收入计量,公司亦是中国最大的空间设计软件提供商,约占22.2%的市场份额。2024年,群核科技的平均月活跃访客数为8630万名。,群核科技方面表示,SpatialLM突破了大语言模型对物理世界几何与空间关系的理解局限,让机器具备空间认知与推理能力,为具身智能等相关领域提供空间理解基础训练框架。,值得一提的是,群核科技去年已发布群核空间智能解决方案(下称“SpatialVerse”),SpatialVerse主要通过合成数据方案为机器人搭建起接近物理真实的“数字道场”,帮助它们在仿真环境下完成例如叠被子、递送水杯、开关冰箱门等行动的交互训练。,群核科技称,有了SpatialLM模型和SpatialVerse,机器人将获得从认知理解到行动交互的完整闭环训练,也就是既能“看懂”世界,又能学会行动决策,进而在真实世界里顺利“上岗”。,实际上,去年12月,群核科技联合创始人兼董事长黄晓煌在一次公开演讲中即提到,当我们谈到具身智能或者机器人的时候,“叠被子困境”是一个非常典型的场景。,“目前的 ChatGPT 大语言模型,可以很容易地让机器人理解人类的指令,‘给我叠一个被子’,它也可以通过视觉判断哪床被子是叠好的、哪床被子没叠好,但它很难执行。或者当它学会叠一床被子后,换个形状可能就又不会了。”黄晓煌指出,“机器人的大脑在数字世界里,但身体却在物理世界中。”,而如何让机器人正确理解物理世界,黄晓煌认为关键是要有海量可交互的三维数据。,群核科技最新也提及,开源仅仅是一个起点。“具身智能正处在爆发式发展的新阶段,我们希望以空间模型和数据开源为契机,让更多具身智能从业者有机会参与二次创新,共同推动产业技术底座持续进化。”,此外值得关注的是,今年的2月14日,群核科技已正式向港交所递交上市申请,也是“杭州六小龙”中首家启动IPO进程的公司。,成立至今,该公司已获得包括IDG资本、纪源资本、顺为资本、云启资本、经纬创投、线性资本、Hearst、Pavillion、高瓴创投、Coatue等多家机构投资。IPO前,IDG资本、纪源资本、高瓴创投均持有群核科技超10%的股份。,

解决机器人“叠被子困境”,杭州六小龙群核科技开源空间理解模型

2025-03-19 18:44:00 来源:澎湃新闻

澎湃新闻记者 李晶昀 AI 创意

“杭州六小龙”企业之一群核科技3月19日宣布,公司自主研发的空间理解模型SpatialLM正式开源。该模型能够基于从视频中提取的点云数据,准确认知和理解其中的结构化场景信息,并将它以脚本语言的形式呈现出来。

“就像我们环顾四周环境便可以理解背后的空间结构一样。”群核科技如此比喻。具体运行中,可以简单理解,给SpatialLM“刷”一段视频,它便能生成物理正确的3D场景布局。

据介绍,该模型特点之一是更通用的数据输入模式。SpatialLM无须借助智能穿戴设备作为传感器输入数据,手机、相机所拍摄的视频均可以成为数据来源,大大降低了开发者的数据采集门槛。

其次是物理正确的场景创建能力。空间场景是否符合物理正确原则,是影响机器人空间理解效果的关键。

SpatialLM 基于视频重建的3D结构化场景

群核科技称,这得益于公司在过去十余年中积累了海量的3D数据和空间认知数据。该公司由黄晓煌、陈航、朱皓于2011年联合创办,主要以空间设计软件市场为目标。旗下产品包含空间设计软件酷家乐、海外版产品Coohom,以及为AIGC、具身人工智能、AR/VR、机器人等提供虚拟环境训练的群核空间智能平台SpatialVerse。

根据弗若斯特沙利文的资料,按2023年的平均月活跃用户(MAU)数目计量,群核科技是全球最大的空间设计平台;按2023年的收入计量,公司亦是中国最大的空间设计软件提供商,约占22.2%的市场份额。2024年,群核科技的平均月活跃访客数为8630万名。

群核科技方面表示,SpatialLM突破了大语言模型对物理世界几何与空间关系的理解局限,让机器具备空间认知与推理能力,为具身智能等相关领域提供空间理解基础训练框架。

值得一提的是,群核科技去年已发布群核空间智能解决方案(下称“SpatialVerse”),SpatialVerse主要通过合成数据方案为机器人搭建起接近物理真实的“数字道场”,帮助它们在仿真环境下完成例如叠被子、递送水杯、开关冰箱门等行动的交互训练。

群核科技称,有了SpatialLM模型和SpatialVerse,机器人将获得从认知理解到行动交互的完整闭环训练,也就是既能“看懂”世界,又能学会行动决策,进而在真实世界里顺利“上岗”。

实际上,去年12月,群核科技联合创始人兼董事长黄晓煌在一次公开演讲中即提到,当我们谈到具身智能或者机器人的时候,“叠被子困境”是一个非常典型的场景。

“目前的 ChatGPT 大语言模型,可以很容易地让机器人理解人类的指令,‘给我叠一个被子’,它也可以通过视觉判断哪床被子是叠好的、哪床被子没叠好,但它很难执行。或者当它学会叠一床被子后,换个形状可能就又不会了。”黄晓煌指出,“机器人的大脑在数字世界里,但身体却在物理世界中。”

而如何让机器人正确理解物理世界,黄晓煌认为关键是要有海量可交互的三维数据。

群核科技最新也提及,开源仅仅是一个起点。“具身智能正处在爆发式发展的新阶段,我们希望以空间模型和数据开源为契机,让更多具身智能从业者有机会参与二次创新,共同推动产业技术底座持续进化。”

此外值得关注的是,今年的2月14日,群核科技已正式向港交所递交上市申请,也是“杭州六小龙”中首家启动IPO进程的公司。

成立至今,该公司已获得包括IDG资本、纪源资本、顺为资本、云启资本、经纬创投、线性资本、Hearst、Pavillion、高瓴创投、Coatue等多家机构投资。IPO前,IDG资本、纪源资本、高瓴创投均持有群核科技超10%的股份。

版权声明

本站属个体站点,非官方网站。本站的文章内容由系统自动采集,不保证其真实性,敬请自行核实广告和内容真实性,并请谨慎使用。本站和本人不承担由此产生的一切法律后果!

分享:

扫一扫在手机阅读、分享本文

热门文章
  • ipad阅读模式怎么关闭(分享ipad快捷键应用技巧大全)

    ipad阅读模式怎么关闭(分享ipad快捷键应用技巧大全)
    IT之家讯 11月18日消息 iPad Pro是苹果目前为止推出的性能最强劲的一款iPad,初衷肯定是不想iPad沦为评论家口中的玩具级产品,而是能够用来进行更多工作的利器,苹果似乎对iPad Pro在工作场景下的应用和打开企业级市场很有信心,连库克也曾抛出iPad Pro取代PC的言论,这里先不论该言论的合理性,单凭这句话,对于那些已经购买了iPad Pro的用户,如果不能在工作中用上这款产品而是继续将其用在生活娱乐方面,岂不是有些辜负了自己掏出去的银子? 然而我们知道,...
  • 呵护你的阿富汗猎犬:全面照料指南

    呵护你的阿富汗猎犬:全面照料指南
    导言 阿富汗猎犬是一種優雅而優雅的犬種,以其令人驚嘆的長毛和敏銳的目光而聞名。這種古老的犬種起源於阿富汗斯坦山區,最初被培養成狩獵和保護犬。今天,阿富汗獵犬因其忠誠、獨立和優雅而備受推崇,成為許多家庭的忠實伴侶。 呵護阿富汗獵犬需要全面了解其獨特的需要。本指南將涵蓋阿富汗獵犬照料的方方面面,從飲食和美容到健康和訓練。遵循這些建議,你可以確保你的阿富汗獵犬過著健康、快樂和充實的生活。 饮食 阿富汗猎犬需要一种均衡而有营养的饮食,以保持其健康和活力。高...
  • 与猎狐梗共舞:饲养和训练这个活跃品种的全面指南

    与猎狐梗共舞:饲养和训练这个活跃品种的全面指南
    与猎狐梗共舞:饲养和训练这个活跃品种的全面指南 简介猎狐梗是一种精力充沛、好奇心旺盛的犬种,以其独特的个性和令人惊叹的外形而闻名。如果您正在考虑饲养这种迷人且要求较高的犬种,本指南将为您提供全面了解,帮助您做出明智的决定并为这只活跃的朋友提供最佳的生活。猎狐梗历史猎狐梗起源于19世纪的英国,最初被培育为猎兔犬。他们的敏锐嗅觉、强壮的体力以及无畏的精神使他们成为优秀的工作犬。随着时间的推移,猎狐梗被发展为多种类型,包括线毛猎狐梗、刚毛猎狐梗和光滑猎狐梗。猎狐梗品种猎狐梗有三种主...
  • 大麦町狗狗的欢乐时光:斑点狗的生活点滴分享

    大麦町狗狗的欢乐时光:斑点狗的生活点滴分享
    什么是大麦町狗狗? 大麦町是一种中型犬,以其独特的斑点花纹而闻名。它们性格开朗、活泼友好,是优秀的家庭宠物。 大麦町狗狗的特点 斑点花纹:大麦町狗狗最显着的特征是它们的斑点花纹,颜色从黑色到棕色不等。 开朗的性格:大麦町狗狗性格开朗、充满活力,喜欢与人互动。 友善:它们对人和其他动物都非常友善,是优秀的家庭宠物。 运动型:大麦町狗狗需要大量的运动,每天至少需要 60 分钟的运动时间。 可能存在某些健康问题,...
  • excel没保存关闭了怎么恢复,快速恢复excel未保存文件的方法

    excel没保存关闭了怎么恢复,快速恢复excel未保存文件的方法
    小伙伴们,你的电脑有没有突然蓝屏、断电;或者表格闪退,文件未保存就关闭的现象出现。 如果有,那么如何恢复呢? 1、选择文件菜单下的选项菜单 首先我们应该把你的表格这样设置一下,在表头找到“文件”中选择“选项”,如下图: 文件选项 2、设置自动恢复文件时间间隔 当然恢复的前提是Excel是可以自动保存的,打开“选项”后点击“保存”,把“保存自动恢复信息的时间间隔”设置为1分钟,确定。如下图: 设置自动恢复时间间隔 3、记住自动恢复文件保存路径 然后可以手动测试...