Feature Reading

李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了A

将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。

李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了A
Sports Insight

当前位置

当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。

李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了A

本篇体育资讯由6686体育整理:

编辑|Clio 把一家冰淇淋店交给机器人,需要准备多少东西?

机械臂、灵巧手、摄像头,以及负责感知和决策的模型,构成了看得见的系统。

但在禾赛联合创始人兼 CEO 李一帆看来,要让机器人真正上岗,还要解决一系列与「空间」有关的问题。

在发布会上谈到 Sharpa 与 DQ 的合作时,他列出了团队希望达到的三个目标:尽量不改造原有环境,完成任务的完整闭环,以及承担真正的制作工作。

他介绍道,制作冰淇淋包含五十多个步骤,团队希望机器人能够把整套流程接管。

为了让机器人拿下这套流程,团队先为它准备了一家「数字门店」:将真实门店的布局、设备和操作空间搬进虚拟环境,用于训练。

禾赛表示 ,过去专业团队人工建模还原一家门店需要约 300 个小时,他们的设备约 15 分钟即可完成扫描并生成高度还原的三维训练环境 ;

Sharpa 的失败案例降至原来的十分之一,任务成功率达到 99%。

这也是空间智能正在讨论的问题。

李飞飞将空间智能概括为 AI 在三维空间中感知、推理并行动的能力。

与只回答「看到了什么」的视觉模型相比,它进一步要求 AI 理解物体在哪里、空间的几何关系,以及一个动作发生之后,世界会怎样变化。

那么,一家真实门店,究竟怎样变成机器人可以反复学习的地方?

10 月 14 日,禾赛发布三维世界数据引擎 Kosmo,包括空间相机 Kosmo One 和云平台 Kosmo World。

前者负责采集真实空间,后者进行重建、理解与编辑,并将数据交付给机器人仿真、世界模型和三维创作等工作流。

目前,这套数据也已进入皮克斯相关创作工作流,以及高德的空间展示应用。

视频链接:https://mp.

weixin.

qq.

com/s/5znJv_i5tuiw3kdeDSk4Mw 扫描一家店之后,哪些信息会被留下?

这些信息又如何变成机器人能够使用的训练轨迹?

为什么要专门造一台空间相机?

机器人需要怎样的数字门店?

柜台表面的颜色和纹理,影响视觉识别;

桌沿的位置、设备之间的间隔,关系到接近路径与操作空间;

换一个观察角度之后,杯子是否被设备挡住,又会改变机器人获得的观测。

因此,一个可用于训练的数字环境,需要同时保留外观、几何和空间关系。

专业团队当然可以通过传统 CG 建模完成这件事,但问题在于,真实世界中的门店、工厂和酒店各不相同。

如果每进入一个新场景,都从头开始建模,成本会随着真实世界的复杂程度快速增加。

现场扫描提供了另一条路径:不再先假设一个标准空间,而是直接把具体场所记录下来。

Kosmo One 将激光雷达、影像系统与高精度 IMU 集成在一台设备中。

激光雷达提供空间测量,摄像头记录颜色与纹理,IMU 为设备运动估计提供信息,再通过同步、标定和融合,把不同来源的数据放进统一的空间参照。

毫米级精度意味着什么?

向少卿在发布会上展示了一把网球拍。

他介绍道,球拍网孔约为 5 毫米间距,Kosmo 的定制激光雷达能够清晰呈现这些细小结构。

这个演示让抽象的精度指标有了一个直观参照:当扫描对象从房间轮廓变成细小结构,测量能力会决定哪些细节能够被留下。

影像系统则采用一英寸大底 CMOS,支持最高 8K 拍摄,最终导出文件最高分辨率为 6K。

但在三维重建中,分辨率之外还有另一个问题:多个摄像头拍到的同一个物体,能否保持一致?

向少卿用一块地板来解释这个问题。

扫描者在房间里走动,同一块地板会反复进入不同摄像头的画面。

随着拍摄方向和背景变化,自动曝光、白平衡等处理可能作出不同调整,使同一个表面呈现出不同的亮度和颜色。

这些功能可以改善单张照片的观感,三维重建却需要把多个时刻、多个视角组织起来。

about image

如果同一表面的外观不断变化,纹理还原和视角切换的连续性都会受到影响。

因此,Kosmo 为三维重建定制了 ISP,也就是把影像传感器原始信号处理成图像的系统。

它需要兼顾跨相机、跨时刻的一致性,让不同画面共同描述同一个空间。

几何与影像之间,也需要准确对应。

扫描者走过柜台时,相机拍下一张图像,激光雷达取得一组测量,设备本身还在移动。

系统需要知道这些信息分别来自什么时刻、什么位置,才能让图像里的柜台边缘与空间测量中的边缘对齐。

因此,一台空间相机的完成度,要在整条采集链路中体现:既要取得足够细的几何与视觉信息,也要让这些信息相互配合。

使用过程则需要尽量简单。

向少卿在介绍 Kosmo One 时,特意强调了一个实体按钮和一个屏幕按钮:用户能够完成开机、扫描等操作。

他为这款产品设定的目标,是让空间建模变得像拍照一样容易。

禾赛表示,在普通室内条件下,约 15 分钟可以完成 100 平方米空间的扫描,具体时间随场景结构和采集要求变化。

不过,扫描完成之后,得到的还只是一份空间记录。

接下来的关键,是如何把它加工成能够反复使用的训练资产。

一次扫描,如何变成大量训练轨迹?

采访中,李一帆

更多体育热点,关注6686体育。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
0球0助攻仍评分第1!伊劳拉激活红军大核 他值得续约
0球0助攻仍评分第1!伊劳拉激活红军大核 他值得续约

在英超联赛第7轮中,利物浦在客场以2-1逆转战胜布伦特福德,重新找回了胜利的感觉。比赛开局时,布伦特福德的刘易斯-波特率先为主队破门,但随后利物浦的穆尼奥斯和伊萨克相继进球,完成反超。尽管这两位球员表现出色,赛场上最为闪耀的却是中场球员麦卡利斯特。他在比赛中虽然没有进球和助攻,却凭借全场最高的评分展现了其在比赛中的重要性。 麦卡利斯特在上赛季的表现相对低迷,原因可能与缺席季前备战以及教练的战术安排

红薯被注意!研究发现:吃得越多,血栓者寿命可能越长?真的吗?
红薯被注意!研究发现:吃得越多,血栓者寿命可能越长?真的吗?

一个红薯,最近被不少血栓患者盯上, 有研究说,吃得越多,寿命可能越长。 信的人已经把 主食全换成它,顿顿不离 ,可 红薯吃对了是帮手,吃错了,血糖、血钾、肠胃全要出问题。 尤其是正在吃华法林的人, 有些吃法还会悄悄干扰药效 ,红薯和血栓之间,到底藏着什么关系?哪些人能吃, 哪些人越吃越危险? 真相,别被传言误导 红薯本身不具备溶解血栓的能力, 吃得越多,寿命就越长的结论,其实有些站不住脚 ,相关研

特斯拉新车官宣:10月17日,即将上市
特斯拉新车官宣:10月17日,即将上市

10月17日消息,特斯拉第二代Roadster在中国官网开放Performance版本预订,预订意向金为33.2万元。这个金额对应预订,并非整车售价。北京时间10月16日上午,新车在全球发布活动中亮相,公路版和带推进器的版本同时公布,不过国内目前可选的只有Performance。 中国预订页面对Performance的描述是两座布局,配备主动空气动力学系统和多模式吸气系统,定位于公共道路驾驶。页面

谁是第一个?太阳报盘点英超主帅下课热门:卡里克赔率仅7/4
谁是第一个?太阳报盘点英超主帅下课热门:卡里克赔率仅7/4

直播吧10月19日讯 英超第7轮比赛已经基本结束了全部的争夺,暂时还没有主帅下课。但是,这样的平静预计不会持续太久。《太阳报》盘点了英超下课热门主帅,卡里克、德泽尔比在列。 萨热 在水晶宫以0-5惨败给宿敌布莱顿后,这位水晶宫主帅看起来极有可能成为本赛季第一个下课的人。水晶宫本赛季已经输掉了4场比赛,虽然萨热在下课赔率上暂落后于卡里克,但他在赛后的表态并未展现出留任的信心。 当被问及是否会获得更多

不知不觉,火箭阵容一优势已领先全联盟,可以向冠军发起冲击了!
不知不觉,火箭阵容一优势已领先全联盟,可以向冠军发起冲击了!

北京时间10月21日,火箭队的季前赛刚打完,很多人已经坐不住了。 因为这支队伍,不是单纯赢了几场球,而是把“像样”和“吓人”同时打出来了。 以前的火箭,问题总是很直白:年轻、冲劲足,但关键时刻容易掉链子。 可这一次不一样,像老话说的那样,麻雀虽小,五脏俱全。 三场季前赛看下来,火箭队给人的感觉就俩字:稳了。 可一支球队真有那么快就脱胎换骨吗?还是说,这只是赛前热闹,真到常规赛又得现原形? 第一场打