北京时间10月14日,在美股和港股双重上市的禾赛科技正式推出其战略级新品——三维世界数据引擎Kosmo。这款产品由两部分构成:硬件是全球首款8K超高清AI空间相机Kosmo One,云平台则是AI驱动的Kosmo World。

Kosmo被禾赛视为公司从激光雷达领域迈向物理AI核心基础设施的关键一步,也是其在已做到全球第一的激光雷达市场之外,开辟第二增长曲线的核心产品。

深入了解Kosmo One的能力后,人们对Kosmo的兴趣会进一步增长。禾赛方面表示,目前尚不确定Kosmo能进入多少行业,但哪些行业或个人会拒绝影视级的三维世界数据呢?人类始终在追求更真实地记录、还原和展示这个真实世界,而Kosmo One正是人类为实现这一追求推出的最新产品。

今年4月首次接触Kosmo One这一产品概念时,曾有人判断它会与大疆的热门单品Osmo Pocket 3竞争。但如今,在充分了解Kosmo构建和还原三维世界的能力后,结合人类对真实记录、还原和展示世界的持续需求,Kosmo One对禾赛乃至全球的影响,预计将远超Pocket 3对大疆和世界的影响。

一、Kosmo具备哪些能力?

以下解读非常硬核。

首先,此次发布的硬件Kosmo One,是一款8K超高清AI空间相机,其核心功能是将真实世界数据化,转化为数据资产。

Kosmo One集成了具备空间解析能力的激光雷达、8K高清影像系统、一英寸CMOS大底以及高精度IMU,能够对空间几何、色彩、纹理和设备姿态进行微秒级同步采集。结合3DGS(3D Gaussian Splatting)重建技术和专用ISP调教系统,它可以输出毫米级几何精度与8K影像级画质。

使用上也极为便捷,即开即扫、智能指引与一键续扫三大功能大幅降低了空间采集的门槛。过去需要专业培训人员操作,现在普通人无需培训即可完成采集。

Kosmo One采集的三维世界数据,配合Kosmo World这一站式3D内容创作和管理云平台,能迅速将采集数据转化为AI可理解、可交互、可训练的智能空间——这就是Kosmo的核心能力。

为此,禾赛专门开发了原生3D空间重建与理解系统KSC(Kosmo Spatial Core)。这一系统能够一次重建即同步生成3DGS、mesh和depth三种形态的三维数据。

原生AIGC能力则让Kosmo One采集构建的数字空间更加完整:未被扫描的区域可自动补全,材质与纹理能智能识别重建,多视角信息无缝融合,最终生成完整、连贯、可自由漫游的三维场景。

借助AI驱动的3D语义分割,场景中的每个物体都能被独立识别与定义,从静态三维模型变为具备语义信息与操作属性、可被物理AI理解的空间对象——真实世界由此转化为面向具身智能训练的sim-ready数据。

云平台Kosmo World则能将数字化的真实世界转变为高质量三维空间数据。目前,对高质量三维空间数据需求最迫切的,正是当下最火爆、最前沿的具身智能和世界模型领域。在AI时代,拥有更多数据意味着能训练出更好的模型和产品。

当然,除了具身智能和世界模型,还有众多领域需要高质量三维数据,例如影视媒体、文旅文博、空间商业化等。

除了行业需求,Kosmo还能为个人提供真实记录三维世界、创作身临其境体验的能力。这让人想起大疆当年推出消费级无人机时,方便个人开启上帝视角记录生活和旅行的场景。

从这个角度看,也印证了之前的判断:Kosmo One对禾赛乃至世界的影响,将远超Pocket 3对大疆和世界的影响。

二、为什么是禾赛推出Kosmo?

原因在于市场有需求,同时禾赛具备相应的底层技术能力。

从需求端看,禾赛表示,在研发激光雷达时,许多行业应用需要更高精度的激光雷达,精度从厘米级到毫米级甚至更高。他们发现,绝大多数应用都是将激光雷达与摄像头融合后,用于不同垂直场景。

例如,曾因逼真和体验火爆全网的《黑神话·悟空》,用于扫描庙宇、佛像等真实场景设备的骨架,使用的就是禾赛的产品。

这些垂直场景还包括广义的测绘行业、机器人数据训练,以及建筑、游戏行业等。这些不同场景的玩家使用禾赛的激光雷达与摄像头融合,但由于需求不同,融合效果和产品质量参差不齐。

禾赛看到了这一机会,希望打造一款超高集成度、具有“苹果产品质感”的产品,为不同垂直行业提供完成度高、功能完整的产品。

从这些需求的底层来看,都源于人类对真实记录、还原和展示世界的追求。

而真实世界是三维立体的,激光雷达是一种三维感知传感器。禾赛成立12年来,已成长为全球顶尖的激光雷达底层技术企业。其最新推出的6D激光雷达,正是这种底层技术能力的最新展示。所谓“6D”是一个巧妙的命名,代表空间的三维维度XYZ,以及RGC色彩的三个参数Red、Green和Blue,两者相加共六个参数,因此得名。

当然,这样的6D激光雷达并非一蹴而就,而是禾赛成立12年来艰难摸索的结果。回顾禾赛的发展历程:团队2013年在硅谷起步,2014年上海注册落地,2015年进军车载激光雷达。

激光雷达的大规模商业化,首先出现在自动驾驶领域。

这一波自动驾驶商业化的开端是2009年谷歌自动驾驶项目,其最大特点是使用了Velodyne HDL-64E的64线机械激光雷达,安装在改装的丰田普锐斯上进行路测。

当时,激光雷达价格堪比豪华汽车,售价超过10万美元,体积巨大,顶在车顶像一口锅,且64线的空间感知能力有限。

值得一提的是,禾赛成立的2014年,谷歌也因外购Velodyne激光雷达成本过高而启动自研。当时激光雷达行业群雄逐鹿,既有谷歌这样的甲方自研,也有Velodyne这样的车载激光雷达鼻祖,以及禾赛这样的初创团队。

经过超过10年的发展,禾赛在商业化上成为激光雷达全球出货量最大的公司,在乘用车ADAS和Robotaxi两大市场市占率全球第一;在技术上,经历了激光雷达从机械到固态的芯片化发展全路径,构建了光机电软硬一体设计、自研芯片、超大规模精密制造的全栈能力,为Kosmo这类创新性将激光雷达和摄像头融合的空间相机的诞生打下了最牢固的技术基础。

三、Kosmo的商业规模有多大?

目前,禾赛为Kosmo设想了三种商业模式:1、最底层的是卖硬件;2、其次是卖云服务;3、最后是卖数据资产。

这三种商业模式对应完全不同的市场:硬件有硬件的市场规模,云服务有云服务的市场规模,数据资产有数据资产的市场规模。

其中,硬件和云服务是禾赛目前已在做的商业模式。

至于数据资产,则是一个全新市场。禾赛认为,它至少需要3-5年才能建成,因为数据资产需要各行各业的数据才能形成,而这需要一个个售出的Kosmo One去采集,以及Kosmo World云平台进行一站式创作和管理。

禾赛对Kosmo的商业设想很大,但落地仍率先瞄准了当前最重要、也是行业最刚需的具身智能训练数据需求市场。

具身智能对数据的渴望,比大语言模型和图像模型更多、更立体。与大语言模型和图像模型可通过互联网便捷获取海量数据不同,具身智能行业的数据仍需采集和生产,这也催生了具身智能数采中心这一新业态。

然而,在具身智能领域,训练数据存在“数据假”、“交互假”、“空间不精准”三大痛点。KSC系统输出的3DGS、mesh和depth三种形态数据,可以分别解决这些痛点:3DGS细腻还原外观,解决“画面假”;mesh加速可交互物体的拆分与建模,解决“交互假”;depth提供真实空间距离信息,解决“空间不精准”。

3DGS、mesh、depth三大数据来自同一场景,彼此时空对齐,让机器人看到的、抓到的和测到的是同一个世界。

在实际应用中,Kosmo生产的数据还可针对目标机器人的相机特性进行视觉适配,让机器人在“自己眼中”的世界里训练,进一步缩小仿真环境与真实世界的差距。这套能力覆盖了具身智能从预训练到后训练再到测评部署的全流程。

目前,Kosmo已在Sharpa机器人和DQ冰淇淋门店中实现真实部署。过去,人工建模还原一家门店需要专业团队投入约300个小时,而Kosmo仅需约15分钟即可完成扫描并高度还原三维训练环境。Sharpa机器人迅速将任务成功率提升至99%,最终在DQ门店上岗作业。

除了具身智能,当前爆火的世界模型领域也对真实数据有着海量需求。简单理解,世界模型就是真实物理世界的模型。行业共识是,只有更多、更逼真的真实数据,才能训练出更好的世界模型。

因此,真实世界数据成为整个行业最刚需、也最稀缺的基础需求。

Kosmo提供的1:1还原、几何精准的真实世界三维数据,连同精确的相机位姿、深度信息与多视角对应关系,成为世界模型理解物理规律的“真实坐标”。基于同一个三维空间,还能自动生成上万条训练轨迹,使高质量真实世界数据的获取效率提升100倍以上。

这让Kosmo有机会成为每一家世界模型公司身后的数据底座。为此,禾赛致力于构建开放空间智能生态,让真实世界数据连接AI与3D应用。禾赛李一凡还透露,手里还有好几个产品线尚未发布,都是行业基础设施相关的。

除了上述新兴的具身智能和世界模型领域,Kosmo还在影视媒体、文旅文博、空间商业化等领域拓展业务边界。

在空间商业化方面,Kosmo能将目前导航到一家店的二维地图位置导航,提升到导航到一件商品具体位置的三维空间导航服务,帮助消费者迅速找到所需购买商品的位置。目前,禾赛已与高德达成战略合作,首批三维重建的重美术馆、偏锋画廊已上线高德扫街榜“飞行街景”。

四、人手一台Kosmo的愿景实现路径

Kosmo在影视媒体的应用,更是让禾赛“人手一台Kosmo”的愿景走进现实的关键一步。

在影视媒体领域,Kosmo生成的3D内容场景中的一草一木都是可互动、可编辑、可反复调用的3D数字资产,能大大降低传统影视创作全流程的成本和时间。

在前期预演阶段,勘景成本有望从前期预算的30%下降至5%,并能迅速进入UE等主流制造管线;在拍摄阶段,可直接服务于LED虚拟制作与绿幕流程。以往1万平米的欧洲街景实景搭建需2个月,现在用Kosmo扫描、重建加编辑只需1周,成本节约最高可达80%;在后期阶段,Kosmo拍摄扫描的内容——一草一木、一人一狗等万物皆可互动、可编辑,光纤可调,补拍可直接调用,大大提升了影视制作的成本和便利性。

目前,Kosmo已获得制作出《玩具总动员》、《侏罗纪公园》等作品的皮克斯旗下工业级渲染器RenderMan在内的全球顶尖影视公司的采用。通过将Kosmo生成的3DGS数据直接接入RenderMan的渲染管道,可在专业渲染软件中对真实世界数据实现影视级的风格化控制,并能从真实空间中自由提取几乎一切元素作为创作素材。

近期,皮克斯还将这一工作流做成官方教程,向全球创作者开源。RenderMan将Kosmo重建的真实世界带入全球顶级影视作品,Kosmo正在成为影视级3DGS的标准定义者。

在AI影视工业化方向,Kosmo与跃墨工作室合作,以真实空间替代AI生产的虚拟空间,大幅节省Token消耗的同时提升运镜效果与画面表现力。创作团队从真实世界提取可考究的三维数据作为高光镜头的基底,结合AI完成人物导入与渲染,使成品既保有真实质感,也提升了AI影视的制作效率。

对于个人内容创作者来说,一旦拥有一台Kosmo,就能获得比肩顶级影视作品的能力,更重要的是所花费的时间也大为缩减,这极具吸引力。

目前横亘在个人消费者面前的两个问题是:一是Kosmo如香槟瓶般大小的体积;二是相对大疆Pocket 3等现象级手持相机高一到两个数量级的成本。

按照禾赛的设想,未来Kosmo能成为放进每个人口袋的相机,成为人手一台的消费品。

这就需要禾赛的研发团队努力提升Kosmo的性能、降低其生产成本。一旦实现,这个市场将极为巨大,个人内容创作也将迎来井喷发展,或许会诞生新的交互方式、新的社交方式等。

记录、还原和展示真实世界的未来,非常值得期待。

从见证禾赛死磕车载激光雷达11年、打穿车载市场做到全球第一,到现在推出Kosmo这款打开未来的产品,标志着禾赛进入新的产品爆发周期。禾赛亲手创造了成立12年以来的全新爆发机会,拥有这样创造能力的禾赛,未来也值得期待。

一旦实现,禾赛的市值将再上一个台阶,或许是两个台阶。从目前的百亿级,上到千亿级,甚至更高。毕竟,禾赛的野心在于数据资产,数据资产的价值肯定很值钱,但现在谁也说不清值多少钱。

本文来自微信公众号“车智”(ID:invehc),作者:Michael Yuan,36氪经授权发布。开云体育地址作为行业信息平台,持续关注此类前沿技术动态。