高通发布第二代骁龙XR2和第一代骁龙AR1能否再次革新产业格局?
2024-02-02 07:59:04软板装配

  原标题:高通发布第二代骁龙XR2和第一代骁龙AR1,能否再次革新产业格局?

  在Meta Connect 2023大会上,伴随着Meta Quest 3和Meta与雷朋联合打造的Ray-Ban Meta智能眼镜正式亮相,高通也正式对外发布了最新的骁龙XR专用平台:第二代骁龙XR2和第一代骁龙AR1。这两款平台也借由Meta的硬件新品实现商业化落地,正式走向消费者。

  芯片作为XR设备的核心,有关技术快速的提升,如今XR设备已不再需要依赖手机处理器。面向虚拟现实(VR)、混合现实(MR)和增强现实(AR)三大领域,高通现已拥有完整的XR专用平台产品组合。

  自2018年高通发布首款XR专用平台第一代骁龙XR1以来,陆续推出第一代骁龙XR2、第一代骁龙XR2+、第一代骁龙AR2平台,获得了全球多家XR品牌的认可,目前已有80+款XR设备是采用了骁龙平台。第二代骁龙XR2和第一代骁龙AR1的问世,将会对行业带来哪些影响?本文将探究高通在XR领域的最新布局。

  第二代骁龙XR2是高通逐步推动VR/MR设备普及而打造的全新XR专用平台,尤其为MR部分提供了更稳定的技术支撑。

  Quest 3在发布之前,行业内已流传了不少曝光信息,随着设备的正式发布,才得以一窥高通在其中发挥的底层技术实力。Quest 3售价499美元,现已接受预定,于10月10日发售。(详细内容可参照VR陀螺文章:《混合现实+AI+智能眼镜!Meta Connect大会打出组合拳》)

  在能效和性能方面,根据高通官方提供的相关参数,第二代骁龙XR2针对单芯片架构进行了大幅优化,其与第一代骁龙XR2相比,GPU性能提升了2.5倍,GPU能效提升了50%,相当于延长VR/MR设备电池续航时间,且不再需要外置电池组,以便帮助OEM厂商打造高性能且价格合理的设备。

  在显示方面,第二代骁龙XR2可支持3K×3K显示,游戏超级分辨率、视觉聚焦渲染、空间扭曲。此处提到三项技术均与游戏显示性能优化有关:

  骁龙游戏超级分辨率,是一项单一通道空间感知超分技术,实现高性能、高质量、低功耗。能够将1080P的游戏画质提升至4K水准,30FPS的画面更是能够呈现出60FPS的效果。

  视觉聚焦渲染,结合摄像头和传感器数据,该技术可支持眼球追踪和虹膜认证,对用户注视的内容做工作负载优化,以帮助降低功耗。

  空间扭曲,可以即时补充缺失帧以提高画面帧率以及流畅性,即便用户的设备性能较低,也能够最终靠该技术降低渲染的计算量,并获得较高的分辨率。

  Meta Connect会上还以即将发售的《阿斯加德之怒2》为例,展示了Quest 3一体机以第二代骁龙XR2为支撑的强大游戏性能。

  以上技术能逐步提升VR/MR内容的色彩和细节,在保持同样的视觉效果的情况下降低功耗,这对开发者来说无疑是一大利好消息。

  高通认为,从可以在一定程度上完成完全沉浸式和数字化的虚拟现实,到物理世界和数字世界无缝融合的混合现实,以及能够在物理空间中叠加虚拟内容的增强现实。这三大XR场景应该是相互连通的,但以现有的XR设备如何让人从感官上获取更真实的虚实融合体验,MR或许是最好的方法。

  如果要在VR/MR头显中体验虚实融合的内容,主要依托VST技术将头显摄像头拍摄到的画面实时传输到屏幕上。

  早期的VST主要使用单色摄像头,完成空间定位和物理识别,大多数都用在安全边界定位和手部追踪,如今在MR领域得到了更出彩的应用,例如刚发布的Quest 3,已发布的Quest Pro、PICO 4,以及未上市的苹果Vision Pro均搭载了全彩摄像头,以尽可能地将现实世界的全貌反映到头显屏幕中。

  从Meta的演示来看,Quest 3的高保真全彩Passthrough可以让用户的物理环境清晰可见,效果更加好,与前代产品不同,Quest 3支持房间扫描,可自动创建安全边界。Meta还表示,Quest 3的像素比Quest 2高出10倍以上。

  高通优化了整个视频透视线ms的视频透视时延。另外,还将通过几何校正、降噪、动态亮度调整等技术,提升视频透视的图像质量。

  在交互方面,高通将并发感知技术分为两个部分,一是环境理解,二是用户理解。

  要实现MR效果,环境理解算法是关键。第二代骁龙XR2最高支持10路并发摄像头和传感器,可准确地完成平面检测、深度估计、3D重建、语义理解、物体识别和追踪,定位墙壁、家具以及其他物品的现实位置。由此开发的人能将虚拟内容放置在用户当前的现实场景,例如用户在MR场景中抛出一个虚拟球,球的运动轨迹能与现实场景进行一定的物理碰撞反馈。

  针对用户理解,第二代骁龙XR2能够同时处理用户头部追踪、眼球追踪、面部表情、手势追踪的运动输入数据,同时对全身运动的感知能力也扩展了手柄追踪、动作追踪的精细程度,甚至支持虚拟形象的编/解码。

  Quest 3还官宣了明年将推出的“Augments”新功能,这是一种能够识别空间的交互式虚拟对象,它可固定于现实环境中。如用户都能够在墙上挂上包含Facebook和Instagram照片/视频的电子相框等。

  但要做到实时检测空间,锚定虚拟3D内容并长期存储,将产生十分庞大的数据量,同时需要消耗大量算力,为此高通提升了XR平台所搭载的高通AI引擎能力,每瓦特性能可提升8倍。

  在高通AI引擎方面,第二代骁龙XR2支持INT8,大幅度的提升了运算效率,同时优化了不同AI模块之间的连接,以实现紧密的协同处理。高通还针对计算机视觉模块做了改进,为第二代骁龙XR2打造了专用模块视觉分析引擎(Engine for Visual Analytics),其中的“Feature detection and tracking”(特征探测和追踪),这项功能会直接在硬件上运行,大幅度的提高6DoF追踪效果。

  具体来说,在第一代骁龙XR2中是通过软件实时运作来实现特征探测和追踪,而在第二代骁龙XR2,这项功能则是在芯片层面通过视觉分析引擎实现,关键点检验测试数量将大幅度的提高,功耗和时延降低。随着训练AI模型的参数逐步增加,对内存容量的挑战难度在增大,高通也一并扩展了终端侧的内存。

  VR/MR设备的数据传输需要保持始终在线的状态,而且还要满足与游戏PC相连的需求, 第二代骁龙XR2支持新一代的Wi-Fi 7和Wi-Fi 6E技术,对使用者真实的体验有着极大改善,对设备之间相互连通、XR内容传输、手机无线连接、实时多频互动、高速上传下载等应用场景带来了直观的效率和稳定能力提升。

  高通面向XR推出的高通FastConnect软件套件也融合到了第二代骁龙XR2中,使Wi-Fi连接功耗降低25%,峰值速度可达5.8Gbps,时延降低80%。通过FastConnect软件套件的支持,还可让用户“即连即用”,保证在使用XR设备时的稳定性,也能在VR/MR场景中改善时延、抖动性等问题。

  高通近年来在AR方面持续投入,三年内陆续推出两款AR眼镜参考设计以及AR专用平台第一代骁龙AR2,并构想了理想化的AR智能眼镜的多个特性:分布式处理、轻便日常、无线连接、智能交互等等。

  现在,搭载第一代骁龙AR1的Ray-Ban Meta智能眼镜已正式对外发布,对于这类智能眼镜,扎克伯格表示:“我认为智能眼镜将成为未来的一个重要平台......之前团队不少人认为智能眼镜只有线D全息图、内置显示器等才会真正普及,但是这需要很长的时间。如今得益于AI的进步,内置的AI助手将能看到你所看到的,听到你所听到的,AI将与其他AR功能同样重要。”

  第一代骁龙AR1将着重围绕日常生活中的场景带来沉浸式互动体验支持,大多分布在在以下几点:即时拍摄、AI能力、可拓展平台、虚拟助手、视觉搜索等。

  第一代骁龙AR1通过拍摄、眼镜侧AI等功能来突出智能眼镜的“解放双手”能力,用户能直接与智能眼镜交互,降低智能眼镜对手机、电脑等终端的操作“依赖”。

  例如拍摄方面,第一代骁龙AR1采用14-bit双ISP(图像信号处理器),14-bit ISP可以在一定程度上完成每秒捕捉27亿像素能力,能满足大部分拍摄需求,支持即时拍摄。且智能手机上常见的功能:自动曝光、自动人脸检测、计算HDR和人像模式,均可在骁龙AR1的智能眼镜中得以体验。

  骁龙AR1有望改变智能眼镜拍摄照片和视频的方式,用户无需举起手机操作,只要抬手就能一键拍出高清照片和视频。FastConnect软件套件也在第一代骁龙AR1得以应用,且支持蓝牙5.2和5.3,实时视频直播、照片快速分享以及音乐串流功能均可实现。

  AI能力在骁龙AR1同样发挥着及其重要的作用,通过计算机视觉辅助提高拍摄照片/视频质量,支持AI辅助的回声消除和降噪,实现更清晰的语音通线支持语音指令,能够最终靠AI将信息具现化,让用户在智能眼镜上看到结合现实情景的信息,随时启用视觉搜索、实时文本翻译以及导航功能,还集成健康传感器,可实时监测和追踪健康及运动数据。利用眼镜侧的AI能力,用户能获得解放双手的完美虚拟助手,这在滑板、骑自行车、做饭等日常生活场景中十分有用。

  骁龙AR1是一款可扩展平台,支持三种不同配置,为OEM厂商带来更多选择:一是以拍摄和音乐功能为核心的智能眼镜;二是以通知提醒和导航功能为核心的单目显示智能眼镜;三是有着非常丰富的视觉效果和更多功能的双目显示智能眼镜。

  Meta展示的Ray-Ban Meta智能眼镜,搭载骁龙AR1。整体外形轻巧精致时尚,与普通的墨镜并无太大差异,可满足全天候佩戴的需求,售价299美元,于10月17日发售。

  此前有数据指出,初代Ray-Ban Stories共计销售了超过30万台,但是设备活跃度一般。可见人们对智能眼镜的需求并不低,将AI+AR结合起来,让智能眼镜渗透生活中的各个角落,便是高通为赋能下一代智能眼镜打造的首个专用平台骁龙AR1的目的。

  从游戏、社交、办公到企业应用,XR技术已渗透到工作生活等各大场景,作为沉浸式体验的重要硬件组成部分,XR设备能在显示和交互方面带来最直接的感官体验,有关技术的快速发展以及客户的真实需求的多样化催生了更个性化的垂直场景探索。

  尽管苹果强调的空间计算概念让更多人看到了XR的可能性和应用前景。但目前XR的普及度并不算高。对普通用户来说,更关注能通过XR看到什么内容,能在虚拟世界做什么。但画质不清晰、流畅度低、眩晕感、交互响应慢和定位不准确等这些“看得见”的显示和交互问题还未解决。

  要实现理想化的XR显示和交互体验还有一段距离,高通作为XR底层供应链上的有突出贡献的公司,正积极布局XR专用芯片、AR专用芯片和相关底层技术,并寻求与更多企业合作推动XR生态搭建来弥补物理世界和虚拟世界的差距。

  有了AI在性能方面的优化支持,高通改善显示难点的第一步是通过算法提升帧率,将游戏超级分辨率、视觉聚焦渲染、空间扭曲这些图像技术应用到XR平台,从而改善XR画面清晰度,提高显示质量和视觉效果。

  另外,VST的显示效果也通过第二代骁龙XR2的几何校正、降噪、动态亮度调整等技术获得改进,全彩视频透视的图像质量得到提升的同时,时延降至12ms(一般来说,时延要在20ms以内才能有效缓解VR眩晕感)。

  凭借高通强大的集成能力,第二代骁龙XR2和第一大骁龙AR1两大平台,结合AI技术逐步提升了XR设备的性能、功耗、视觉效果、交互能力等,并率先成功应用到Quest 3和Ray-Ban智能眼镜。

  高通技术公司副总裁兼XR业务总经理司宏国(Hugo Swart)表示:“目前,VR和MR行业的发展势头非常强劲,游戏、健身、娱乐等消费级应用正在持续不断的发展,此外在企业市场也出现了培训、教育、医疗等应用。在AR领域,面向消费者的沉浸式体验刚刚起步,但我们正真看到已经有大量的企业正在使用丰富的AR应用,包括远程协助、说明/指导、以及通过AR智能眼镜赋能的生产力工具。”

  司宏国肯定了苹果对XR行业的非消极作用,并表示:“高通和苹果的策略不同,他们产品的价格较为昂贵,并且需要采用多个芯片以及外置电池来支持。但是对于广大新老用户来说这可能并不是他们所期待的,而且这样的架构很难确保终端价格是大多数用户都能够负担的。相似的手势识别和追踪功能,高通选择采用更加实用的思路,以将VR和MR体验带到更广阔的市场当中。”

  平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。

Copyright © 2018 BOB电子(中国)官方网站 All Rights Reserved
网站地图 备案信息: 湘ICP备14017517