15年前,电影《阿凡达》在全球院线D电影的技术奇迹,为观众带来了媒体历史上最为沉浸式的观影体验,该片也以全球票房约29亿美元的成绩,位列全球影史票房成绩第一名。
但是电影上映后不久,美国有线电视新闻网(CNN)报道了一种奇特的现象,部分人称之为后《阿凡达》抑郁症(post-Avatar depression syndrome)。由于影片的沉浸式体验过于强烈,一些观众在离开影院时,都表示感受到了一种空虚,仿佛还置身于潘多拉星球。
甚至有一位影迷在论坛上发帖表示,“自从看完《阿凡达》之后,我就一直很沮丧。看着奇妙的潘多拉星球和那美克星人,我想成为他们中的一员。我甚至开始考虑自杀,我觉得如果我死后会在潘多拉星球上重生,就像阿凡达那样。”可怕的是在这个帖子下,居然有1000多条网友回复,他们都抱有类似的想法。
白驹过隙,随着Meta、HTC和索尼等公司虚拟现实VR产品获得初步成功,混合现实MR体验逐渐普及,许多产品的用户也出现了类似现象。体验越加真实,当用户摘下头显时,反而感到愈发不适。
1月19日,苹果Vision Pro正式发售,售价25000元起,备受瞩目。然而,这款产品在发售之初便迅速售罄,乃至引发抢购热潮。
在京东平台,Vision Pro价格飙升三倍之多,达到了惊人的89999元。可见大家都很想体验下库克(cook)厨子口中的“One more thing”的超强混合现实体验。
除此混合现实之外,随着ChatGPT为代表的AI大模型的兴起,硬件设备与AI的深层次地融合,成为了另一条备受期待的发展路径,AI+硬件,又是否会在2024年给我们大家带来惊喜呢?
这几年苹果对自家消费级硬件的更新,每年的发布会什么样大家也都看在眼里。虽说每一代都有令人“Amazing”的提升,但也逃脱不了“挤牙膏”、“刀法精准”、“就这?”等负面评价。
大体从iPhone12开始,手机的外观基本定型,每年的iPhone发布部分就总是“三摄镜头模组、芯片SOC、手机操作体验”三件套升级,以至于有的博主已经预测出来明年iPhone16要更新哪些东西了。
外部也在猜测苹果天天“挤牙膏”的原因,有的人说乔帮主一走,苹果真的江郎才尽,“创新已结束”的论调甚嚣尘上;还有一种说法则是,苹果觉得手机的形态已经走到尽头,创新的研发主力已经转移到更加面向未来的项目之中。
如果你对苹果十分关注,你会发现2023年9月iPhone15的苹果发布会亮点相较往年更加少了。但如果你想在发布会中寻找苹果为Vision Pro所做的铺垫,那么其中所蕴含的信息量还是相当大的。
首先,在最新款的Apple Watch中,引入了一款四核神经引擎。为何一款仅限穿戴的设备需配置如此高性能的芯片?原因主要在于手表新增了手势识别功能。通过拇指与食指的简单捏合点击,用户可实现诸如接听、挂断电话、启动或关闭闹钟等控制操作。
然而,我们再来看看Vision Pro的宣传片,是不是交互方式很相似?习惯成自然,用久了Apple watch,再用Vision Pro也就顺理成章了。
再有就是有关于生化危机、刺客信条等大型游戏登录iPhone,甚至在手机上来了一出“原神启动”,这个举动不禁令人质疑:难道苹果也突然关心我们这些臭打游戏的了?
而且在2023年6月的WWDC,苹果把知名游戏制作人小岛秀夫拉到了现场,《死亡搁浅》也放到了苹果Mac上来。
然后苹果还给电脑搞了一个游戏移植工具包,可以让游戏开发者轻松地把其他平台上的游戏在苹果电脑上运行。
要知道这几年,游戏开发所依赖的基础工具已日臻完善且繁杂多样。苹果想打造一款通用型的移植工具,势必得让各类技术工具与苹果Metal图形加速体系实现逐一匹配,这个工程量有多大不言而喻。那么,为何要投入如此巨大的精力,将大型游戏纳入苹果生态呢?
如果我们把视角再扩大一些,就能够正常的看到微软这两年来也对单机游戏产生了浓厚的兴趣。轰轰烈烈的暴雪收购案也在国内受到了广泛关注,这并非偶然,不是游戏产业有多香,而是巨头们为了在下一代个人消费电子终端的竞争中占据先机。
一言以蔽之,巨头们认为下一代的终端很可能是沉浸式的,所以他们必牢牢把握住现今最沉浸的内容生态,也就是大型游戏。
除此之外,苹果还借助混合现实MR普及的趋势,适时地提出了“空间计算”这一概念。
空间计算,我们大家可以简单地理解为把虚拟内容和现实世界,无缝衔接的技术。是包含了计算机视觉、人工智能、混合现实(MR)、虚拟现实(VR)、传感器技术和高级图形处理的一个大的集成。
空间计算设备的技术需求,包括环境感知与交互、混合现实体验、高级图形处理以及自然用户界面等功能,这与手机APP的平面UI设计有着本质区别。
而如今,具备这类技能的人才大多分布在在大型单机游戏公司中。对于新的内容生态来说,人才是最为至关重要的资源。当众多开发者选择使用某一种工具或平台,它就会逐渐形成行业标准和生态系统。
其实早在2015年,为了专注于Vision Pro的开发,苹果公司就成立了一个专门的部门——Vision Products Group(原来叫TDG)。这个小组包括软件和硬件工程、战略、计算机视觉、内容、应用开发和项目管理团队。技术上苹果的铺垫也很多,包括苹果手机的激光雷达功能、AirPods的空间音频和一直更新到的AR kit6,都支持引入4K的视频了。苹果公司还在过去的几年中获得了5000多项专利,推动技术创新和市场拓展上的进步。
现代的个人智能终端,演进方向大多都是更大的屏幕和更直觉的交互,最终目的是让人们接收和处理更多详细的信息。如果沿着这个方向发展,Vision Pro呈现了一种不同于其他终端的全新维度。因为Vision Pro的屏幕尺寸可以视为无限,通过更加直观的手势交互,用户还可以实现手写输入,从而极大地提升了工作效率和便捷性。
这表明了什么?这表明它不仅能在以后颠覆个人移动电子设备,还非常有可能颠覆个人内容消费市场。只要芯片算力持续提升,游戏、电影、电话、文字处理、PPT制作以及网页浏览等所有功能,都可以在这个空间中实现,在你带上Vision Pro之后可以说,全世界都是你的桌面。
苹果并非最早尝试混合现实这一领域的公司,然而显而易见,它的野心是真的很大。
但不管苹果本身的想法如何,终究是要落实到用户的体验上,而大家对于Vision Pro佩戴舒适度的担心,以及对于用户能否接受它那种全新的操作方式的担心,也是不绝于耳。正好我已经买到了Vision Pro,不久之后会给各位带来实机体验,欢迎关注我们的账号。
在过去的十年里,人们对局限于智能手机的世界感到沮丧,如今世界是否已准备好将关注点转向其他硬件领域?针对这样的一个问题,初创公司Humane给出的答案与苹果6 月份通过Vision Pro向世界展示的截然相反——他们要让人们从屏幕中彻底解放出来。
他们给出了硬件的答案——AI Pin。作为初创公司Humane的首款产品,是一款可佩戴在衣物上的人工智能设备。AIPin计划于2024年3月起开始发货。
这个造型,就像2013年的电影《云端情人》里面的智能助手萨曼莎(Samantha)一样。
这款方圆型设备配备了摄像头、麦克风以及深度和运动传感器,以语音控制为核心功能。用户需通过语音唤醒AI并与之交流。激光墨水显示屏是单色的,它能将诸如来电等文本信息实时投射到用户的手掌之上。AIPin的设计理念,在于无需依赖智能手机即可独立使用。
其实早在2023年5月,Humane的创始人Chaudhri发表了一场题为“消失的计算机:Humane无屏技术的独家预览”的TED演讲。他在演讲中表示:“未来,技术将既是环境的,又是情境的,这在某种程度上预示着利用人工智能来真正了解用户及其周围环境,以达到最佳效果。”
我们在之前的视频中,就曾经说过AI pin就像现在的“小王”秘书一般。但是再深入研究一下,我们就能知道它所蕴含的概念性意义——环境计算。
就像硬件光谱的另一个极端一样。环境计算,指的是计算技术在日常环境中无缝融入,以潜移默化的方式为用户所带来智能支持与服务。与空间计算更侧重于空间数据的处理与分析不同,环境计算致力于打造智能、自动化的生活和工作环境。就像小米之家的各项智能家具,虽没屏幕,但是都很智能。
事实上,各种前车之鉴都已表明,智能硬件完全依赖语音交互是很不靠谱的。不说别的,在嘈杂的环境环境中,语音命令的接收和正确识别就是个大问题。
显示部分使用了“激光墨水显示器”来将内容投射到用户的手掌上,虽然颇有几分未来感。但他仅仅是一个分辨率仅720P的单色画面。在如今各类视频图片等内容数量已经极为丰富的情况下,单色显示已经很难使用户得到满足的需求。
最后还有个很现实的问题:如果手机也实现了大模型的无缝接入,那么AIPin的独特的吸引点是什么?难道是不用盯着屏幕吗?
因此在我看来,AI Pin仍可视为偏向概念性的产品,其更适合扮演辅助角色的定位,将各类电子科技类产品相互关联,但短期内尚无法替代手机功能。AI Pin的实际应用价值,确实还需进一步观察。就像科技博主Om Malik(奥姆马利克)所说:
“当iPhone推出时,人们对触摸屏作为界面的概念不乏怀疑。我仍然记得人们对虚拟键盘的强烈抗拒。十五年后,没有人再对智能手机的显而易见感到惊讶。再过几年——得益于人工智能,语音将是我们数字交互现实的一部分。它不会是唯一的方式,但它将是重要的一种方式。”
不论这款产品最终成功与否,就像AIPin 的发布会结束时说的:这只是一个尝试和开始。
顺便说一下,AI Pin的测评我也会在它正式发货之后给大家带来,欢迎关注。
比起硅谷对未来的探索,更为现实的一步,是如何将AI大模型装进现有的智能硬件中。
今年开年,三星就发布了他们的新一代高端旗舰系列新产品三星Galaxy S24 系列。在全新三星Galaxy S24系列手机上,AI功能成为了一大亮点。这款手机深度集成了AI大模型,全面优化了输入、通话、录音、笔记和相机等常用功能。
回看国内,在2023年下半年,手机生产厂商也开始将AI卷进自家系统。先是Mate 60Pro宣布接入盘古大模型,然后是小米的澎湃AI、Vivo的蓝心大模型,OPPO的安第斯大模型……每家手机都在开发并接入大模型。
凭借AI大模型的支持,智能手机不但可以成为用户的个性化数字助手,还可以明显提升对复杂语义和语境的理解能力。手机生产厂商们都有一个设想:都希望自家的手机成为的“私人助理”,每人配一个钢铁侠的“贾维斯”,岂不美哉?
但手机部署大模型到目前为止还有一个无法绕过的问题,那就是大模型的计算成本。
Vivo副总裁周围在蓝心大模型的发布会采访中表示,对于智能手机来说,在终端部署大模型几乎不用考虑成本,但大模型上云的单次成本是可以明确计算的,大约为单次0.012元或0.015元。如果按3亿用户每天使用10次计算,那么一天就要花费至少3600万元,一年就是100多亿元。
所以一个很现实的考虑就是,尽量在手机上(端侧)实现大模型的计算,因为相比之下,端侧计算成本更可控,并且由于数据不用上云,安全隐私性更强,而且计算效率也更高。不过,端侧计算却对手机硬件提出了更高的要求。一般而言,大模型肯定是越大越好,这代表着推理结果会越精确。
但是,硬件的诞生往往是妥协的产物。AI大模型的参数是巨大的,手机的内存、核心处理器的计算能力却是有限的。
1B的数据在手机上会占用1个G的运行内存,而当数据量达到13B,运行内存占用就会超过7G。如今大部分高配置手机的RAM是12G或16G,这在某种程度上预示着一个很好用的大模型要在手机端侧实装,可能占掉大约一半以上的内存,很可能影响手机的流畅使用。
大模型对手机的挑战远远不止内存。大模型计算同样对SOC芯片计算能力提出了更高的要求。当前,行业内可供AI大模型采用的芯片不多,目前也只有联发科天玑9300和高通骁龙8gen 3芯片能支持大模型的端侧落地。
这些大模型对于手机内存和芯片的限定要求,也注定了在短期内,手机端大模型只会是高配置手机的专属体验。
不过,芯片厂商们也敏锐识别了手机生产厂商的诉求。比如,前段时间高通就在骁龙8 gen 3上提升了AI计算能力,不仅能支持运行100亿参数的模型,还针对70亿参数LLM每秒能够生成20个token,这在某种程度上预示着各类虚拟助手、GPT聊天机器人未来都能在手机等终端运行。
而对于大模型能否在手机成为“智能助手”,其实还包括手机隐私数据、用户个人信息能否在AI数据的应用深层次地调用。
例如你想让AI助理帮你买张机票,它就至少要调用你的身份信息,支付信息和日程信息。而这些也是APP应用商手中最敏感的数据,想要让AI能够完全调用各种用户的私人信息,目前还是困难重重。
AI大模型在手机领域的普及仍然进展缓慢,目前的努力只是探索之旅的初步阶段。各大手机生产厂商要想让AI大模型和手机充分融合,成为真正的智能终端,仍有很长的路要走。
混合现实、环境计算、AI手机,我不知道这些人与机器继续共生的探索,到底哪个会成为主流,我们唯一能确定的是,一个全新的时代正在到来。