今天,我在亚马逊re:MARS 2022活动上向观众讲述了我的团队如何使用计算机视觉和机器学习为客户提供更简单、更快速的店内购物体验。我对我们在技术服务中使用人工智能(AI)的方式感到兴奋,包括Just Walk Out技术、Amazon One和Amazon Dash Cart,我想分享我演讲中最重要的四个要点。
人工智能正在改善物理空间中的客户体验。
今天,我在亚马逊re:MARS 2022活动上向观众讲述了我的团队如何使用计算机视觉和机器学习为客户提供更简单、更快速的店内购物体验。我对我们在技术服务中使用人工智能(AI)的方式感到兴奋,包括Just Walk Out技术、Amazon One和Amazon Dash Cart,我想分享我演讲中最重要的四个要点。
-
1.我们将继续发展、改进和构建新的机器学习算法由于我们在所有实体零售技术中都使用了计算机视觉算法,因此推动这一领域的前沿技术对我们来说一直很重要。以Just Walk Out技术为例,该技术允许购物者在许多亚马逊商店、全食超市(Whole Foods Market)和几家第三方零售商商店跳过收银台排队,从而节省时间。我们在各个层面都在不断创新,包括传感器、光学和机器视觉算法。因此,我们减少了Just Walk Out技术商店所需的摄像头数量,使它们更具成本效益,更小,并能够在本地运行深度网络。我们的传感器和算法已经发展到可以在大型杂货店中检测各种产品和购物行为的差异,同时确保轻松的客户体验。当我们向第三方零售商部署Just Walk Out技术时,我们还增加了算法必须考虑的环境多样性。
同样地,当我们的团队开发亚马逊Dash Cart时,这是一款智能购物车,可以帮助我们在美国的许多亚马逊生鲜店跳过收银台排队,他们开发了一套强大的计算机视觉和传感器融合算法来检测运动中的物品,包括准确捕捉重量和数量。机器视觉算法也有严格的延迟预算,因为我们实时跟踪客户的收据。
在Amazon Style,我们的实体服装店为顾客提供个性化、便捷的购物体验,让他们以优惠的价格找到自己喜欢的款式。我们建立了新的技术和算法,让顾客轻松获得这种体验。我们的算法使用客户提供的信息——无论是他们在我们的风格调查中输入的细节,还是他们在商店里购物时扫描的商品——来构建一套多样化的推荐商品,在与他们当前选择的相似度与多样化的选项之间取得平衡。该系统还会生成互补的选择,比如一件衬衫可以搭配一条牛仔裤,从而形成一套完整的服装。我们竭尽全力保持购物的乐趣,同时通过机器学习算法提升体验。
-
2.我们使用合成数据来支持我们的算法当我的团队开始为客户重新想象店内购物体验时,我们面临的一个挑战是为我们的人工智能模型获取不同的训练数据,以确保高精度。为了应对这一挑战,我们的研究团队构建了数百万套合成数据——机器生成的逼真数据——以帮助构建和完善我们的算法,并提供无缝的客户体验。结合真实数据和合成数据,使我们能够构建真正强大而智能的算法,以便应对商店中所有类型的场景。
以Just Walk Out技术为例,我们构建了合成数据集来模拟现实购物场景的许多变体。例如,我们使用合成数据来创建光照条件的变化,以解释商店中的阳光差异,我们使用它来创建一群合成字符,以确保我们可以同时处理商店中的许多客户。我们还使用合成数据生成大型杂货店的虚拟模型,以便在扩大规模之前进行测试,所以我们知道,当我们向公众推出Just Walk Out技术时,我们为购物者提供了高度准确的体验。
对于Amazon one来说,这是一种快速、方便、非接触式的方式,让人们可以用手掌进行日常活动,比如在商店付款或进入某个地点,更加轻松。我们需要数据来训练和测试我们的人工智能算法,涵盖人口统计学、年龄组、温度,甚至是手掌特有的老茧和皱纹等变化,以使服务能够正确确定谁的手掌在设备上停留。当我们开始构建Amazon One时,我们很快意识到由手掌和静脉图像组成的公共数据集的可用性有限,无法帮助训练我们的算法。因此,我们的研究科学家进一步推进了现有的最先进技术,构建了大量多样、逼真的合成手掌和静脉图像,以训练我们的AI模型,并为各种各样的用户提供服务。
亚马逊One |亚马逊新闻雷竞技电竞竞彩网 -
3.我们在设计所有技术时都把安全放在首位我们所有的技术服务都是从头开始设计的,以安全为首要考虑,并具有安全的后端基础设施,因此所有数据都遵循亚马逊严格的安全方法。我们的服务还在硬件、软件和云基础设施中内置了多层安全控制,以实现端到端安全。
例如,Just Walk Out技术摄像头是定制的设备,结合了硬件支持的安全功能和本地数据的端到端加密,同时在我们的服务之间发送。亚马逊Dash Cart在物品扫描过程中捕获的图像数据被混淆,然后加密以保护机密性。同时,对于Amazon One,我们在设备硬件中构建了篡改和入侵检测功能,允许我们在检测到任何企图破坏它的企图时使设备无法使用。Amazon One设备在硬件安全区域处理所有生物特征数据,它的构造使它只连接到我们的云服务并将数据发送到我们的云服务,而云服务只接受来自我们设备的数据。
-
4.随着规模的扩大,我们将继续创新自2018年推出Just Walk Out技术以来,我们迅速扩大规模,并推出了新的服务,为客户重新定义店内购物体验。如今,Just Walk Out技术在美国和英国的30多家亚马逊生鲜商店、美国的25多家亚马逊Go商店以及两家Whole Foods Market商店均可使用。亚马逊Dash Cart在许多亚马逊生鲜商店都有售,亚马逊One在美国的部分亚马逊Go、亚马逊生鲜和Whole Foods Market商店都有售
我们已经为十多家美国和英国的第三方门店配备了Just Walk Out技术、Amazon One或两者的组合。像Climate Pledge Arena和TD Garden这样的体育场馆,以及像Hudson和WHSmith这样的旅游零售商,已经为他们的商店提供了我们的技术,使购物者的购物体验更加愉快和高效。除了我们在英国使用Just Walk Out技术的亚马逊生鲜商店外,英国杂货商塞恩斯伯里(Sainsbury’s)还在伦敦开设了SmartShop Pick & Go,一家使用Just Walk Out技术的便利店。
这种规模也有其自身的挑战。例如,在过去的几年里,我们增加了Just Walk Out技术部署的用例的复杂性——从1800平方英尺的Amazon Go商店到40,000平方英尺的全尺寸杂货店——并且必须考虑购物行为的差异。例如,在亚马逊生鲜商店,人们倾向于翻找农产品等商品,而不是从亚马逊生鲜商店购买即食沙拉或三明治。同样,将Just Walk Out技术推广到体育场馆和旅游零售商等第三方零售商,意味着要解决独特的挑战,比如全天候营业,或者举办游戏和活动,让购物者在特定时间同时涌入。所有这些场景都增加了我们算法的复杂性,我的团队继续创新,以满足客户和零售商的要求。
实现我们的愿景
几年前,当我们接受为顾客重新设计店内购物体验的挑战时,我们的愿景是为人类体验引入新的轻松和便利水平,这种体验随着时间的推移基本没有变化。随着我的团队继续构建和扩展新的技术服务,最困难的部分是确保技术退隐到后台,这样当客户来购物时,这是一个无缝的和神奇的体验。看到顾客第一次体验Just Walk Out Shopping、Amazon One和Amazon Dash cart,我仍然很兴奋。
当我回顾我的团队所取得的进展时,我想起了亚马逊的一句话:“永远都是第一天”,对我们来说,实体零售和技术领域仍然是第一天。感觉我们才刚刚开始应对实体零售领域的一些复杂挑战,我很高兴看到团队接下来会做什么,推动人工智能的边界向前发展。
如果你有兴趣了解更多,请收看我完整的“回复火星”主题演讲.