亚马逊iOS应用如何直播搜索商品?

How do Amazon iOS application live search a product?

我很想知道亚马逊 iOS 应用程序如何允许以实时模式搜索产品:

Demo

该应用大小为 100MB+,这似乎是该应用嵌入了机器学习模型。由于用户的数据成本和使用服务器的延迟,他们在使用实时模式方法的同时将图片数据发送到服务器进行分析似乎也是不可想象的。

在搜索过程中,您可以看到一些代表 shapes/text/surface/closest 对象的点,这是使用 ARKIT 启用的吗?

如果是,它仅用于特征点动画,还是对帮助获得正确的对象有真正的影响?

如果没有,他们是如何做到这一点的,原因是什么?

任何帮助让我看得更清楚一点或寻找新方法的帮助将不胜感激。

对于 AR/VR 用户体验,亚马逊使用 Sumerian。是platform-agnostic。 Sumerian 基于开放网络标准构建,支持 Apple ARKit(针对 iOS 应用)和 Google ARCore(针对Android 和 iOS 应用程序,以及用于开发的网络),这意味着应用程序创建者可以构建一个运行在 Android、iOS、Oculus Go、Oculus Rift、HTC Vive 上的 Sumerian 应用程序, HTC Vive Pro, Google Daydream 和 Lenovo Mirage.

No AR/VR expertise needed! Amazon Sumerian lets anyone create AR/VR applications. You don’t need specialized programming or 3D graphics expertise to get started. You can create, edit, and publish applications with a web browser using the Sumerian editor. Sumerian has a drag-and-drop app editor and 3D object library, its Visual State Machine for scripting complex automated scenes, and went inside the process of creating AI hosts, which you can have full conversations with inside these virtual experiences.

关于您的下一个问题:ARKit 和 ARCore 框架专为使用 6DOF 的相机跟踪而设计。任何 运行 ARSession(无论是在 ARKit 中还是在 ARCore 中)都有一个会话配置 类 来管理跟踪过程的所有内容,包括您在视频中看到的特征点。了解 ARKit 的 ARWorldTrackingConfiguration and ARImageTrackingConfiguration. Also read about ARCore's Augmented Images.

除了 3D 跟踪之外,还有图像识别(a.k.a。图像检测)技术。视频中的对象在 AWS 云计算上处理(有足够的能力在毫秒内利用亚马逊人工智能算法)。

希望对您有所帮助。