近期,关于Rokid与京东科技合作的新闻引起了业内关注。双方联合发布了名为“JoyGlance”的购物智能体,实现“所见即购买”的体验。

这次合作的核心应用JoyGlance”,本质上是对传统电商购物流程的一次重构。它将手机端复杂的步骤,尝试压缩为AR眼镜上的三步交互。

1.输入端变革

传统购物依赖手机屏幕和手指输入。而JoyGlance将交互入口转移到了眼镜的摄像头和麦克风阵列。用户通过“注视”这一动作锁定目标物品,替代了“打开App、搜索框输入”的过程。这背后是基于第一视角(FPV)的计算机视觉(CV)识别技术。当用户注视物品1-2秒,系统即触发识别和搜索。

2.核心处理

唤起应用后,系统需要理解用户的意图。JoyGlance集成了京东科技的“意图识别+智能搜品”能力。当识别出物品后,它会直接在京东的商品库中进行匹配,并将结果呈现在用户眼前的AR界面中。这标志着物理世界中的非结构化视觉信息,被成功转化为了结构化的电商数据。

3.支付安全

支付是所有商业闭环的最后一公里。在不方便拿出手机的场景下,支付的安全性至关重要。该方案采用了“语音指令+声纹识别”的多模态生物特征融合技术。用户需要说出预设的语音密码,系统会同时验证“内容”和“声纹”两个维度。相比单一的指纹或面部识别,这种方式理论上提供了更高的安全冗余,旨在满足金融级支付场景的需求。据称,该技术在防录音攻击、防声纹合成方面也进行了算法优化。

这个应用案例,可以看作是AR眼镜在C端消费场景的一次重要探索。它展示了在健身、居家等“解放双手”的特定场景下,AR眼镜作为信息中枢的实用价值。

与此同时就在九月初,Rokid开放平台(ar.rokid.com)正式上线了面向Rokid Glasses的开发SDK。这是该公司首次为智能眼镜(非纯AR眼镜)开放完整的开发工具链。

这意味着,开发者现在可以调用AR眼镜底层的核心能力,包括:

AI接口:允许开发者集成自己的或第三方的AI算法模型,用于识别、分析等任务。

交互接口:获取眼镜的语音、视觉等交互数据,用于定义新的交互逻辑。

传感器接口:访问陀螺仪、加速度计等传感器数据,为应用开发提供更多环境感知维度。

该平台目前支持YodaOS-Master(面向AR Studio/AR Lite)和YodaOS-Sprite(面向Rokid Glasses)双操作系统,为不同硬件和场景需求提供了差异化的开发支持。

对于有兴趣的开发者,接入流程也相对标准化。以其移动端开发套件(Rokid Mobile SDK)为例,主要步骤如下:

1.注册与申请:在Rokid开放平台注册开发者账号,获取AppKey等开发凭证。

2.集成SDK:将官方提供的 Mobile SDK 集成到自己的iOSAndroid项目中。该SDK封装了设备配网、指令发送、设备管理等基础能力。

3.开发与调试:利用官方文档和调试工具进行应用功能开发。

Swift:

RokidMobileSDK.shared.debug = true

4.发布上线:应用测试通过后,即可在Rokid的应用商店或其他渠道发布。

此外,官方也推出了“开发者尝鲜计划”,为早期参与的开发者提供一定的硬件支持,这表明了其推动生态建设的初步意愿。

纸上得来终觉浅,一个新平台的潜力,最终要通过交互的流畅度、视觉延迟和真实场景下的稳定性来检验。欢迎所有对乐奇或是此技术感兴趣的朋友们,前来我们的人工智能6S店进行体验。

 

图片

 

阅读 39
 
 
 

 

 

 

 

 
 
 
留言
写留言
Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐