兼顾家用、编程,Rokid 全栈语音智能开发套件体验点评

极客教程

(hanliang_613) #1

个人早在这款Rokid All in ONE 全栈语音智能开发套件之前,就已经对Rokid的产品有所关注,而关注缘由就是那款Pebble • 月石,当时对个人的吸引点有两个,一是作为语音智能音箱可以进行语音交互体验,可玩性比较高,但从官方视频中感觉这个若琪的真人语音部分还是有些生硬,不流畅不自然;二是最关键的部分,那就是与其他设备的联动,这是一个必备的基本功能,毕竟越来越多的智能产品已经陆续进入我们用户家中。 有些可惜没有机会体验到,便转投了天猫精灵和小鱼在家VS1两款智能语音音箱的怀抱。天猫精灵上市之初主打语音购物的定位,就个人而言没有太大的吸引力,因为推荐的产品只有有限几款,只能语音听,看不到产品的详情,还是得搭配手机去查看,远不如手机查询更为方便,语音识别性能上相比于科大讯飞、思必驰等语音识别软件也并没有太大的优势。而可联动的小鱼在家VS1智能视频音箱更像是数码相册和智能语音音箱的结合体,可以用来视频聊天、播放影音、投放照片等,也可以作为传统的智能语音音箱使用,当然也支持与其他设备的联动,只是目前功能还未完善。 上面所提到的三款智能音箱,不管是有屏幕的还是没有屏幕的,核心的功能简单来说就是两个,一是语音交互体验,与内置的软件和拾音麦克阵列有直接关系;二是可联动性,能够与其他厂家的智能产品互动,比如智能电视、智能灯、扫地机器人、智能音箱、智能空调等,当然全都离不开硬件的支持。

产品那些事儿

开始前先简单做个总结,

  1. 组装简单,接口丰富,可扩展性高

  2. 硬件配置较高,内置语音交互系统,可以作为语音音箱、电视盒子使用

  3. 支持与智能家居联动功能,支持自定义唤醒词

  4. 软件免费开源,同时提供开发文档和代码示例等,可自行搭配官方的开发工具进行新功能开发

  5. 未提供扬声器,需要自备耳机或音箱

  6. 当前版本micro HDMI接口无图像输出

  7. 语音识别性能有待优化

可自由拆解的开发板 2+1组合设计 硬件配置出色

对于这款2017年10月发布的Rokid All in ONE 全栈语音智能开发套件,简单来说就是上面三款智能语音音箱的核心硬件所在,是一套专门为开发者和硬件爱好者所准备的硬件设备,搭配官方集合了自助服务 API,开发工具,文档和代码示例等功能的技能开发工具,可以设计出不同的技能并添加到Rokid中,制作出个人专属风格的Rokid,支持语音交互体验(需要自备音箱或是耳机),可为任何连接到网络的产品添加语音交互体验,包括智能语音音箱具备的语音交互功能和与智能家居产品联动的功能等。

手头这款Rokid All in ONE 全栈语音智能开发套件可以用来开发套件拥有4 mic阵列、USB type-c充电调试接口、Micro HDMI显示输出、3.5mm音频输出等丰富接口,支持常见的I2C、SPI、UART协议。除此之外,开发套件70%的操作系统框架代码以及100%的E.E、M.E设计全部开源,预装若琪完整的语音交互系统,可以直接使用若琪·月石所拥有的大部分主要功能,比如语音交互、智能家居产品联动。

先来看看这款开发板套件基本参数部分,对几个参数部分进行点评说明, image006

  1. CPU用的是基于四核64位 ARM® Cortex™-A53架构、全4K多媒体处理器的晶晨Amlogic S905D,主频最高到1.5Ghz,搭配的GPU是五核ARM® Mali™-450。这款CPU常见应用于DVB,OTT、IPTV智能机顶盒、电视棒、电子盒子以及智能家居等不同的产品上。

  2. 开发板套件采用了电视盒子上主流的2G+16G的组合,考虑到系统基于安卓,如果能正常实现视频输出,那么就可以作为电视盒子来使用。

  3. 拾音mic采用的是4个,比起天猫精灵的6个拾音mic要少2个,不过从实际的拾音效果情况来看,拾音效果也比较出色

  4. 音视频接口上只有一个3.5mm音频输出接口,用来连接有线音箱、有线耳机使用;视频接口只有一个micro HDMI输出,可以连接电视、显示器、投影等设备使用

  5. 在WiFi上相比于同类的智能语音音箱有所突破,那就是支持了AC双频,芯片为博通 AP6255,不用在对2.4Ghz有所依赖,此外主板有预留一个搭配外置天线安装的MMCX接口(下图J6左侧);蓝牙采用的4.1/BLE

  6. MIC板自带12颗RGB LED灯光,可以自定义灯光色彩

主要参数了解完毕,再来看看各个主板部分的设计。先看看Debug板,并没有与其他两块主板预装在一起,这个是在刷机、debug等一类的操作时用的到,按键的部分也主要在这里,比如固件升级、reset、电源键、音量调节键和静音键。在接口上提供了TYPE-C和一个USB2.0接口,另外USB2.0接口一侧的黑色模块为可编程、支持发射与接收功能的IR模块,用的是台湾亿光IRM-2638系列。此外开发板还提供了串口连接,也就是图三右下角的部分。

Debug板上有一颗芯片,来自设计和供应USB芯片和软件方案的英商飞特帝亚有限公司(FTDI),型号为FTDI FT232RL,用于实现USB到串行UART接口的转换,也可转换到同步,异步BIT-BANG接口模式。中央位置的这个排线接口就是用来连接主体的部分。

在来看看其他两块主板,也就是默认拼装在一起的部分,两块主板通过一根排线连接。图一图二的主板为核心部分,关键部件都在这里,比如CPU、GPU、RAM、EMMC等模块,接口的部分为TYPE-C、micro HDMI和3.5mm音频输出接口,此外还有一个标识为J7 SPK的接口,但并非为3.5mm接口,而是2PIN的接口,应该是用来连接扬声器的。另一块主板上主要部分就是MIC和1680W色RGB LED灯,设计有4个MIC和12个彩色LED灯,图三中边缘的四个金属芯片就是阵列式拾音MIC。灯控的部分采用的是美国矽恩微的3236A,一款支持36路呼吸灯驱动芯片,每路单独256级细腻亮度可控。全局最大输出电流可以通过外部电阻REXT设定,最大电流可达38mA。同时主控器件通过I2C接口对SN3236进行编程控制,通过将SDB脚拉低或软件设置可关断芯片,进入低功耗模式。至于MIC,表面印有S1860字样,未查询到具体的参数部分,从实际的使用情况来看,拾音性能上表现2米以内表现稳定。

从上面的照片也可以看到,三块主板在做工设计上较为扎实干净,没有各种涂抹、Mark笔痕迹或是胶丝飞线的痕迹。有些遗憾的是,由于版本的缘故暂时无法通过micro HDMI接口输出,所以无法体验连接显示器或是智能电视的功能。

那么直接进入体验。下面会从三个部分进行体验说明,一是刷机,二是基本功能体验,三是编程相关。

刷机简单方便

对于刷机的部分,开发板自带的是安卓版本,可以手动从官网下载Linux版本进行体验,具体的信息查看刷机指南即可,相关连接如下。 https://developer-forum.Rokid.com/t/topic/1178

刷机上没有什么难度,都有对应的刷机指南,操作上跟刷安卓手机、平板比较类似,方式有两种,这里以更新安卓版本为例。

第一种是搭配官方刷机工具的刷机功能,开始前需要将Debug板通过专用的排线连接到开发板核心板,然后将开发板核心板TYPE-C 接口与电脑连接,进入刷机模式的方式为

  1. 先按住Debug板上的 upgrade键不松开,再按 reset 键,待刷机工具界面出现已连接,马上松开按键,即表示开发板已经进入刷机模式;另一种进入刷机方式更为方便,直接使用adb命令adb shell reboot update,您将看到刷机界面出现已连接,表示开发板已经进入刷机模式。

  2. 载入下载的刷机包,点选刷机即可

第二种刷机方式为fastboot烧录,接线上略有些复杂,首先需要需将开发板核心板 TYPE-C 接口与 电脑连接,然后将Debug 板上的TYPE-C接口连接串口线,进入u-boot模式,直接输入fastboot,则开发板会进入fastboot模式。或是直接使用命令adb shell reboot fastboot,开发板会进入fastboot模式。

相比之下,对于小白来说,无疑第一种方式最为方便快捷。考虑到日后的升级,建议将Debug板也拼装起来,这样使用上更为方便,毕竟那根排线对于频繁的拆解来说会存在一些损坏的隐患。

下面进入基本功能体验。

涵盖主流智能语音音箱功能 可自定义唤醒词 可多设备联动实用

对于这块开发板来说,其实就是智能语音音箱的核心部分,主要功能可以包含两大类即语音交互+多设备联动,而相比于其他智能语音音箱,All in ONE 全栈语音智能开发套件支持自定义唤醒词,这样就不用拘泥于官方指定的唤醒词,可玩性更高。此外也可以更换系统语音,有预设的几款语音可选,同时也可以自定义语音,不过自定义语音只是对特定的几个部分进行调节而已,但这也是比同类智能语音音箱有突破的地方。对于语音交互的部分,点歌、查询天气、听新闻、听相声等都是基本必备的功能,它与自己玩过的几款智能语音音箱所不同的地方就是有技能商店,可以直接添加后使用,虽然相比于真正的AI还有差距,但好处就是不断丰富语音交互的内容,进而提升可玩性。

回过头来说说特色的多设备联动功能,目前支持的产品种类主要有智能灯、智能窗帘、智能开关、智能插座、红外遥控器、智能窗帘、电风扇、空气净化器和扫地机器人几大种类,也只是涵盖了当前大部分主要的使用场景,没有支持可视门锁、智能摄像头、多功能门禁感应器、气体感应器、智能门锁等。

在支持的品牌的上,目前共计33个品牌,数量上在同类智能硬件产品中还算较多的,除了一些常见的品牌外,比如博联、智家、小K、lifesmart外,还有其他一些平时未听说过的品牌加入,支持产品种类最多的是米家。

不过跟所有其他所有智能硬件厂商一样,在与支持联动的品牌数量上还有很大的拓展空间,毕竟自己手头的一些智能硬件产品大部分并没有在支持的列表中,仅仅是欧瑞博的智能插座和智能遥控器可联动使用。

智能插座和智能遥控器有一两款支持的就好,但是对于智能灯的部分还是希望能把手头的几个品牌都涵盖进去。

下面是语音交互体验和与智能插座、红外遥控器联动的视频,当对着开发套件喊出唤醒词时,会有一颗白色的LED灯亮起并指向声源方向,表示它正在等待接收语音命令,但是并没有相关的语音提示用户说出指令,只有很低的一声提示音。简单做个点评,

  1. micro HDMI目前不支持画面正常输出显示功能,显示的为黑色,也就不能使用蓝牙来连接蓝牙耳机使用

  2. 预装的APP数量不算多,默认支持APK安装,如果支持视频输出,就可以作为平板或是电视盒子使用

  3. 进入语音识别状态(standby)有“咚”的一声提示音,但是音量有些小,没有真人语音提醒功能

通过视频可以看到,在与其他智能硬件的联动上, Rokid All in ONE 全栈语音智能开发套件基本上可以正确识别命令并执行,比如智能插座的开关、搭配智能遥控器对其他设备的开关操作等,但在执行命令的性能上和对语句的识别上还有很大的提升空间,需要搭配特定的语句使用来提升命令的识别准确率。对于场景类的设置,就是生活化场景的一个综合,融合了智能家居联动和命令控制的部分,满足了不同人群的客制化需求;对于语音互动性能上,识别率上比较高,但是还有所欠缺,距离真正的AI人工智能还有差距,当然这也是目前所有智能语音音箱的不足。而可以自定义唤醒词的功能是一个亮点,不用在单一的只能使用官方设定的唤醒词,从而可玩性更高。

玩机进阶篇 小白也可玩编程

如果小白想深入玩开发板,建议先在论坛泡一段时间,了解一些相关的知识,这样上手会更快些,也能提前了解到其他玩家遇到的一些问题,这样在实际使用中如果有遇到就可以快速的解决。目前的开发套件的镜像系统,支持自定义功能,比如控制输出电平,通过i2c, i2s, spi, uart等协议与外部设备通信等,这样就可以让第三方开发者来定制自己的产品,此外也少了一些出厂时默认安装的APP。

这里提供两个主要连接供参考,

1.Rokid ALL in ONE 开发套件新手教程汇总,很详细的一个教程汇总,几乎所有关于开发板的文件资料都可以在这里找到,同时提供了很详细的开发文档,包含了核心的语音识别和语义分析部分,很大程度上降低了开发者的学习成本,在后续的开发上也会更加流畅放方便。

https://developer-forum.Rokid.com/t/topic/1391

注册并登陆Rokid开放平台,这里集成了两个核心服务,一个是技能开发工具,一个是语音接入功能。Rokid技能开发工具集合了自助服务API,开发工具,文档和代码示例,通过Rokid技能工具包就可以自创建技能并添加到Rokid中,从而实现技能上的定制化;而Rokid语音接入是一种智能且可扩展的云服务,可为连接到网络的产品提供语音交互体验。

https://developer.Rokid.com/#/

对于Rokid软件,官方是免费开放使用,开放了tts播报、播放音乐流媒体功能的对应接口,通过内置的Node JS,提供了更低层次的系统应用开发,用户可以调用系统api和操作硬件,可以通过Node进行开发应用、调用硬件接口等功能。作为智能家居的一个入口,Rokid All in ONE 全栈语音智能开发套件支持开发者将新增的Webhook接口地址复制并添加至智能家居第三方平台,比如Abox,homeassistant等,用途就是当第三方平台中的传感器事件触发该接口后,软件便会执行相应的操作,进而可以实现更多的智能产品联动。

为了体验HDMI输出,这里直接刷了LINUX YODA版本,据说是CEO专门便携的HDMI相关代码。版本连接如下,

解压缩出来后,你会看到很多东西,有两个img文件可供选择,一个是400多MB的aml_upgrade_package.img,一个是1G多的rokid_upgrade_package.img,按道理说体积大的功能会比较全,但是那个版本刷不过去,只能刷第一个版本。

刷机工具无需修改设置,直接刷机即可。

然后就可以在通过micro HDMI线看到显示器或是电视端的影像,虽然只是图案,看不到桌面,但至少HDMI输出的功能体验到了。下图是喊出“若琪若琪”后的图案,处于语音识别状态。

附上视频,可以对比看看默认系统的界面。

免费开源、可玩性高的Rokid开发套件 语音交互与设备联动待持续优化扩展

先说说这套Rokid开发套件有什么用,适用于哪些人群?从上面的体验也可以看到,Rokid All in ONE 全栈语音智能开发套件已经预装了若琪完整的语音交互系统,可以直接使用若琪·月石所拥有的大部分主要功能,当然由于版本的原因也有部分功能无法使用,比如自定义歌单、micro HDMI输出等,它的用途简单来说有以下几个,

一是作为智能语音音箱使用,只需要通过AUX音频输出接口连接一个音箱或是耳机接口即可,功能上涵盖了主流的功能部分,同时支持自定义唤醒词,而这个功能恰恰是自己玩过智能语音音箱所不具备的功能,算是一个亮点功能;

二是可以作为电视盒子使用,硬件配置上相对不错,基于安卓平台的系统加上支持软件安装,只需要通过micro HDMI输出接口连接显示器、电视等使用即可;

三是可以作为智能家居的一个入口,也就是控制枢纽,可以实现与家中已有的智能硬件产品的互动,弥补其他可联动智能硬件的不足;

四是作为开发工具使用,搭配对应的软件系统来定制个性话的语音控制功能和与其他智能硬件产品的互动,可以通过开发套件让电视、冰箱、机顶盒、电视盒子、音箱等传统硬件产品“听话”。

从功能体验上来看,它所面向的人群不仅仅是开发者和硬件爱好者,还可以让厂家或是企业来生产制作自家的产品,毕竟当前智能语音交互音箱的区别其实就是核心板和内置的操作系统。

简单做个总结,免费开源、可扩展性高是Rokid All in ONE 全栈语音智能开发套件所具备的优势,可以吸引更多的硬件爱好者、开发者developer甚至是厂家加入到这个阵营中来,进一步降低了智能语音交互的门槛,对于智能语音开发平台的发展起到了有利的促进作用。

但同时也要看到,Rokid All in ONE 全栈语音智能开发套件在语音识别性能上还有提升的空间,尤其是视频中加法出现了错误、对于命令的识别依旧比较呆板单一等,此外对于多设备联动上,支持品牌种类和数量并不算多,还有极大的扩展空间,需要持续增加,基本的联动功能问题不大,但是对于命令的深层次执行还有提升的空间,比如语音控制小方万能遥控器换台、调节音量等功能上。

最后对于这款Rokid All in ONE 全栈语音智能开发套件有几点建议,

  1. 建议将三块主板采用全封装的方式整合在一起,另外加一个扬声器,这样使用上更加方便

  2. 提供可更新的新版本,至少要支持micro HDMI输出和红外控制功能,这样可玩性更高

以上就是此次产品体验的部分,感谢新浪众测提供的宝贵产品体验机会。


(大发) #2

加分啦伙计~


(yam.zhang) #3

厉害厉害厉害