作者：张国斌
目前，客户端计算设备如笔记本电脑、平板等在视频会议、技术分享、协作创造方面应用的越来越多，这类设备跟人结合日益紧密后，也暴露出一些急需解决的问题，例如在讨论敏感内容的时候如果有其他人在偷看他偷听时能自动告警，当设备主人靠近时可以自动点亮工作，当设备主人离开可以自动息屏，这些问题解决将有利于提升用户的参与和协作，保护用户隐私--例如客户端设备可以分析摄像头采集的图像数据，确定后方人员是否离用户过于靠近，还可以在用户的注意力转移到别处时，模糊屏幕，保护隐私，或者调暗屏幕，延长电池使用时间。近日，莱迪思发布的sensAI4.1解决方案就可以解决上述问题，让用户体验更佳，也让计算设备更智能。莱迪思半导体亚太区资深市场开拓经理林国松表示：“莱迪思的网络边缘AI可以实现从一毫瓦到低于一瓦这样的功耗范围，这已经是一个非常低的功耗了。对FPGA这样一个非ASIC的器件来说能够达到这个功耗，相比ASIC也毫不逊色。同时，我们还有灵活的计算资源，这是最能体现FPGA本身的特点——其可以做预处理、后处理、图像处理，做滤波等等。相对来说，也可以进行性能拓展。”他强调，“目前，AI的算法灵活多变，不断的推陈出新，如果想用一个专有芯片做到的话，相对来说成本、功耗都有可能是不可承受的。FPGA相对来说是更适合使用全新的这样一个场景来实现AI的计算。”他表示对于现在发布的创新功能，利用其他电子器件也可以实现。但最关键的是看功耗和反应速度的平衡比是否能够达到预期。如果这个反应速度非常慢，即便功耗很低也没有太大的意义，但是如果反应速度非常快，但是功耗很高，大家也用不起。“功耗和反应速度就是一个要平衡的点，FPGA可以很好地平衡这些。或许未来MCU能够推出一个更固定版本，但当前MCU还是做不到和FPGA一样的性能，”他指出，“只有ASIC才有可能替换FPGA，但是ASIC目前还不能做到将使用场景固态化。我们认为相比较而言灵活和功耗比才是最主要的一方面。”他表示本次发布的sensAI解决方案在Lattice Nexus™ FPGA上运行，可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备，这些设备还能现场进行升级，支持未来更多的AI算法。这种基于视觉、声音和其他传感器的AI应用将革新客户端计算体验。莱迪思的sensAI支持各类网络边缘AI解决方案，赋予客户端设备情境感知能力，让它们知道自身在何时、何地、以何种方式被使用。与使用CPU来驱动AI应用的设备相比，采用sensAI开发，并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。sensAI还支持现场软件更新，从而保持AI算法的演进，还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。林国松表示 CetusPro-NX器件的容量会提升，同时能够计算的能力和功效也会提高，在这块器件基础上，莱迪思也推出了相对应的开发版，称之为声音和视觉机器学习版。莱迪思也提供了支持这块新芯片的CNN Plus加速器，以及相对应的sensAI Studio。“在此基础上，我们会提供三个参考设计，人员侦测、注意力追踪和目标分类。同时，在智能家居、智慧城市、工厂、智能汽车这些方面我们也都可以提供相对应的设计服务。”他表示，“我们一直在延续使用的一个训练设计方法，通过标准的Caffe、TensorFlow、TensorFlowLite、Keras等常用训练网络培训练之后，再通过Lattice提供的神经网络编译器，编译成相对应的可执行指令，这些指令最终会由Lattice的芯片所调取使用。”他表示之后是一个硬件优化的设计方案，将AI的设计方案通过Lattice Radiant和DIAMOND结合之后，产生FPGA比特流，然后再把训练后的模型录进来，这样产生一个类似于中央处理器的功能，而这里产生的量化的权重和指令更多指向于执行的代码，这两个结合之后，可以产生一个AI的体验项目。他表示Lattice专门提供了一个PROPEL的软件，便于大家对于整个内部结果的控制能够进行类似于C代码的控制，而不是使用比较难以上手的FPGA开发代码，这样的代码是便于初学者能够调用一些基本的指令进行一些控制。据悉，sensAI解决方案集合的最新版本（v4.1）现已发布，支持莱迪思基于AI的应用路线图，其增强特性和新特性包括：o用户检测：用户接近或离开设备时会自动启动或关闭客户端设备o注意力追踪：当用户的注意力不在屏幕上时，降低设备的屏幕亮度，节约电量，延长使用时间o旁边者检测：检测站在设备后面潜在的窥视者，模糊屏幕以保障数据隐私2、更多应用支持——sensAI 4.1版本在性能和准确度方面的提升有助于拓展其目标应用，包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。3、易于使用的工具——sensAI还更新了神经网络编译器，支持Lattice sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。sensAI Studio现支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——Lattice CertusPro™-NX进行了优化。sensAI还兼容其他广泛使用的机器学习平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。林国松解释说：“Lattice在这次sensAI4.1里面最新推出的Lattice sensAI Studio，之所以推出这个Studio是因为我们收到了很多关于配置机器学习培训环境的反馈，用户在这里是会遇到一些问题的，主要是由于这些培训环境的应用场景，应用软件更新的非常快，有可能几天就会有一次更新，那样软件和软件之间的兼容性就很难解决。为了解决这样的问题，Lattice特别推出了Lattice sensAI Studio。”那Lattice sensAI是如何助力下一代智能PC的体验？林国松表示PC已经成为大家工作和生活中接触时间最长的电子工具之一。这张图（见下图）展示了在不同时间段不同平台被使用到的情况和平均时长，大家可以看一下，这里黄色指的是手机，这里指的是手提电脑，这里指的台式电脑。可以看出大家习惯于在白天的时候使用手提电脑，而晚上更多是使用台式电脑。那么下一代PC的趋势主要有哪些？莱迪思认为主要在智能和感知，强大的协作能力和轻薄的外形三个方面。他表示Lattice sensAI的智能和感知AI解决方案提供了用户检测、注意力追踪、旁观者检测及面部取景功能。通过注意力追踪可以延长28%的电池寿命；旁观者检测可以保护用户隐私数据，而面部取景也是很多协作式会议所需的场景。“现在上面上多数的电脑都是以鼠标是否移动来判定用户是否在使用电脑的，如果鼠标长期未移动，电脑就会息屏。但Lattice sensAI的方案是通过更高端的用户检测来进行判定的，电脑可以感知是否有用户在电脑跟前，并支持瞬时启动功能。”他指出，“下面这张数据图说明了计算机视觉方案带来的功耗变化，这张图是基于一系列的假设条件得出的，包括比如说电池容量，平均功耗，和屏幕实际的消耗功耗，以及专注工作和转移时相对应的亮度。这里其实指的是运用了Lattice sensAI之后你会投入多少功耗，或者是消耗多少功耗，因为本身这也是电子器件，是会消耗功耗的。同时随着使用时间的增长，大家会发现这些功耗都是会被浪费掉的。就是说当人不需要使用屏幕的时候，其实屏幕还是会常亮，因为屏幕不知道是否不需要使用屏幕，除非是有人告诉它，但Lattice sensAI就能很好的做到这一点。”那么到底为什么要选择Lattice sensAI呢？首先sensAI符合道德和合理的AI设计考量。电脑是能够看见人的脸的，但是电脑看见人的脸，就是后台APP能够使用。通过使用Lattice sensAI就可以不把图像传给电脑，直接在硬件上处理。也就是通过Lattice sensAI我们只会传出一个结果，而不会传输图像，这样的话用户的肖像权就不会受到侵害，同时Lattice sensAI也专注于用户体验，针对不同的复杂场景进行压力测试，包括灯光，场景及用户面部和头部穿戴的变化。在这方面还牵涉到隐私保护，对此，林国松表示：“Lattice sensAI只输出一个结果，它并不会输出你是谁或者是其他的信息和照片。Lattice sensAI输出是当一个人靠近了电脑，系统发现这是一个人，以及这个人是男人或是女人，但这并不会把肖像的信息泄露出去。我们本身就是为了帮助大家解决信息泄露的问题，例如我开了摄像头之后，我在摄像头里可以看见自己的影像，这样的影像是否会被黑客盗取。Lattice的方案只输出结果，并不输出影像，所以这点大家可以不用担忧，我们反而是解决了大家对这些肖像进行被盗取的问题。其次，我们肯定不会存储人脸图像，Lattice FPGA也没有这样的空间能够存储大量人脸图像。”他透露一些PC厂商已经导入了这些功能，不久的将来就会看到类似功能的笔记本。他表示除了电脑的使用场景，其他场景Lattice器件也可以切入，如进行实时在线和感知的，包括瞬时启动，感知用户，还有声音和手势控制，还有视频和音频体验以及给用户提供身体健康情况通知。
注：本文为原创文章，未经作者授权严禁转载或部分摘录切割使用，否则我们将保留侵权追诉的权利！
