华为云开源HiLens Framework边缘计算部署门槛再次降低 作者：邹玉泽 来源：《计算机与网络》2020年第19期 近日，在HUAWEI CONNECT？2020期间，华为云CTO张宇昕宣布HiLens Framework开源。HiLens是业界首个端云协同多模态AI应用开发框架，以简洁统一的API降低AI应用开发者的上手难度，在保持高性能的前提下，简化开发者工作量。HiLens Framework则为开发者提供了一套开发工具，让开发者不必重复制造轮子，直接调用相关模块的API，即可规范快速地开发出高性能的端云协同多模态AI技能和应用。 现代生活中，很多地方都有AI应用落地的场景和例子。比如在线下零售门店中，可以通过摄像头精准识别用户，实现千人千面的个性化定制服务。在无人车比赛中，高速行驶的无人车通过快速识别图像，实现实时推理，做出准确决策；在家里，具备AI能力的摄像头，可以实时看护老人和儿童的状态，一旦发生意外，就能第一时间发出警报；在各行业中通过OCR文字快速智能识别各种文本和票据等。 这些应用场景中，有些数据敏感且要求实时处理响应，但往往因为网络不够稳定，无法上传到云端处理，因而采用端云协同方式，结合云上高效开发和边端侧的敏捷快速部署，既能保证AI计算的性能，又能兼顾用户隐私诉求，更加快捷高效。 但如何实现图像、声音等数据的端云协同AI计算呢？很多方案都存在AI运算能力不强、难以实现复杂的定制化功能、初学者上手难度太大以及部署繁杂等缺点，无法在工业或商业用途中大规模落地应用。 华为云关注到这种用户需求，在2018年的华为全联接大会上，推出了业界首个端云协同多模态AI开发应用平台Huawei HiLens，支持视频、音频、图片、红外等多模态数据的AI应用开发、AI应用在线部署以及海量设备管理等，能够对接多种端侧计算设备，为诸多场景的AI应用提供了更大的发挥空间。 Huawei HiLens发布两年后的今天，华为云宣布开源HiLens Framework，10 min即可学会开发技能；性能普遍提升3倍，代码量减少80 %，开发周期缩短70 %，开发成本降低90 %。 以音频解码+片段截取+预处理的代码撰写为例，基于TensorFlow/OpenCV需要100+行，而采用HiLens Framework则只需3行；以模式初始化+推理的代码撰写为例，基于TensorFlow/OpenCV往往需要20+行，采用HiLens Framework则只需2行。 此次HiLens Framework开源，涉及了音视频输入、媒体处理、模型推理、资源管理、日志系统、EI服务接口以及输出管理等功能模块，通过HiLens Framework开发的AI应用可移植运行到任何基于Ascend 310设备上，提供常用语言Python和C++接口，符合AI开发者的开发习惯。 HiLens Framework的开源，能够很好地帮助开发者快速定位AI开发中的问题，进而快速解决问题，实现端云协同AI的快速开发和落地。同时，将吸引更多的外围设备输入、输出，更多的外围工具集成等，更将汇聚开发者力量，丰富完善HiLens Framework集成能力，扩大HiLens端云协同影响力，同时拓展华为昇腾生态和华为云生态。 10倍提升开发效率，加速AI应用落地 AI应用开发框架HiLens Framework是打通端云协同的重要技术环节，与开发环境HiLens Studio、管理平台和多模态AI技能市场一起，大大加速了开发者的开发效率，帮助行业快速构建设备端与云上能力高效协同的HiLens智慧解决方案，通过HiLens？Kit、Atlas500智能小站以及第三方商用摄像头等端侧设备，提供了高效易用、成本低廉的AI应用开发方案，能够快速部署于商超、园区、家庭及工业等应用场景。 AI落地使用边缘计算的应用场景时，往往场景数据存在差异，难以用一个AI模型达到最佳性能。华为云HiLens與边缘云创新lab技术合作，推出难例上传与ModelArts Pro HiLens套件结合的增量学习模板，实现了对模型的增量训练，使得AI模型在具体应用场景中越用越聪明。 例如，某工厂出于安全原因，采用视频监控智能检测现场人员安全帽佩戴情况。项目部署方在HiLens技能市场检索后发现，这一应用场景已有基础模型，直接购买安装后先搭建出基础的技能；再通过HiLens Framework的接口将难以识别的部分数据筛选出来，上传到自己账户下的云端存储，借助ModelArts Pro HiLens套件，在基础模型上增量训练，使得模型越用越聪明，最终训练出符合该工厂环境的模型，实现根据具体应用场景的模型定制化。在这一过程中，该工厂仅用800张安全帽检测实践数据，就将模型精度从80%快速提升到90 %，漏检率从25 %下降到10 %，通过几次难例上传与迭代，部署时间从计划的3个月缩减到1个月，有效推进了行业应用落地。 端云协同拓展新生态 HiLens Framework的开源如水到渠成，不止向开发者提供了一个AI应用的高效开发框架，还进一步推动了华为云HiLens与华为云ModelArts Pro视觉计算AI平台的结合，形成一整套的AI模型训练、应用开发和分发部署的端云协同管理平台。 当HiLens用户通过HiLens Framework连接到ModelArts Pro，就进入了一个更加广阔的AI世界，联接了从昇腾芯片、MindSpore开发框架，再到华为全栈全场景AI解决方案，以及华为不断积累的各行业AI经验。 此次HiLens Framework的开源，如同一条金线，一头串起华为云的云端AI能力，另一头串起更多AI场景，让云端协同的边缘计算更易于部署落地，推动AI更加普惠，在开发者的共同推动下，AI将拓展到日常生产、生活的方方面面，和每个人都息息相关。 本文来源：https://www.wddqw.com/doc/f47f2b295aeef8c75fbfc77da26925c52cc59100.html