自动驾驶汽车计算机视觉与深度学习算法的硬件实现 在老师的推荐下，我观看了哔哩哔哩一个up主的一个视频讲座，这个讲座的主题是《自动驾驶汽车计算机视觉与深度学习算法的硬件实现》。虽然我现在的专业是机械设计制造及其自动化，但是我对自动驾驶汽车很有兴趣，而且我看到视频里涉及到了python的知识，我之前也学习过一些python的知识，因此我果断选择了这个主题，虽然在听的过程中有很多知识听不懂，但是整个过程我却听得津津有味，以下是我看完整个视频后的一些感想体会。 首先博主向我们介绍了自动驾驶汽车的定义。与我想象的不一样，自动驾驶竟然可以分为五级，而我们平常开的车竟然才是0级，这有点出乎了我的意料。而等级越高我发现，汽车对环境处理的要求也越来越高，在0、1、2、3级中都需要一个驾驶员来辅助驾驶，而4、5级则真正实现了完全自主，区别在于第四级并不涵盖所有驾驶场景。然后博主向我们详细介绍了第五级别。第五级别的汽车使用激光脉冲扫描环境。而不是采用雷达的无线电波，原因是激光脉冲精确度更高，如果加上摄像头，则精确度会更高。扫描完成后，汽车的计算机将传感器GPS和IMU的输入聚集起来构建地图。 接着博主向我们讲解了什么是计算机视觉——利用数字处理和智能算法来解释图像或视频的意义。这些视觉需要用到很多算法和传感器，而且每秒需要十亿次的操作。因此要求中央处理器要求要有高的响应性，还要高带宽和低延迟，所需的数据也都要实时处理，这对中央处理器提出了更高的要求。那么我们的中央处理器怎么处理这么多的数据呢？目前自动驾驶汽车很多用了高达6个高清摄像头，单个摄像头每秒需要向中央处理器传达多达一亿多的像素。因此一些CPU速度不够快或者效率不够高，则不能胜任。还有其它的处理器，比如数字信号处理器DSP、GPU系统、FPGA、专用集成电路ASIC、IP和ASIC中的专用AI和CV处理器或加速器。目前应用最广泛的就是最后一种，这也是许多服务器的目标。 然后博主向我们介绍了计算机视觉的两种设计/算法方法。第一种：也就是经典的方法——计算机视觉/图像处理。这是一种基于一维或者二维卷积滤波器的提取图像的方法。但是这种方法计算率非常高、非常复杂。还有一种比较现代的方法——神经网络深度学习（CNN）。这是基于多层并行卷积的特征检测与提取图像的方法。CNN是将深度学习和计算机视觉结合在一起的卷积神经网络，并且CNN非常适合图像分类。卷积神经网络需要学习和实施。接着博主介绍了弹射器HLS平台，由于这部分听不懂，这里先不做介绍。 另外，博主指出，HLS比RTL更有效率，因为HLS将功能与实现分离，并具有强大的工具功能来控制实现。在硬件设计中，功耗是比较重要的环节，HLS提供最低功率RTL。博主还说到，我们的设计一开始的时候一般用FPGA来做，因为这样可以很容易做出一个样品，到展示的时候再转变成eFPGA(嵌入式FPGA)。另外一个方面，HLS使设计人员能够在C级验证功能并符合现有的RTL方法。C++或者是C做验证要比RTL要快100倍以上，这再一次证明了HLS的优越性。 最后，博主讲到了You Only Look Once YOLO（顾名思义，就是对图片仅进行一次扫描就能同时识别多个物体，并标记出物体的位置。）但是这个软件我没有安装，而且目前还用不到，因此这里不做进一步介绍。 看完这个视频，前面还有点听得懂，但后面明显是很专业的知识，所以有很多没有听懂。但是他为我打开了一座新世界的大门。让我初步了解了自动驾驶汽车计算机视觉与深度学习算法的一些极其初级的知识。即使是很初级的知识，对现在的我来说依然是触不可及的东西，或许我以后可能接触不到这些，也或者以后会用得到，甚至是进入相关行业，那么这次讲座就很有意义，如果没看这个视频，我对自动驾驶汽车的了解几乎为零，现在至少知道自动驾驶汽车需要用到计算机视觉与大量的算法。也让我知道了HLS在很多方面比RTL更具有优越性等等一些零碎的知识。学习就是在不断积累这些零碎的知识，最后在某一个时间地点将他们串起来，成为一个知识渊博的人。因此，很感谢老师给我介绍的这个视频，也很感谢博主讲解的知识。 本文来源：https://www.wddqw.com/doc/a261cdc85527a5e9856a561252d380eb63942374.html