深度学习如何走出实验室，赋能边缘设备

在过去的几年里，深度学习被证明是人工智能进步和改进的关键驱动力。从人脑的工作原理出发，深度学习负责推进人工智能的应用，从计算机视觉到语音识别，再到文本和数据分析。

深度学习模型在实验室中使用大量的数据进行训练，以演示技术如何在现实部署中的功用。尽管在实验室环境中进行了成功的研究和开发，深度学习在实际应用中还没有发挥其潜力。即使在培训了深度学习模型之后，仍然存在着阻碍企业有效部署技术的重大挑战。

是什么阻碍了主流部署？

按照传统的训练过程，结果模型通常会消耗大量内存，并且由于需要密集的计算资源，因此需要专用硬件进行部署。目前在边缘设备（例如，移动设备、无人机、摄像头等）上的部署几乎不可能，因为这些设备上可用的资源有限，由此边缘设备无法进行自主决策。例如，Amazon Alexa只在有互联网连接的情况下工作（因为AI本质上驻留在云上）。

虽然基于云的部署对于某些用例来说已经足够了，但对于其他许多用例来说并不实用，因为：

● 需要快速反馈（低延迟）。对于某些应用程序，等待请求到云端再返回设备需要太长时间。以自动驾驶汽车为例。人工智能系统需要能够自动和即时地做出决定，以避免崩溃。

● 必须处理大量数据（高带宽）。例如，将视频连续传输到云端是不切实际的。

● 互联网连接不连续可用。例如，当连接受限时，无人机需要能够离线工作。

● 云端处理成本巨大。对于一家在数百万台设备上提供人工智能服务的公司来说，每台设备都需要不断地访问云。成本将达数千万美元。但如果可以在客户的边缘设备上进行处理，则不会涉及任何成本。

此外，深度学习模型的规模也会带来挑战。一旦一个模型被训练出来，它就需要大量的处理能力并消耗大量的内存。正因为如此，今天的部署必须使用专用硬件，例如GPU，它已经将技术降级到云部署。如上所述，基于云的部署为边缘部署带来了更大的挑战，带来了延迟、隐私和维持必要的处理和内存级别所需的高电力成本等问题。

虽然实验室的深度学习进展令人兴奋，但很明显，我们需要通过真实的、商业化的部署，以及无人机、农业机器人和自动汽车等智能边缘设备需要运行的特定环境和条件来分析它们。这就需要改变技术的开发方式，并需要一种替代基于云的部署。具体来说，在不牺牲准确性的前提下解决深度学习模型的规模是至关重要的。

重新设想深度学习的培训阶段

为了解决模型的大小问题，从而减少它们运行所需的处理量、内存量和计算能力，对训练过程进行更仔细的研究是至关重要的。工业界曾试图通过压缩、提取和剪枝来缩小神经网络的规模；然而，这些努力主要是在训练阶段之后才进行的，并且在模型的精度受到损害之前，只对规模进行了小幅度的缩减。

如果深度学习模型是为了模仿人脑，我们应该从我们的大脑在成长过程中的发展方式中汲取灵感。在儿童早期，我们拥有的突触（神经元之间的连接）数量是我们一生中拥有的最多的，直到我们十几岁的时候，我们的大脑一直在清除多余的连接，变得更加稀疏。这些联系会自己学习，我们大脑的整个结构都可以改变。

最近尝试用神经网络来模拟这一点，并在训练阶段对模型进行稀疏化，在模型大小和精度之间找到了平衡点，取得了成功。这是我们需要继续改进和改进的领域。

考虑到智能边缘设备的特殊需求

大多数希望在边缘设备上部署人工智能的企业都有一个共同的目标：在没有人为干预的情况下提高业务效率。这需要低延迟和电池消耗，同时保持安全和隐私。如果将深度学习推理部署在云端，边缘设备必须具有恒定的互联网连接，并且还取决于在现实情况下处理数据、将数据发送回云端进行分析然后再发送回行动的速度。

在许多情况下，这不是一个选择。这个装置需要非常精确，而且必须当场作出决定。例如，农业机器人需要能够在分析可能需要或不需要治疗的作物时实时自主行动。云连接无法实现这种级别的实时决策，也无法考虑到这些机器人可能在没有优质互联网连接的偏远地区运行。

边缘设备将需要占用较小空间的深度学习模型。较小的占用空间可以显著提高速度并减少功耗和内存消耗。

虽然正在取得进展，但该行业需要一种解决方案，该解决方案可以在实验室显示前景的深度学习模型与实际部署的需求之间架起桥梁。该解决方案必须解决深度学习模型的规模和速度方面的挑战，同时又不牺牲敏感边缘设备应用的准确性。这个行业越接近于解决这些挑战，我们就越应该把深度学习从实验室推向现实世界。