AI加速的历史

计算机系统经常通过专用于专用任务的加速器对CPU进行补充。特定于应用程序的著名硬件单元包括用于图形的视频卡、声卡、图形处理单元和数字信号处理器。随着2010年代深度学习和人工智能工作负荷的日益增加，专门的硬件单元已经开发或从现有产品中进行了改编，以加速这些任务。

早在1993年，数字信号处理器就被用作神经网络加速器，例如，以加速光学字符识别软件。在1990年代，还尝试为针对各种应用（包括神经网络仿真）的工作站创建并行的高吞吐量系统。在1990年代还首次探索了基于FPGA的加速器，用于推理和训练。ANNA是Yann LeCun开发的神经网络CMOS加速器。

异构计算是指将多个专用处理器并入单个系统甚至单个芯片中，每个专用处理器针对特定类型的任务进行了优化。诸如单元微处理器之类的架构具有与AI加速器明显重叠的功能，包括：支持压缩的低精度算术，数据流架构，以及优先考虑“吞吐量”而不是延迟。Cell微处理器随后被应用于包括AI在内的许多任务。

在2000年代，在视频和游戏工作量的推动下，CPU的SIMD单元也越来越多。以及对压缩的低精度数据类型的支持。

图形处理单元或GPU是用于处理图像和计算局部图像属性的专用硬件。神经网络和图像处理的数学基础是相似的，涉及矩阵的令人尴尬的并行任务，导致GPU越来越多地用于机器学习任务。截至2016年，GPU在AI工作中非常流行，并且在向深度学习（用于训练和自动驾驶汽车等设备的推论）发展的方向上不断发展。GPU开发人员，例如Nvidia NVLink正在为AI受益的那种数据流工作负载开发附加的连接功能。随着GPU已越来越多地应用于AI加速、GPU制造商已将神经网络 特定的硬件并入以进一步加速这些任务。Tensor 核心旨在加速神经网络的训练。

深度学习框架仍在发展，这使得设计定制硬件变得困难。诸如现场可编程门阵列（FPGA）之类的可重新配置的设备使硬件、框架和软件的相互开发变得更加容易。

微软已经使用FPGA芯片来加速推理。FPGA在AI加速中的应用促使Intel收购Altera，目的是将FPGA集成到服务器CPU中，这将能够加速AI和通用任务。

尽管GPU和FPGA中表现得更好在效率比CPU为AI相关任务，向上的一个因子10可以用更具体的设计来获得，通过应用专用集成电路（ASIC） 。这些促进剂使用的策略，如优化存储器使用和使用较低精度运算来加速计算和增加吞吐量的计算。一些采用了低精度浮点格式使用的AI加速为半精度和bfloat16浮点格式。

2017年6月，IBM研究人员宣布了一种与冯·诺依曼（Von Neumann）体系结构相反的体系结构，该体系结构基于应用于时间相关性检测的内存计算和相变存储阵列，旨在推广异构计算和大规模并行系统的方法。2018年10月，IBM研究人员宣布了一种基于内存处理并以人脑的突触网络为模型的架构，以加速深度神经网络。该系统基于相变存储阵列。

截至2016年，该领域仍在不断变化，供应商正在推销自己的市场术语，即“ AI加速器”，以期他们的设计和API将成为主导设计。对于这些设备之间的边界，以及它们将采用的确切形式，尚无共识。但是，显然有几个示例旨在在功能上有相当多的重叠来填补这一新空间。

过去，消费类图形加速器应运而生，业界最终​​采用了Nvidia的自定义术语“ GPU”作为“图形加速器”的统称名词，在决定实施实现Direct3D提出的模型。