AI芯片的应用与发展趋势

工智能产业的底层基础，拥有着非常广阔的发展前景。不同的应用场景对AI芯片提出了多种要求，从而促使其在

多个领域得到了飞速发展。本文基于三维点云的神经网络支持、低功耗AloT和小样本学习这三个典型的应用场景, 对AI芯片的应用、带来的芯片需求以及相应的发展趋势进行了介绍。关键字：AI芯片神经网络应用1引言自1956年达特茅斯会议以来，关于人工智能(artificial

丰富的数据资源、深度学习算法和充足的计算力支持。丰 富的数据资源取决于互联网的普及和随之产生的海量信

intelligence, Al)的研究由于受到智能算法、计算速度、存

储水平等多方面因素的影响，经历了两起两落的发展，近

息；以深度学习为代表的机器学习算法的精确性和鲁棒性

越来越好，适用于不同场景的各类算法不断优化完善，具 备了大规模商业化应用的潜力；而充足的算力则得益于摩

年来在语音识别、计算机视觉等领域取得了重大突破。究 其原因，业界普遍认为有三大要素合力促成了这次突破：

尔定律的不断演进发展，高性能芯片大幅降低了深度学习442049年第5期中国安全防范技术与应用安全技术防牯算法所需的计算时间和成本。们处在一个三维的世界里，在将三维环境挤压成二维图像

虽然当前摩尔定律逐渐放缓，但作为推动人工智能技 的过程中，很多有用的信息会被丢弃，从而造成信息量的

术不断进步的硬件基础，未来10年仍将是人工智能芯片

丢失。而使用三维图像则可以有效地解决这一问题。（AI芯片）发展的重要时期，如图1所示，到2021年，我 三维图像是一种特殊的信息表达形式，其特征表达空

国的人工智能芯片产值预计将达到52亿美元。面对不断

间中拥有三个维度的数据。和二维图像相比，三维图像借

增长的市场需求，各类专门针对人工智能应用的新颖设计

助第三个维度的信息，可以实现天然的物体——背景解耦。 理念和架构创新将不断涌现。除此之外，对于视觉测量来说，物体的二维信息往往随着

当前对人工智能芯片的定义并没有一个公认的标准。

投影方式的变化而变化，但其三维特征对不同测量方式具

比较通用的看法是面向AI应用的芯片都可以称为AI芯片,

有更好的统一性。与二维图像不同，三维图像是对一类信

按设计思路主要分为三大类:专用于机器学习尤其是深度

息的统称，信息还需要有具体的表现形式。其表现形式主

神经网络算法的训练和推理用加速芯片；受生物脑启发设 要包括：深度图（以灰度表达物体与相机的距离），几何 计的类脑仿生芯片；可高效计算各类人工智能算法的通用

模型（由CAD软件建立）和点云模型（所有逆向工程设 AI芯片。备都将物体采样成点云）。在这三种形式中，点云模型是

最为常见也是最基础的三维模型。图2中展示了包、飞机、 汽车、被子等常见物体的点云示意图。点云模型往往由测 量直接得到，每个点对应一个测量点，无需经过其他处理

手段，故其包含了最大的信息量。然而，这些隐藏在点云 中的信息需要以其他手段将其提取出来，提取点云中信息

的过程即为三维点云分析。图1我国人工智能芯片市场规模预计（单位：亿美元）随着智能化逐渐渗透进入能源、交通、农业、公共事业

等更多行业的商业应用场景中，考虑到智能化任务运算力需

图2常见物体（人脸、包、飞机、汽车、杯子）点云示意图求，以及传输带宽、数据安全、功耕、延时等客观条件限制,

AI芯片在越来越多的场景中表现出广阔的应用前景。三维点云分析在诸多领域有着广泛的应用，例如三维 人脸识别、三维人体姿态分析等。对于这些任务而言，都

2 AI芯片的应用场景与发展现状要涉及到点云数据的处理、分析和理解。随着以卷积神经

下面我们将基于三个典型应用场景对AI芯片的目前

网络（CNN）为代表的深度学习方法的兴起，大量的研究

发展现状进行介绍。工作致力于将CNN在图像分析上的巨大成功复制到点云

2.1三维点云的神经网络支持学习领域。在过去的数十年中，随着基于神经网络的深度学习技

一般来说，在点云上进行卷积学习主要面临三大挑战：术以及计算机处理能力的飞速发展，二维图像中的图像识

（1）点云由无序的点集构成，因此卷积需要对点的

别、检测、分类等任务取得了前所未有的进步。然而，我输入顺序具有置换不变性。CHINA SECURITY PROTECTION TECHNOLOGY AND APPLICATION2049年第5期 45安全技术防范（2） 点云分布于三维几何空间中，因此卷积应当对

点云的刚体变换具有鲁棒性，比如平移、旋转等。（3） 点云形成一个隐含的形状，因此卷积得到的表 征应当具备有区分力的“形状意识”。为了应对上述挑战，目前常用的做法是点云分割，

即利用一个小型网络，对输入点云进行仿射变换，从而 将其转换为一个固定的、规范的空间，确保即使对于最

细微的变化，整个网络也是稳定的。最近的一些工作则

在点云分割的基础上，从其他领域汲取灵感来进一步提

高性能。例如Wang等人的论文Dynamic Graph CNNs ,

就使用基于图形的深度学习方法来改善点云中的特征提

取。这些方法对AI芯片提出了很多要求，例如：如何设

计合理的卷积方式，使得其对于非结构化输入数据具有

位置不变性；如何设计有判别能力的三维点云特征表示， 对点云的\"形状”进行建模等。而当前的主流AI芯片集

中于二维图像的网络处理，对三维点云的支持还较少。 部分公司在点云的采集、传输等方面进行了一些尝试， 例如以色列Vayyar公司研发的汽车雷达芯片，可以实时

采集车内外人员物体的三维图像，韩国高等科学技术研

究院的Park Hyo-hoon教授团队则研发出一种三维图像 传感器芯片，可采集特定方向的三维图像数据，进行无

线传输，从而实现高分辨率、高容量的图像信息无限制 通信。但是，如何针对三维点云数据的特点，开发出集

采集、传输、处理等功能为一体的AI芯片仍是当前亟待 解决的问题。三维深度学习方法已经从使用三维数据的派生表示

转变为使用原始数据（点云）。在这个过程中，我们采

用的方法已经从简单地将二维卷积神经网络应用到三维 数据上转变为专门为三维场景设计的方法，这大大提高

了物体分类和语义分割等任务的性能。这些结果非常有

前景，因为它们证明了通过三维技术观察和表示这个世

界是有价值的。然而，这个领域才刚刚步入发展的快车道。

当前的工作不仅要着眼于提高这些算法的准确率和性能，

还要确保鲁棒性和可扩展性。尽管目前大多数研究是由

462049年第5期无人驾驶应用驱动的，但直接在点云上运行的新方法在 诸如三维医学影像、虚拟现实和室内地图等领域也将发

挥重要的作用。2.2低功耗AloTAloT （人工智能物联网），是AI （人工智能）与loT （物 联网）的合并称谓。AloT融合AI技术和loT技术,通过物

联网产生、收集海量的数据存储于云端、边缘端，再通过

大数据分析，以及更高形式的人工智能，实现万物数据化、

万物智联化。从广泛的定义来看，AloT就是人工智能技术

与物联网在实际应用中的落地融合。它并不是新技术，而

是一种新的loT应用形态，从而与传统loT应用区分开来。

如果物联网是将所有可以行使独立功能的普通物体实现互 联互通，用网络连接万物，那AloT则是在此基础上赋予其

更智能化的特性，做到真正意义上的万物互联互通。AloT追求的是一个智能化生态体系,除了技术上需要

不断革新，技术的落地与应用更是现阶段物联网与人工智

能领域亟待突破的核心问题。在消费互联网领域，包括自 动驾驶、城市大脑、人工智能养老、医疗影像、智能语音

等（如图3） , AloT已从学术界走向产业界，并为城市建

设提供越来越多的应用场景。在产业级市场,AloT作为各大

传统行业智能化升级的最佳通道，应用场景遍地开花。2.2.1智能手机智能手机无疑是未来很多“万物互联”的入口，AI、

物联网、移动设备三大技术将强强联合，成为行业新的“标

配”技术。AloT为智能手机赋能，将智能装置、设备都

联接起来，打造新生态。苹果、三星、华为等国内外各大

厂商都在推出具有不同AI功能的手机。2.2.2智能家居智能家居目前仍处在初级发展阶段，AloT将把智能应 用、智能家居产品、硬件家族和平台全部串联起来，让我

们和这些物体实现更智慧的互动，智能家居是未来离消费

者最近的AloT场景。2.2.3工业机器人工业机器人在自动化普及的工业时代，生产过程几乎

中国安全防范技术与应用安全技术防牯完全自动化，机器人具备高度的适应能力。工业互联网不

降低功耗和成本,同时满足AI算力以及跨设备形态的需求。只是实现机器互联，还引入了大量的人工智能°AloT在帮

由于许多应用场景都是基于三维数据，因此在设计

助机器人实现智能互联的同时，还能让管理者任意自如的

AloT芯片的时候，往往需要考虑到三维数据的计算。而 三维数据相比与二维数据而言，数据量更大，数据结构更

复杂，这对芯片架构提出了更高的要求。目前业界已经有

操控，尤其是在很多危险性较大的工业领域。2.2.4自动驾驶自动驾驶需要很多技术支持，除了数据，就是人工智

多家公司推出了相应的三维AloT产品，例如日本瑞萨公

司推出的e-AI解决方案，提供手势数据的学习工具、录

能，帮助车做正确的决策。车的智能解决之后，就得实现 车辆的互联和管控，在自动驾驶状态中，如何保证乘客安

制工具、AI的学习工具，可以达到很高分辨率的3D手势 识别和控制；国内埃瓦电子公司推出了 Ai3100超低功耗

全，是AloT技术正在研究的重点。需要注意的是，在上述多种应用中，场景承载硬件很

AloT芯片和开放平台，做到了即开即用。目前在人脸识别 智能门锁、车载3D刷脸开门场景，是当前唯一达到冷启

动时间100毫秒的人脸识别AloT专门芯片。多为低功耕设备，这就对AloT的功稱提出了严格的要求。

实际上，低功稱和高性能计算是AloT智能硬件设计的重 要要素。此外，AloT对设备端芯片的并行计算能力和存储

尽管目前包括百度、阿里、华为、小米等公司在内的 各大厂商都对AloT智能硬件芯片投入了大量的人力物力，

由于AloT所面临场景，尤其是三维场景的复杂性，目前 这些芯片还远远没有达到令人满意的地步。随着人工智能

器带宽提出了更高的要求，尽管基于GPU的传统芯片能

够在终端实现推理算法，但其功耗大、性价比低的弊端却

不容忽视。在AloT的大背景下,loT设备被赋予了 AI能力，

一方面在保证低功耗、低成本的同时需要完成AI运算（边 缘计算）；另一方面,loT设备与手机不同，形态千变万化，

以及芯片制造技术的进一步发展，AloT智能硬件芯片有望 实现集成化、定制化、高效化的发展，从而使物联网和人

工智能的优势发挥到最大。需求碎片化严重，对AI算力的需求也不尽相同，很难给出

跨设备形态的通用芯片架构。因此，只有从loT的场景出

发，设计定制化的芯片架构，才能在大幅提升性能的同时, 在深度学习领域，通常需要大量的训练数据来指导学图3 AloT应用场景实例CHINA SECURITY PROTECTION TECHNOLOGY AND APPLICATION2049年第5期 47安全技术防范习过程，而在真实场景下，往往大部分类别并没有数据积 累。所以我们希望在学习了一定类别的大量数据后，对于

新的类别，我们只需要少量的样本就能快速学习。这被称

之为小样本学习(Few-shot Learning) „从定义上来说，小样本学习的训练集中包含了很多的

类别，每个类别中有多个样本。在训练阶段，会在训练集

中随机抽取C个类别，每个类别K个样本(总共CK个数

据)，构建一•\" meta-task,作为模型的支撑集(support

set)输入；再从这C个类中剩余的数据中抽取一批样本

作为模型的预测对象(test set) o即要求模型从C*K个

数据中学会如何区分这C个类别。训练过程中，每次训

练都会采样得到不同meta-task,所以总体来看，训练包

含了不同的类别组合，这种机制使得模型学会不同meta­

task 中的共性部分，比如如何提取重要特征及比较样本相

似度等，忽略与任务相关的部分。通过这种学习机制学到

的模型，在面对新的未贝过的meta-task时，也能较好地

进行分类。Training

■airplane

■■

mautomobile

■■□'d■■cat ■u:>©deer也U■

Testingtest set (unlabeled)EOB^a^support sethorse

^SE^IE ■■■SB

ship

■■■■■truck图4，J唏本学习示例图4表示一个10分类问题，传统的方法是基于左边

这些训练集，获得模型，然后对右边测试集进行自动标注。

而对于小样本学习而言，我们大量拥有上方的5种数据，

而新问题(下方5种)只有很少的标注数据，从而给训练 与测试带来了很大的挑战。482049年第5期目前小样本学习的解决方法主要包括：基于微调

(fine-tune)的方法；基于度量(metric)的方法和基于 元学习(meta learning)的方法筈 而对于小样本学习而言,

其应用的主要场景包括医学图像处理、安全场景监控等。2.3.1医学图像处理与自然场景下自然图像获取不同，医学影像的获取十

分艰难。一方面，患者对于个人的就医隐私要更为重视，

医学图像几乎不会上网和共享，此外图像采集的“高门槛

性”也制约着训练样本的获取。医学影像采集需要专门的

设备，有一些设备非常昂贵，比如CT和核磁。另一方面, 大部分数据缺乏标注。对于自然图像来讲，其标定相对容

易，即便是普通人也能够直接标注。但医学影像不同，其

标注需要行业顶尖的专业医生参与，而现实中，临床、科 研任务重，做数据标注对于医生来说“有心无力”。2.3.2安全场景监控对于公共安全场景下的智能监控而言，往往也存在

着“小样本”的问题。虽然大部分的场景下可以获得大

量的原始数据，但是一方面由于这些数据往往很复杂，

标注起来需要耕费大量的人力物力。另一方面这些数据

很多时候存在着安全性要求，因此很难利用社会力量进

行大规模的人工标注。此外，由于场景具有多样性，在

某个场景下训练好的模型在另外的场景中往往性能表现

不佳，因此利用少量数据，寻找数据间的共性部分，是

很重要的研究方向。对于目前的AI芯片而言，小样本学习的训练样本很

少，因此对芯片提出了多种要求，如在较少的训练数据 下达到较高的性能；随时对新增样本进行增量训练，以

满足用户更多个性化的需求；覆盖多种应用场景，对各 个场景中的个性化数据也能准确处理等。而目前主流的

AI芯片厂商仍旧将其作为传统的深度学习任务进行处理， 缺乏对\"小样本”的深层优化。国内厂商曾于2018年推

出一款芯片，该芯片的最大特色是能做到小样本训练达 到较高识别率，并通过大量的并行计算使得训练的速度

和识别的速度基本一致，从而实现图像的快速“片上训练”

中国安全防范技术与应用安全技术防牯与“片上识别”，达到片上学习和在线学习两者并存。随着应用场景的不断丰富，小样本学习以及相应的

[3] 朱延娟，周来水，张丽艳.散乱点云数据配准

算法[J].计算机辅助设计与图形学学报，2006,

芯片设计还有很多可以研究的东西。由于“片上学习”

18(4):475-481.[4] 孙晓鹏,王冠，王璐等.3D点云形状特征的二维

主流形描述[J].软件学报，2015, 263:699-

不需要联网，便能在芯片端实现本地化学习，进而让基

础算法的研发迭代，产品的升级有着更短的周期和更高

的效率。因而在未来网络环境，可用数据相对严苛或有 限的情况下，基于小样本“片上学习”的芯片将有着广 阔的应用前景。709.⑸ 朱利，岳爱珍，周聪.面向城市建筑物3D点云模

型的快速绘制方法[J].计算机辅助设计与图形学

学报，2015, 27(8):1442-1450.3结语底层芯片是人工智能硬件产业链最基础部分，AI芯

片将在人工智能各个行业领域得到广泛应用。从芯片发

⑹杨现辉，王惠南.ICP算法在3D点云配

准中的应用研究[J].计算机仿真，2010,

27(8):235-23&展的大趋势来看，现在还是AI芯片的初级阶段。无论

[7] Wang Y, Sun Y, Liu 乙 et al. Dynamic graph cnn

是科研还是产业应用都有巨大的创新空间。从确定算法、 应用场景的AI加速芯片向具备更高灵活性、适应性的 通用智能芯片发展是技术发展的必然方向。当前已经有

一批企业在产品研发和市场推广上做出了一定的成绩，

for learning on point clouds[J]. arXiv preprint arXiv: 1801.07829, 2018.[8] Zou Y, Li Q. A new service-oriented grid-based

method for AloT appication and implementation[J].

其中包括海外和国内的科技巨头和创业公司，如：英伟

Modem Physics Letters B, 2017, 31:1740064.[9] 李霄寒，海明，钟文杰.从AloT的人机交互需求

看AI芯片的落地路径[J],人工智能,2018(02):122-

达、华为海思、寒武纪、比特大陆等，其产品在云端、

自动驾驶、智慧安防、移动互联网等场景中获得了较好 的应用。应该看到，由于发展较晚，积累不足，我国在

传统IT架构，系统软件等领域国产化率非常低，而AI

130.[10] 李杨.AloT在智慧城市中的应用[J],人工智

能,2019(01):90-9&芯片作为新兴的产业领域，其是否能够实现国产化和自

主可控是我国人工智能产业能否实现弯道超车的关键，

[11] 李子达，廖士中.小样本贝叶斯网络参数学习方

法[J].计算机工程,2016,42(08):153-159+165.值得大力探索。[12] 郑欣悦.基于深度学习的少样本图像分类方法[D],

中国科学院大学(中国科学院国家空间科学中

--------------参考文献----------------[1] 杨震，杨宁，徐敏捷.面向物联网应用的人工智能

相关技术研究[J].电信技术，2016, 8⑸:16-19,心),2019.[13] 梁红，金磊磊，杨长生.小样本情况基于深度学习

的水下目标识别研究[J].武汉理工大学学报(交

通科学与工程版),2019,43(01):6-10.[2] 张俊，王飞跃.知识可编程智能芯片系统：概

念、架构与展望[J].模式识别与人工智能，2018,

31(10):869-876.CHINA SECURITY PROTECTION TECHNOLOGY AND APPLICATION2049年第5期 49