清华微电子13年磨一剑终示人造出首枚多模态AI芯片

作者: 责任编辑NO。石雅莉0321 2019-09-30

两年前,《麻省理工科技谈论》从前首先报导过一项来自清华大学微电子学院的智能芯片学术打破——考虑者(Thinker)多模态神经网络核算芯片,称其为“至上打破”(a crowning achievement)

现在,当年这项研讨中的中心技能——可重构核算——现已走出试验室。

图|Thinker 芯片(来历:清华)

以清华微电子系可重构核算团队为布景于 2018 年建立的新公司“清微智能”(清代表清华,微代表微电子),在不久前的阿里云栖平头哥生态论坛,发布其全球首款可重构多模态智能芯片“TX510”。

在眼下职业纷繁推出专用 AI 芯片的大潮中,这颗面向通用核算而面世的 AI 芯片,似乎是个异类。

未来 AI 会终究走向通用核算仍是专用核算?

在这个巨大悬念之上,可以看到的是,一众人马在不断地提高工艺,这天然能提高芯片功能,但跟着摩尔定律逐步趋缓,在后摩尔年代,底层架构立异也已呈现来势汹汹、异军突起之势。

“可重构核算”:清华团队13年的芯片底层架构立异

作为一种架构立异,可重构核算可根据算法和运用的不同灵敏装备硬件资源,履行不同的使命,一起具有通用芯片的灵敏性和专用集成电路的高效性。

就像是芯片范畴的“变形金刚”:硬件跟着软件变,软硬件双编程,“兵来将挡,水来土掩”。

图|云栖现场展现的 TX510(来历:清微智能)

跟着云核算、大数据、物联网等技能的开展,需求芯片具有更强的算力;万物智能孕育了巨大的商场需求,但这个商场碎片化,需求具有多样性,这要求芯片更灵敏,更高效,可以习惯不同的运用场景,一起,在对功耗灵敏的场景下,仍然可以坚持一个较高的算力,可重构核算被寄予厚望以满意这样的需求。

而这也正是可重构核算在国际上备受注重的原因:《国际半导体技能路线图》称可重构技能是最具远景的未来核算架构。美国国防部高档研讨方案局从 2017 年开端,投入巨大精力支撑“运行时快速重构”的硬件架构研讨。

不过,美国比较成型的研讨和产品开发大概在 2016 年左右呈现。在可重构技能的研讨上,我国并不是跟随者:可重构核算是一种全新的芯片架构技能,具有彻底我国自主知识产权。

领导清华可重构核算研讨的清华大学微电子学研讨所所长魏少军教授也曾揭露表明,“可重构核算芯片技能是集成电路范畴十分有期望的差异化技能,具有广泛适用性。”

乍看之下,可重构核算和当下的干流做法异构核算有些相似,异构核算相同会调用不同的核算单元去履行各单元拿手的使命。

但事实上,两者并不相同。清微智能首席科学家、清华大学微电子副教授尹首一在承受 DeepTech 独家专访时解释道:“异构核算相对简单,由于 CPU、DSP 等都是现成的,将它们集成在一起即可。可重构核算是更底层的核算架构技能立异,自身具有挺高的技能含量和门槛。”

图|清微智能首席科学家、清华大学微电子所副所长尹首一教授(来历:清微智能)

清华微电子团队从 2006 年开端研讨可重构核算。在建立公司之前,团队总共在试验室内开发了共四颗芯片,并进行了技能验证。且自研讨的初始,团队的方针便是朝向通用核算。

“可重构核算使得芯片有才干去做通用核算,比方 DSP、FPGA 这种相对通用的处理使命,都能很好在重构核算上完结,从 2015 年开端,咱们把这个技能运用到一些AI核算中,发现它也能发挥出很好的作用。可重构核算这个技能自身的特色验证了它可以处理通用核算”,他说。

2016 年,第一颗根据可重构核算的芯片在清华的试验室中诞生。

其时的效果也以论文的方式宣布在职业的顶刊IEEE Journal of Solid-State Circuits(《IEEE固态电路期刊》),也正是那时分,《麻省理工科技谈论》英文版专门报导了那颗芯片。

“通过试验室的屡次验证今后,咱们基本上对技能现已十分自傲了,花了一些时刻持续打磨,并对商业以及落地的方向,整个技能与产品形式做了规划,差不多在 2017 年开端准备公司,2018 年公司建立”,他说。

建立之后,清微智能于上一年推出第一款产品语音芯片“TX210”,首要面向智能耳机。最新带来的 TX510,不只支撑视觉智能处理,也支撑语音智能处理。典型功耗为 400mW,峰值算力达 1.2TOPS@INT8,支撑混合精度核算和稀少神经网络,AI 核算有效能效比达 5.6TOPS/W@INT8。

图|可重构核算的特色(来历:清微智能)

“多模态”界说的未来核算使命

拆分最新面世的 TX510 芯片,除了中心的“可重构”之外,另一个要点在于“多模态”的核算。

多模态则是指,其面向的核算使命的类型的多样性,一方面包含深度学习神经网络的图画算法、语音算法,另一方面,除了 AI 算法之外,还可以履行经典算法比方传统的视频信号处理算法等。

现场展现的一款智能门锁运用,便是一个需求这种才干的场景。当然,这种“多模态”的才干相同源于可重构核算这一底层的根底架构立异。不过尹首一以为,广义来看,但凡需求语音,或许更高精度身份辨认的场景,都可以运用 TX510。

尹首一指出,未来 AI 运用开展走向多元化,带来的核算使命也将是多元的一款芯片产品应该一起可以进行经典核算、AI 核算,在 AI 核算中也可以跑不同类型的算法,而回归到实在的核算使命视点, AI 核算本质上也需求许多不同类型的算法协作。

“以人脸辨以为例,其间除了神经网络、深度学习的算法,还有许多图画处理的算法。图画要缩放、旋转、对齐,这些归于经典的信号处理。因而,从运用的视点来说,即便它是 AI 运用,也应当具有相对通用的核算才干,才干实在地完结使命,不然仅仅一个单纯的神经网络加速器,不足以支撑一个完好的运用”,他说。

图|现场展现的人脸辨认门锁运用(来历:DeepTech)

为了更好地面向未来的视觉场景,TX510 搭载了时下抢手的 3D 结构光引擎,据介绍可支撑单、双目 3D 结构光,3D 活体检测、红外活体检测、可见光活体检测等,可以抵挡相片、视频等二维进犯,面具等三维进犯。误识率千万分之一的情况下辨认率大于 90%,大大高于指纹误识率五万分之一的安全目标,呼应时刻不超越 30ms。

3D 视觉是现在核算机视觉的一个抢手工业论题,相同是通过了十分多年的堆集,前期首要用于运动捕捉,近几年得益于技能的老练完成了主布的小型化,价值结构光传感器的开展,3D 视觉的运用开端得以小型化,可以被集成到比方手机等小型设备上。根据 3D 结构光引擎可以完成深度视觉信息的处理,3D 人脸辨认、工业场景中的空间建模,也将是这款芯片的运用场景。

“咱们以为,将来一切用到视觉的当地或许都会是 3D 视觉,由于人的视觉自身是立体的,3D 信息背面还隐藏着许多信息,3D 智能视觉肯定是未来的必然趋势,仅仅现在还受限于一些运用场景或许产品开发问题”,他说。

但 TX510 的 3D 结构光引擎中,3D 视觉深度生成的相关算法并未选用一众视觉算法公司的解决方案,而是团队自研。

图|TX510 芯片架构(来历:清微智能)

别的值得一提的是,TX510 集成了阿里平头哥的两款 IP Core,团队也现已在和定位“AIoT 根底设施提供商”的平头哥有着亲近的协作,例如运用无剑渠道进行芯片规划,可在运用现成的通用模块级根底上,团队更专心于把架构做好。

“从这视点来讲,咱们会长时间的和平头哥协作下去,这样咱们相互之间的优势就能很好的可以结合起来”,尹首一说。

据悉,TX510 的第一批客户,将阿里生态圈中的协作伙伴。估计到下一年,清微智能的语音芯片和可重构多模态芯片 TX510 的总出货量或许在 4000 万颗左右。

关于未来商场或许的不确定性,他以为,可重构核算作为一种新技能呈现在商场中,假如实在体现出了十分优胜的能效比算力,存在各方面的优势,信任商场会很快承受它,这将是一个不断遍及的一个进程。

那么,可重构核算寻求完成通用核算,是否有什么会被献身掉了?

尹首一以为,做到通用,未必一定会献身一些其他的利益:“就像每一代 CPU 的更新,比方英特尔 CPU 一直在不断地前进,它并没献身什么。关于这个芯片来讲也是相同,它自身底层的架构是一种立异。假如是 trade-off 思想,技能就不会有前进,由于总是会献身了一些东西。

只要技能没前进的时分,咱们才会说总得献身点什么才干换点什么。假如技能真的前进了,就不需求献身,芯片才干才是实在的提高”。

-End-

重视 DeepTech

发现改动国际的新式科技

(微信号:deeptechchina)

坐标:北京·国贸

请随简历附上3篇往期着作(实习生在外)

热门要闻
原创推荐
阅读排行