软件定义晶上系统及数据交互方法和系统体系架构转让专利
申请号 : CN202110048177.9
文献号 : CN112800715B
文献日 : 2021-09-24
发明人 : 邬江兴 , 刘勤让 , 汤先拓 , 沈剑良 , 吕平 , 刘冬培 , 董春雷 , 陈艇 , 宋克 , 高彦钊
申请人 : 国家数字交换系统工程技术研究中心 , 天津市滨海新区信息技术创新中心
摘要 :
权利要求 :
1.一种软件定义晶上系统数据交互方法,其特征在于,基于软件定义晶上系统实现,包含:
统计各预制件计算特征及状态信息并进行抽象形式化表示,为实时认知决策和资源分配提供资源信息;对目标应用任务进行任务分解,得到应用任务计算特征和业务属性,并通过抽象形式化表示,为实时认知决策和资源分配提供业务信息;
依据资源信息和业务信息重组预制件内函数化算粒模块及不同预制件连接关系,动态构建适用于任务应用的预制件互联结构,以满足任务应用;
软件定义晶上系统,包含:晶圆级互连基板,设置在晶圆级互连基板上的若干预制件,以及用于不同预制件之间互连的软件定义晶上互连网络,每个预制件根据领域应用功能需求集成有不同的函数算粒;预制件遵循统一的接口标准和物理层协议规范,且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换,并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。
2.根据权利要求1所述的软件定义晶上系统数据交互方法,其特征在于,依据资源信息和业务信息将预制件内不同的函数化算粒模块通过软件定义方式进行不同的算粒组合和功能重建来满足应用需求和任务映射需求。
3.根据权利要求1所述的软件定义晶上系统数据交互方法,其特征在于,所述预制件采用软件定义专用预制件和/或已有商用预制件。
4.根据权利要求1或3所述的软件定义晶上系统数据交互方法,其特征在于,预制件分别采用不同工艺制程和/或不同功能结构和/或不同制造厂商的异构异质预制件。
5.根据权利要求1所述的软件定义晶上系统数据交互方法,其特征在于,所述晶圆级互连晶圆级互连基板通过重布线层RDL或光刻方式提供预制件之间的互联线路;各预制件通过热压焊与晶圆级互连晶圆级互连基板连接。
6.根据权利要求1所述的软件定义晶上系统数据交互方法,其特征在于,所述函数算粒包括但不限于FFT处理算粒或矩阵求逆处理算粒或矩阵乘处理算粒或卷积处理算粒。
7.一种软件定义晶上系统体系架构,其特征在于,基于软件定义晶上系统实现,包含硬件资源层、资源感知层、认知决策层、业务感知层和应用层,其中,应用层提供各种应用业务支持,硬件资源层根据不同应用需求集成有若干预制件;资源感知层用于通过感知算法获取硬件资源层各个预制件的计算特征及状态信息,并将资源信息传递给认知决策层;业务感知层对目标应用任务进行任务分解得到应用任务的计算特征和业务属性,并将业务信息反馈给认知决策层;认知决策层依据资源信息和业务信息动态构建适用于应用任务需求的计算结构,并将该计算结构作为系统配置,硬件资源层依据系统配置重构预制件组合互联结构;软件定义晶上系统,包含:晶圆级互连基板,设置在晶圆级互连基板上的若干预制件,以及用于不同预制件之间互连的软件定义晶上互连网络,每个预制件根据领域应用功能需求集成有不同的函数算粒;预制件遵循统一的接口标准和物理层协议规范,且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换,并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。
8.根据权利要求7所述的软件定义晶上系统体系架构,其特征在于,所述预制件采用软件定义专用预制件和/或已有商用预制件。
9.根据权利要求7或8所述的软件定义晶上系统体系架构,其特征在于,预制件分别采用不同工艺制程和/或不同功能结构和/或不同制造厂商的异构异质预制件。
10.根据权利要求7所述的软件定义晶上系统体系架构,其特征在于,所述晶圆级互连晶圆级互连基板通过重布线层RDL或光刻方式提供预制件之间的互联线路;各预制件通过热压焊与晶圆级互连晶圆级互连基板连接。
11.根据权利要求7所述的软件定义晶上系统体系架构,其特征在于,所述函数算粒包括但不限于FFT处理算粒或矩阵求逆处理算粒或矩阵乘处理算粒或卷积处理算粒。
说明书 :
软件定义晶上系统及数据交互方法和系统体系架构
技术领域
背景技术
应区域,单位面积中容纳的晶体管数量越来越多、良率控制越来越难、功耗问题越来越突
出、制造和设计成本呈指数级攀升,单芯片性能提升业已逼近天花板。同时,继续沿用“堆
砌”器件、组件、机架的传统工程技术路线来发展人工智能、边缘计算、大数据、云平台、5G等
新一代信息系统时,在功耗、时延、性能、体积、可靠性、可维性等方面正遭遇前所未有的严
峻挑战。为了维持后摩尔时代集成电路领域的可持续发展,基于预制件组装和晶圆级异构
集成技术的晶上系统(System on Wafer,SoW)逐步成为集成电路领域的研究热点。
求,同一种应用在不同体系结构上运算性能将差异很大,因此需要应用从功能和性能的角
度去适配固化的系统结构,灵活性和可扩展性较差且具有较大的局限性,应用效能也将大
打折扣,难以满足复杂多样的应用任务需求。
发明内容
础设施的工程技术路线由基于器件、组件、模块、机架逐层堆叠式系统演进为不同颗粒度
“预制件”的拼接组装式实现,以实现面向领域应用的不同预制件的灵活互连与功能重建,
以满足复杂多样的应用任务需求。
连网络,每个预制件根据领域应用功能需求集成有不同的函数算粒;预制件遵循统一的接
口标准和物理层协议规范,且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行
数据交换,并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任
务映射需求。
并通过抽象形式化表示,为实时认知决策和资源分配提供业务信息;
来满足应用任务需求映射。
层根据不同应用需求集成有若干预制件;资源感知层用于通过感知算法获取硬件资源层各
个预制件的计算特征及状态信息,并将资源信息传递给认知决策层;业务感知层对目标应
用任务进行任务分解得到应用任务的计算特征和业务属性,并将业务信息反馈给认知决策
层;认知决策层依据资源信息和业务信息动态构建适用于应用任务需求的计算结构,并将
该计算结构作为系统配置,硬件资源层依据系统配置重构预制件之间的组合关系和互连结
构。
组、机匣、机架、系统”逐层堆叠的工程技术路线,刷新新一代信息系统的物理形态,使设计
指标获得连乘性增益;针对不同计算任务的不同的计算需求,以软件灵活定义与主动感知
重构相结合的方式,快速灵活地实现针对不同应用的计算结构重构,满足不同的计算需求,
配置数据量小,重构速度快,具有较大的灵活性;针对计算构件资源的状态(可用、已用、保
留、故障等)采用计算结构灵活重构,计算任务快速迁移的方式,有效避开故障器件或不可
用构件,进而提高系统的可靠性,具有较好的应用前景。
附图说明:
具体实施方式:
上互连网络,每个预制件根据领域应用功能需求集成有不同的函数算粒;预制件遵循统一
的接口标准和物理层协议规范,且相互之间通过晶圆级互连基板和软件定义晶上互连网络
进行数据交换,并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求
和任务映射需求。
块化、可重用的IP块组成的全行业生态系统,可使用现有的和新兴的集成技术将这些IP块
组装到系统中。2019年9月,人工智能芯片初创公司Cerebras Systems发布世界最大芯片
“晶圆级引擎(WSE,Wafer Scale Engine)”,该系统基于台积电16nm工艺制造,拥有46225平
方毫米面积、1.2万亿个晶体管、40万个AI核心、18GB SRAM缓存、9PB/s内存带宽和100Pb/s
互连带宽,并联合美国能源部推出世界上最快的深度学习计算CS‑1系统,代表SoW领域的最
新研究与应用成果。通用异构集成及知识产权复用策略(CHIPS)项目通过die‑to‑die内部
互联技术将多个chiplet芯片与底层基础芯片封装在一起,构成多功能的异构System in
Packages(SiPs)芯片,该技术主要来源于先进的封装技术,属于chiplet级拼装集成路线,
但其仅代表着一种实现工艺上的创新,在系统体系结构方面没有涉及,属于刚性体系结构
的范畴。晶圆级引擎WSE在整块晶圆上集成40万个AI核心,采用单工艺节点、大芯片集成的
技术路线,其内部小单元均采用同一工艺,主要基于同构和复制的模式来实现AI核心的海
量集成,属于同质同构集成领域,适用于特定的应用领域。此外,现有的SoW相关研究通常基
于刚性固定的体系结构,系统内部具有固定的计算资源、存储资源、IO资源等、且各资源之
间的连接关系和通信带宽亦相对固定。本案实施例中,借鉴预制件组装和晶圆级异构集成
等理念,实现不同功能、性能、工艺等混合粒度预制件的高效集成,可有效破解当前集成电
路面临的发展困局,改变现有“芯片、模组、机匣、机架、系统”逐层堆叠的工程技术路线,刷
新新一代信息系统的物理形态,使设计指标获得连乘性增益。各种软件定义领域专用预制
件或其他成熟商用预制件将基于统一的接口标准和物理层协议规范,利用晶圆级互连基板
和软件定义晶上互连网络来实现异质、异构预制件之间的互连互通和晶圆级系统集成。
能结构和/或不同制造厂商的异构异质预制件。
与功能重建,以适应不同的应用需求和任务映射需求。根据不同的应用需求,SDSoW异构系
统内部可能集成成百上千个不同工艺制程、不同功能和结构(如计算、存储、互连、IO等)、不
同设计和制造厂商的预制件。为支持异构异质预制件的灵活集成,晶圆上不同预制件之间
的互连将遵循统一的接口标准和物理层协议规范。大量的软件定义领域专用预制件、各种
成熟的商用预制件以及统一的互连标准将为系统应用性能的发挥提供灵活、充足的硬件资
源支持。
级互连网络;另一方面可通过微凸点将互连接口引到晶圆级互连基板,便于晶圆上大量异
构异质预制件的互连。在软硬件协同计算架构下,晶圆上集成的预制件可通过软件定义晶
上互连结构进行互连互通,实现速率可定义、带宽可定义、协议可定义,可以满足不同应用
的计算需求、存储需求、互连需求和IO需求等。晶圆级互连基板通过RDL或者光刻的方式可
为预制件之间的互连提供丰富的连线资源,异质异构的预制件单元和晶圆级互连基板通过
热压焊(Thermo Compression Bonding,TCB)的方式连接在一起。一方面,基于晶圆级互连
基板来实现预制件的互连和封装可实现应用系统物理形态的微型化、轻薄化;另一方面,借
助晶圆级互连的高带宽、低延迟、低功耗等显著优势,多个同构/异构、同质/异质的软件定
义领域专用预制件互连和封装成(亚)晶圆尺寸规模的芯片则可用于解决计算、存储、传感、
网络等预制件的晶圆级集成封装,实现应用系统的低延迟、高带宽和高能效。
以主动根据应用需求进行动态改变,一个计算任务在不同阶段、不同时段、不同资源条件、
不同服务质量、不同经济性要求等因素影响下可动态生成合适的计算结构与环境为之服
务,即“结构适应应用”的柔性可变结构。根据不同的系统应用需求,各种软件定义领域专用
预制件或其他成熟商用预制件将基于统一的接口标准和物理层协议规范,利用晶圆级互连
基板和软件定义晶上互连网络来实现预制件之间的互连互通和系统集成。
不同功能、性能、工艺等混合粒度预制件可以在晶圆级规模实现异质、异构集成。晶圆上不
同预制件之间的互连将遵循统一的接口标准和物理层协议规范。根据晶上系统的不同应用
需求,晶圆级互连基板通过RDL或者光刻的方式可为预制件之间的互连提供丰富的连线资
源和通信支持,异质异构的预制件单元和晶圆级互连基板通过热压焊(Thermo
Compression Bonding,TCB)的方式连接在一起,以支持晶圆级规模预制件的灵活集成。
SDSoW可以在整块晶圆上集成成百上千的传感、射频、计算、存储、通信等预制件颗粒,打破
现有集成电路的设计方法、计算范式、实现材料、集成方式等边界条件,可以将大型信息基
础设施的工程技术路线由细粒度的层层堆叠式演进为不同颗粒度“预制件”的拼接组装式。
整个SDSoW主要由软件定义领域专用预制件、软件定义晶上互连网络和晶圆级互连基板三
大部分组成,其他IO、模拟、电源管理和面向测试需求的功能器件等可以以预制件的形式集
成,或直接在晶圆母板上实现功能的集成。
务属性,并通过抽象形式化表示,为实时认知决策和资源分配提供业务信息;
和功能重建来满足应用任务需求映射。
中,应用层提供各种应用业务支持,硬件资源层根据不同应用需求集成有若干预制件;资源
感知层用于通过感知算法获取硬件资源层各个预制件的计算特征及状态信息,并将资源信
息传递给认知决策层;业务感知层对目标应用任务进行任务分解得到应用任务的计算特征
和业务属性,并将业务信息反馈给认知决策层;认知决策层依据资源信息和业务信息动态
构建适用于应用任务需求的计算结构,并将该计算结构作为系统配置,硬件资源层依据系
统配置重构预制件组合互联结构。
架构一方面基于拟态计算思想,实现预制件级面向领域的算粒分解与集成、软件定义算粒
组合与功能重建,让计算架构可以主动根据应用需求进行动态改变,一个计算任务在不同
阶段、不同时段、不同资源条件、不同服务质量、不同经济性要求等因素影响下可动态生成
(或选择)合适的计算结构与环境为之服务,即“结构适应应用”的柔性可变结构,解决当前
计算系统无法兼顾性能/能效和灵活性的难题;另一方面基于软件定义互连思想,实现预制
件接口协议类型、功能性能和电气参数的软件定义,灵活支持超短距、短距、中长距等不同
晶圆级互连场景的高效、可靠通信。不同功能、性能、工艺等混合粒度预制件在晶圆级智能
编译工具和软件定义晶上网络的支持下可以实现面向领域应用的不同预制件的灵活互连
与功能重建,以满足复杂多样的应用任务需求。
的预制件。预制件的设计将根据领域应用的功能需求进行函数化的模块集成与实现,预制
件内部不同的函数化算粒在数据调度层的支持下将以软件定义的方式进行不同的算粒组
合与功能重建(如FFT、矩阵求逆、矩阵乘、卷积等),以适应不同的应用需求和任务映射,如
图3所示。不同功能、性能的预制件之间的互连采用统一的互连协议与接口标准。预制件接
口的设计将基于软件定义互连思想,实现预制件接口协议类型、功能性能和电气参数的软
件定义,并灵活支持超短距、短距、中长距等不同晶圆级互连场景的高效、可靠通信。
策层,为实时认知决策和资源分配提供资源信息。
实时认知决策和资源分配提供业务信息。
化)进行结构的主动变更。为此,一个计算任务在不同阶段、不同时段、不同资源条件、不同
服务质量要求等因素影响下,可根据计算效能动态地生成合适的计算结构。认知决策层输
出的相关信息将作为系统的配置信息直接作用于系统中的硬件资源层,并基于软件定义的
方式直接决定各个预制件的组合关系及其预制件之间的互连关系。
能、重构灵活性、重构便捷性以及系统可靠性的有机平衡。根据预制件的设计规模和功能耦
合度,基础构件的粒度可以是整个预制件,也可以是预制件内部的函数化功能模块。在资源
感知层,硬件资源层中的各个预制件将以基础构件的形式被感知和记录,并以计算特征(功
能、性能等)和当前状态信息的形式提供给认知决策层进行后续决策和调度处理。同样,应
用任务在业务感知层将按照特定的规则和计算粒度进行任务分解,得到应用任务的计算特
征和业务属性,并提供给认知决策层进行后续决策和调度处理。认知决策层将根据任务的
计算需求、资源需求和资源属性,按照预设或配置的决策算法完成基础构件与应用任务之
间的映射关系,并输出相关信息作为系统的配置信息直接作用于系统中的硬件资源层。根
据输出的系统配置信息,基础构件之间将基于统一的互连协议与接口标准,通过软件定义
晶上互连结构进行互连互通,实现速率可定义、带宽可定义、协议可定义,可以满足不同应
用的计算需求、存储需求、互连需求和IO需求等。最终,基础构件可以根据系统任务变化进
行实时重构,进而充分发挥异构计算资源优势,更为高效地满足不同任务的计算需求,提高
系统的整体计算效能。
明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护
范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。