基于压缩感知的图像信息无线传输方法转让专利

申请号 : CN202210208982.8

文献号 : CN114630121B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 廖少林

申请人 : 中山大学

摘要 :

本发明公开了一种基于压缩感知的图像信息无线传输方法,包括在发送端对原始图像信息进行划分获得多个子图像信息,获取各所述子图像信息对应的共同基组,根据缩感知测量矩阵对发送端多输入‑多输出天线阵列进行调制,获得子图像的变换信息,在接收端通过多输入‑多输出天线阵列接收发送端传输过来的子图像变换信息,通过压缩感知还原神经网络对子图像进行还原等步骤。本发明通过将原始图像信息变换为维度更低的子图像变换信息,可以提高传输速度;通过图像/视频帧伪随机矩阵的线性乘积变换,可以减少传输的等效噪声,增加信噪比,可以在不增加空间复用技术的带宽的情况下,提高图像信息的无线传输速度和效率。本发明广泛应用于图像处理技术领域。

权利要求 :

1.一种基于压缩感知的图像信息无线传输方法,适用于毫米波/太赫兹5G/6G无线网络,其具体步骤如下:

1)在发送端

获取要传输的原始图像信息;

对所述原始图像信息进行划分,获得多个子图像信息;

获取各所述子图像信息对应的共同基组;

获取最佳压缩感知测量矩阵;

根据获取的压缩感知测量矩阵,对发送端多输入‑多输出天线阵列进行调制,以获得子图像的变换信息;

2)在接收端

通过多输入‑多输出天线阵列接收发送端传输过来的子图像变换信息;

然后通过压缩感知还原神经网络对子图像进行还原;

所述对所述原始图像信息进行划分,获得多个子图像信息,包括:获取MIMO天线阵列的尺寸大小;

所述MIMO天线阵列的尺寸大小与相同大小的子图像对应;

把原始图像按照所述子图像大小划分为多个子图像;

所述MIMO天线阵列将用于所述子图像的压缩感知信息变换以及无线传输;

所述获取各所述子图像信息对应的共同基组,包括:构建字典学习神经网络;

通过所述字典学习神经网络对各所述子图像信息的图像特征进行学习,获得所述共同基组;

所述获取最佳压缩感知测量矩阵,包括:通过优化方法,获取相关度最小的所述压缩感知测量矩阵为所述最佳压缩感知测量矩阵;

根据所述最佳压缩感知测量矩阵对所述子图像信息进行变换,获得子图像变换信息,包括:对所述最佳压缩感知测量矩阵和所述原始图像信息进行点乘积计算,获得所述子图像变换信息。

2.根据权利要求1所述的基于压缩感知的图像信息无线传输方法,其特征在于,所述压缩感知测量矩阵为伪随机哈达玛矩阵。

3.根据权利要求1所述的基于压缩感知的图像信息无线传输方法,其特征在于,子图像和压缩感知测量矩阵的点乘积操作可以通过可编程的数字电路和多输入‑多输出天线阵列来实现,包括:所述最佳压缩感知测量矩阵和所述原始图像信息的点乘积计算可以通过对数字电路的编程来实现,所述数字电路为FPGA;

所述最佳压缩感知测量矩阵和所述原始图像信息的点乘积计算可以通过发送端的多输入‑多输出天线阵列来实现。

4.根据权利要求1所述的基于压缩感知的图像信息无线传输方法,其特征在于,对所述子图像变换信息进行无线传输,包括:通过毫米波/太赫兹多输入‑多输出天线阵列传输所述子图像变换信息。

5.根据权利要求3所述的基于压缩感知的图像信息无线传输方法,其特征在于,所述基于压缩感知的图像信息无线传输方法还包括:在接收端接收所述子图像变换信息;

对所述子图像变换信息进行采样和数字量化;

构建压缩感知还原神经网络;

通过所述压缩感知还原神经网络对所述子图像变换信息进行子图像还原。

6.根据权利要求1所述的基于压缩感知的图像信息无线传输方法,其特征在于,所述基于压缩感知的图像信息无线传输方法还包括:所述发送端字典学习神经网络学习到的所述共同基组将被传输到接收端,与所述压缩感知还原神经网络进行共享。

说明书 :

基于压缩感知的图像信息无线传输方法

技术领域

[0001] 本发明涉及图像处理和无线传输技术领域,尤其是一种基于压缩感知的图像信息无线传输方法。

背景技术

[0002] 随着图像与视频等大数据的爆炸性增长,比如4K/8K视频等,需要提升其传输的速率。其中一个有效的途径就是采用频带更宽的毫米波(millimeterWave,mmWave:30GHz—300GHz)和太赫兹(THz:300GHz—3THz)频段,比如毫米波/太赫兹5G/6G。由于其更短的波长,毫米波/太赫兹5G/6G通信中可以采用规模更大的多天线阵列技术,从而可以采用多输入‑多输出(MIMO,MultipleInputsMultipleOutputs)空间复用技术来进一步提升通信的速率。例如,一个具有半个波长天线间距的3GHz天线阵列能够部署在31m×31m区域内;然而,在60GHz的时候,这就缩小到更实际的范围1.58m×1.58m。毫米波/太赫兹MIMO探索了空间自由度,为频谱分享提供一个新维度,以增加数据容量并减少延迟。而且,大量、紧密的毫米波/太赫兹基站大大地增加了网络覆盖率,提升了高流量、高密度通信所需的大容量。例如,
2 2
5G/6G小基站的数量预计约为40‑50BSs/km以上,远大于4G‑LTE微蜂窝的8‑10BSs/km。
[0003] 然而,虽然现有的多输入‑多输出(MIMO)空间复用技术的带宽大,但是图像与视频大数据的维度和自由度也大,单纯靠增加空间复用技术的带宽,不能充分提高图像信息的无线传输速度和效率。

发明内容

[0004] 针对目前的图像信息无线传输技术单纯依赖增加空间复用技术的带宽,传输速度和效率受到限制等至少一个技术问题,本发明的目的在于提供一种基于压缩感知的图像信息无线传输方法,包括:
[0005] 获取要传输的原始图像信息;
[0006] 对所述原始图像信息进行划分,获得多个子图像信息;
[0007] 获取各所述子图像信息对应的共同基组;
[0008] 获取最佳压缩感知测量矩阵;
[0009] 根据所述最佳压缩感知测量矩阵对所述子图像信息进行变换,获得子图像变换信息;
[0010] 对所述子图像变换信息通过毫米波/太赫兹进行无线传输。
[0011] 进一步地,所述对所述原始图像信息进行划分,获得多个子图像信息,包括:
[0012] 获取MIMO天线阵列的尺寸大小;
[0013] 所述MIMO天线阵列的尺寸大小与相同大小的子图像对应;
[0014] 把原始图像按照所述子图像大小划分为多个子图像;
[0015] 所述MIMO天线阵列将用于所述子图像的压缩感知信息变换以及无线传输。
[0016] 进一步地,所述获取各所述子图像信息对应的共同基组,包括:
[0017] 构建字典学习神经网络;
[0018] 通过所述字典学习神经网络对各所述子图像信息的图像特征进行学习,获得所述共同基组。
[0019] 进一步地,所述获取最佳压缩感知测量矩阵,包括:
[0020] 通过优化方法,获取相关度最小的所述压缩感知测量矩阵为所述最佳压缩感知测量矩阵。
[0021] 进一步地,所述压缩感知测量矩阵为伪随机哈达玛矩阵。
[0022] 进一步地,所述根据所述最佳压缩感知测量矩阵对所述原始图像信息进行变换,获得子图像变换信息,包括:
[0023] 对所述最佳压缩感知测量矩阵和所述原始图像信息进行点乘积计算,获得所述子图像变换信息。
[0024] 进一步地,最佳压缩感知测量矩阵和所述原始图像信息的点乘积计算可以通过对数字电路的编程来实现,比如FPGA;也可以通过发送端的多输入‑多输出天线阵列来实现。
[0025] 进一步地,所述对所述子图像变换信息进行无线传输,包括:
[0026] 通过毫米波信号/太赫兹MIMO天线阵列传输所述子图像变换信息。
[0027] 进一步地,所述基于压缩感知的图像信息无线传输方法在接收端还包括:
[0028] 接收所述子图像变换信息;
[0029] 对所述子图像变换信息进行采样和数字量化;
[0030] 构建压缩感知还原神经网络;
[0031] 通过所述压缩感知还原神经网络对所述子图像变换信息进行子图像还原。
[0032] 进一步地,所述基于压缩感知的图像信息无线传输方法还包括:
[0033] 当所述发送端的字典学习神经网络学习到新的所述共同基组,将被传输到接收端与压缩感知还原神经网络进行共享。
[0034] 本发明的有益效果是:由于图像的传输速度决定于压缩感知(CS)矩阵的维度,即图像/视频帧大数据的共同基组自由度,实施例中的基于压缩感知的图像信息无线传输方法,通过将原始图像信息变换为维度更低的子图像变换信息,可以提高图像的传输速度;通过图像/视频帧伪随机矩阵的线性乘积变换,压缩感知(CS)毫米波/太赫兹5G/6G图像传输的等效噪声可被减少,信噪比增加。根据香农定理,也就意味通信速率的增加;因此,实施例中的基于压缩感知的图像信息无线传输方法可以在不依赖增加空间复用技术的带宽的情况下,提高图像信息的无线传输速度和效率。

附图说明

[0035] 图1为基于压缩感知的图像信息无线传输方法的示意图;
[0036] 图2为实施例中基于压缩感知的图像信息无线传输方法的流程图;
[0037] 图3为基于压缩感知的图像信息无线传输方法的典型应用场景;
[0038] 图4为实施例中用于验证压缩感知的图像信息无线传输方法的系统结构图;
[0039] 图5为实施例中验证基于压缩感知的图像信息无线传输方法效果的实验效果示意图;
[0040] 图6为实施例中在图像/视频不失真情况下每个字母图像的最高传输速率和所需的信噪比(SNR)示意图;
[0041] 图7为实施例中数字图像传输在不同的传输速率和信噪比(SNR)实验条件下,图像/视频帧的重组失真度示意图;
[0042] 图8为实施例中在图像/视频不失真情况下每个数字图像的最高传输速率和所需的信噪比(SNR)示意图。

具体实施方式

[0043] 本发明公开了一种基于压缩感知的图像信息无线传输方法(如图1所示):1)在传输端,对要传输的原始图像信息进行划分,获得多个子图像信息;然后通过人工智能AI神经网络等方法,比如字典学习神经网络,获取原始图像所有子图像信息的共同基组;再以获取的共同基组为输入,获取最佳压缩感知测量矩阵;随后,利用获取的压缩感知测量矩阵对无线发送端的多输入‑多输出天线阵列进行控制,实现子图像的信息变换;2)在接收端,通过多输入‑多输出天线阵列接收带有噪音的子图像变换信息;然后利用压缩感知图像重建神经网络来复原子图像。本发明通过将原始图像信息变换为维度更低的子图像变换信息,可以提高图像的传输速度;通过图像/视频帧伪随机矩阵的线性乘积变换,也可以增加通信速率;因此,本发明可以在不依赖增加空间复用技术的带宽的情况下,提高图像信息的无线传输速度和效率。本发明广泛应用于图像处理与传输技术领域。该发明的主要步骤如图2所示。
[0044] 该发明的应用包括5G/6G手机‑基站间的无线图像/视频传输;手机‑接入点(AP)间的无线图像/视频传输;手机‑手机的点对点无线图像/视频传输等。该发明属于毫米波/太赫兹5G/6G无线通信技术与计算机人工智能技术领域,尤其涉及一种基于压缩感知(CS)的高速无线图像/视频传输技术。
[0045] 该发明的典型应用例子如图3所示:基站/接入点(Base Station/Access Point or BS/AP,右子图)对待传输的图像与视频大数据进行人工智能(AI)神经网络深度学习得出其最优化的共同基组 然后,通过最小化等效压缩感知(CS)测量矩阵 的相关度μ来获取最佳的 并通过最佳等效压缩感知(CS)测量矩阵 和共同基组 来获得实际压缩感知(CS)测量矩阵 其次,基站/接入点(BS/AP)将应用测量矩阵对图像/视频帧通过多输入多输出(MIMO)进行硬件变换得到图像/视频帧的变换结果随后,手机(左子图)通过传过来的变换结果 和最优化的共同基组 对图像/视频帧进行重组。
[0046] 本实施例中,压缩感知(CS)高速毫米波/太赫兹5G/6G无线图像/视频传输技术的原理如图1所示。参照图2,基于压缩感知的图像信息无线传输方法包括以下步骤:
[0047] S1.获取要传输的原始图像信息;
[0048] S2.对原始图像信息进行划分,获得多个子图像信息;
[0049] S3.获取各子图像信息对应的共同基组;
[0050] S4.获取最佳压缩感知测量矩阵;
[0051] S5.根据共同基组和最佳压缩感知测量矩阵,确定最佳压缩感知测量矩阵;
[0052] S6.根据最佳压缩感知测量矩阵对原始图像信息进行变换,获得子图像变换信息;
[0053] S7.对子图像变换信息进行无线传输。
[0054] 步骤S1‑S7可以由发送端来执行,具体地,发送端可以是手机、接入点和基站等设备,发送端执行步骤S7,向接收端传输图像信息,接收端也可以是手机、接入点和基站等设备。发送端和接收端均设有MIMO天线阵列。
[0055] 具体地,MIMO天线阵列可以是:i)幅度和相位控制天线阵列;ii)可重构发射面(RIS);iii)大智慧型表面(LIS)等。其中:
[0056] i)幅度和相位控制天线阵列:压缩感知(CS)测量通过压缩感知(CS)测量矩阵对待传输的图像进行幅度和相位的控制实现。特别是,最简单的方法是控制每个天线的开与关(On‑OffAmplitude ShiftKeying,ASK)来实现。
[0057] ii)可重构发射面(RIS):待传输的图像每个像素先投射到可重构发射面(RIS)的单元上,然后压缩感知(CS)测量控制可重构发射面(RIS)单元的反射幅度和相位来实现压缩感知(CS)测量。
[0058] iii)大智慧型表面(LIS):和可重构发射面(RIS)类似,并具备更多的感知与信号处理功能。
[0059] 步骤S1中,发送端获取原始图像信息,其中原始图像信息可以是单张静态照片,也可以是多张静态照片,或者是视频流。如果原始图像信息是多张静态照片或者视频流,可以将原始图像信息分解成多帧单张静态照片处理,因此本实施例中可以只对原始图像信息为单张静态照片的情况进行说明。
[0060] 步骤S2中,根据作为发送端的手机、接入点(AP)和基站(BS)所设的多输入多输出(MIMO)天线阵列大小,对原始图像信息进行区块划分。例如,对小规模的手机多输入多输出(MIMO)天线阵列,可设置4×4=16作为划分数量,将原始图像信息划分成16个区块,每个区块都是子图像信息;对大规模的接入点(AP)和基站(BS)多输入多输出(MIMO)天线阵列,可设置42×42=1764作为划分数量,将原始图像信息划分成1764个区块,每个区块都是子图像信息。
[0061] 发送端在执行步骤S3,也就是获取各子图像信息对应的共同基组这一步骤时,具体可以执行以下步骤:
[0062] S301.构建字典学习神经网络(第一个神经网络);
[0063] S302.通过字典学习神经网络对各子图像信息的图像特征进行学习,获得共同基组。
[0064] 由于现实中对相同目标拍摄的多张图像,尤其是对相同目标拍摄的视频数据中的各帧画面之间存在着很强相关性:比如视频中的相连图像帧是前后相连的,它们之间只有局部地方是有变化的。因此,可以基于上述原理对子图像信息进行降维。其中一个很好的解决办法就是对它们在最佳的图像基组中进行分解,以少量的基组(自由度)来表示它们。所以,可以先找到最佳的基组,使得子图像信息在该基组的自由度最少。这就是图像/视频大数据字典学习神经网络(DLNet)(第一个神经网络)的功能。步骤S301中,可以使用L‑层的深度学习神经网络(字典学习神经网络DLNet)作为字典学习神经网络。
[0065] 步骤S302中,将子图像信息表示为 子图像信息的像素点为p×q,在L‑层的深度学习神经网络中子图像信息的1维向量 可以表示为以下方程1和方程2:
[0066]
[0067]
[0068] 其中, N=pq为子图像信息 的共同基组, 为其相应系数,在不写上标时 也可以写为 子图像信息的最佳(最优化)共同基组可以通过最小化 的系数个数来获得,即通过计算 (s.t.方程1.方程2)来求解子图像信息的最佳(最优化)共同基组。
[0069] 由于方程2虽然可以通过多循环迭代的方法求解,但是多循环迭代并不是很适用大规模的图像和视频。因此,步骤S302中,通过构建多层深度学习图像/视频大数据字典学习神经网络(DLNet)对其进行学习和求解,即由字典学习神经网络来计算(s.t.方程1.方程2),对各子图像信息的图像特征进行学习,获得共同基组。
[0070] 发送端在执行步骤S4,也就是获取最佳压缩感知测量矩阵这一步骤时,具体可以执行以下步骤:
[0071] S401.生成多个压缩感知测量矩阵;
[0072] S402.获取各压缩感知测量矩阵各自对应的互相关度;
[0073] S403.确定对应的相关度最小的压缩感知测量矩阵为最佳压缩感知测量矩阵。
[0074] 步骤S401‑S403中,发送端从多个分别具有各自相应的互相关度的压缩感知测量矩阵中,筛选出互相关度μ最小的那个压缩感知测量矩阵作为最佳压缩感知测量矩阵。其中,这些压缩感知测量矩阵都可以是二维循环哈达玛(Hadamard)矩阵。循环哈达玛(Hadamard)矩阵可以表示为 是具有以下特征的矩阵:
[0075] 1)为兼容二进制图像传输, 矩阵中所有元素可以是0或1。
[0076] 2) 矩阵中的行是循环的:通过将第一行转移i步,则可得第i行。
[0077] 3) 矩阵中所有行是伪随机序列:除了某些偏移,它们的傅里叶光谱是平坦的。
[0078] 4)逆矩阵 是运用一个偏移量对自身的转置。
[0079] 5)逆矩阵 同样也是循环的。
[0080] 针对具有循环矩阵 的图像的哈达玛(Hadamard)伪随机矩阵变换变换步骤如下所示:
[0081] 1)首先,将输入的p×q 2D图像转换成矩阵,标记为
[0082] 2)然后,采用孪生素数方法,构建循环哈达玛(Hadamard)序列;
[0083] 3)最后,将循环哈达玛(Hadamard)序列转换成2D模式,标记为
[0084] 图像的伪随机矩阵变换的实现方法有两个:1)软件伪随机矩阵变换;2)基于多输入‑多输出(MIMO)的硬件伪随机矩阵变换。
[0085] 1)对于基于软件的图像传输,其传输实现于软件级别,即,在基带数字处理中计算图像和伪随机矩阵的乘积,例如,FPGA。然后,数字伪随机矩阵变换输出给MIMO天线阵列,以用于传输。对于实验中采用的哈达玛(Hadamard)矩阵,由于其循环特性,哈达玛(Hadamard)变换被可认为是图像/视频帧与循环哈达玛(Hadamard)矩阵的卷积,可以通过高效的快速傅里叶变换实现。
[0086] 2)对于基于硬件的图像传输,其传输实现于硬件级别。因此,意味着更高速的图像传输。对于实验中采用的哈达玛(Hadamard)矩阵,由于其循环特性,可以通过循环寄存器实现,大大地简化了转换的硬件构架。
[0087] 本实施例中,可以不再关注除最佳压缩感知测量矩阵之外的其他压缩感知测量矩阵。本实施例中,将最佳压缩感知测量矩阵记为 在执行步骤S5,也就是根据共同基组和最佳压缩感知测量矩阵 确定最佳压缩感知测量矩阵这一步骤时,具体可以执行以下步骤:
[0088] S401.以共同基组 的逆矩阵右乘最佳压缩感知测量矩阵 获得最佳压缩感知测量矩阵 即
[0089] 步骤S401的原理在于:根据压缩感知的原理,有如下方程:
[0090]
[0091] 将方程1代入方程3,可以得到以下方程:
[0092]
[0093] 为了提高压缩感知(Compressed Sensing,CS)的效率,其测量矩阵(最佳压缩感知测量矩阵) 需要满足最小互相关特性μ,因此有:
[0094]
[0095] 其中, 为 的归一化矩阵。
[0096] 根据方程4中的 可以得到
[0097] 本实施例中,发送端在执行步骤S6,也就是根据最佳压缩感知测量矩阵对原始图像信息进行变换,获得子图像变换信息这一步骤时,具体可以执行以下步骤:
[0098] S601.对最佳压缩感知测量矩阵 和原始图像信息 进行点乘积计算,获得子图像变换信息
[0099] 步骤S601实际上是方程3即
[0100] 执行步骤S601进行压缩感知(CS)的2种实现方法包括:i)软件方式;ii)硬件方式。压缩感知(CS)利用图像在最佳基组的稀疏自由度的特性,通过远小于图像像素N的测量数量M<<N而能够重建出无损的完整图像,其中, 为压缩感知(CS)测量矩阵。 为压缩感知(CS)测量结果。方程3可以通过软件或者硬件的方式实现计算:
[0101] i)软件方式:方程3中的压缩感知(CS)测量结果 可以通过数字基带处理器(比如FPGA)的直接计算获得,然后应用传统的毫米波/太赫兹5G/6G多输入‑多输出(MIMO)通信来传输压缩感知(CS)测量结果即子图像变换信息
[0102] ii)硬件方式:方程3也可以利用压缩感知(CS)测量矩阵 对与毫米波/太赫兹多输入‑多输出(MIMO)阵列单元相连的待传输图像进行幅度和相位的调制来实现。其中,毫米波/太赫兹多输入‑多输出(MIMO)阵列包括天线阵列、可重构发射面(RIS)或者大智慧型表面(LIS)等。
[0103] 本实施例中,发送端在执行步骤S7,也就是对子图像变换信息进行无线传输这一步骤时,具体地可以将子图像变换信息 加载在毫米波信号(30GHz‑300GHz)/太赫兹信号(300GHz‑3THz)从而进行传输。
[0104] 本实施例中,基于压缩感知的图像信息无线传输方法还包括以下步骤:
[0105] S8.接收子图像变换信息;
[0106] S9.对子图像变换信息进行采样和数字量化;
[0107] S10.构建压缩感知还原神经网络;
[0108] S11.通过压缩感知还原神经网络对子图像变换信息进行图像还原。
[0109] 本实施例中,由接收端执行步骤S8‑S11。接收端通过伪随机矩阵反变换,实现图像/视频帧重构,包括图像/视频帧的数字量化。同样的,有两种实现方法可以实现图像还原:1)软件图像/视频帧重构;2)基于多输入‑多输出(MIMO)的硬件图像/视频帧重构。
[0110] 1)软件图像/视频帧重构
[0111] 压缩感知(CS)图像/视频帧重构方法包括传统的循环迭代法,比如基于L1‑norm的优化算法Lasso等;和人工智能(AI)神经网络。
[0112] 2)基于多输入‑多输出(MIMO)的硬件图像/视频帧重构
[0113] 首先,通过多输入‑多输出(MIMO)来实现硬件准倒转测量矩阵,获得近似的图像/视频帧重构;然后再通过软件方法对图像/视频帧进行更准确的重构。
[0114] 本实施例中,接收端在执行步骤S8‑S11,即压缩感知(CS)图像重建步骤时,具体可以执行以下步骤:接收端对接收到带有噪音的压缩感知(CS)测量结果即子图像变换信息后,先对即子图像变换信息 进行采样和数字量化,然后通过压缩感知(CS)图像重建算法进行图像还原。由于噪音的存在,为了使得还原的图像具有更小的失真度,需要设计好的压缩感知(CS)图像重建算法。通常的压缩感知(CS)图像重建算法包括i)循环迭代法;ii)人工智能(AI)神经网络。
[0115] i)循环迭代法:包括基于L1‑norm的优化算法Lasso等。
[0116] ii)人工智能(AI)神经网络:通过构建多层神经网络来实现压缩感知(CS)图像重建。由于压缩感知(CS)图像重建和图像/视频大数据字典学习神经网络
[0117] (DLNet)都可以用方程1描述的同一个神经网络来表示,所以它们可以共用同一个神经网络,只是学习的参数不同:图像/视频大数据字典学习神经网络(DLNet)[0118] 学习的是图像/视频大数据的基组,而压缩感知(CS)图像重建学习则是其系数。
[0119] 压缩感知(CS)高速毫米波/太赫兹5G/6G无线图像/视频传输的端对端整体优化:由于图像与视频传输的一个重要指标为图像与视频还原的失真度,因此,为了降低图像与视频还原的失真度,需要以图像与视频还原的失真度为目标函数,进行从发送端到接收端的端对端整体优化,以获得整体最佳的压缩感知(CS)测量和最好的图像与视频还原。这种端对端整体优化可以是通过线下端对端神经网络的学习来进行,也可以在线上通过接收端的反馈结果来进行。
[0120] 本实施例中,基于压缩感知的图像信息无线传输方法还包括以下步骤:
[0121] S12.当字典学习神经网络学习到新的共同基组,字典学习神经网络将新的共同基组共享到压缩感知还原神经网络。
[0122] 由于接收端需要用到基组对其接收到的压缩感知(CS)测量结果进行更快更好的图像还原,因此需要发送端共享其学习到的最佳基组。这种共享是一个不断更新的过程:每当图像/视频大数据字典学习神经网络(DLNet)学习到新的图像基组变化,发送端将对接收端的基组进行更新。
[0123] 实验验证
[0124] 为了证明本实施例中的基于压缩感知(CS)的图像信息无线传输方法的高效性,可以搭建图4所示的传输实验系统,测试了压缩感知(CS)高速毫米波/太赫兹(94GHz)无线图像/视频传输过程,即测试执行步骤S1‑S11。执行步骤S1‑S11的其他因素如下:
[0125] 1)图像/视频帧由字母图像和数字图像组成。
[0126] 2)伪随机矩阵为循环哈达玛(Hadamard)矩阵,并由孪生素数方法产生。
[0127] 3)伪随机循环哈达玛(Hadamard)矩阵掩膜可通过紧密机械制造或者光刻蚀技术制造;
[0128] 4)伪随机循环哈达玛(Hadamard)矩阵由电脑控制3维平移台进行伪随机矩阵循环切换。
[0129] 5)伪随机哈达玛(Hadamard)矩阵变换由毫米波/太赫兹照射到紧密重叠的图像/视频帧和伪随机矩阵为循环哈达玛(Hadamard)矩阵掩膜来实现。
[0130] 6)单像素毫米波/太赫兹探测器对伪随机哈达玛(Hadamard)矩阵变换进行探测。
[0131] 7)运行在电脑上的人工智能(AI)压缩感知(CS)重构神经网络将对图像/视频帧进行重组还原。
[0132] 图5展示了压缩感知(CS)高速毫米波/太赫兹5G/6G无线图像/视频帧传输方法的实验结果:字母图像传输在不同的传输速率和信噪比(SNR)实验条件下,图像/视频帧的重组失真度。从中可以看出,在一定的信噪比(SNR)实验条件下,传输速率可以大大地被提升,而不出现图像/视频失真。比如字母I在信噪比SNR=12时,传输速率达到了12倍速而不出现图像/视频失真。图6则总结了在图像/视频不失真情况下每个字母图像的最高传输速率和所需的信噪比(SNR)。
[0133] 相似地,图7展示了本实施例中的基于压缩感知的图像信息无线传输方法的实验结果:数字图像传输在不同的传输速率和信噪比(SNR)实验条件下,图像/视频帧的重组失真度。从中可以看出,在一定的信噪比(SNR)实验条件下,传输速率可以大大地被提升,而不出现图像/视频失真。比如数字1在信噪比SNR=15时,传输速率达到了18倍速而不出现图像/视频失真。最后,图8总结了在图像/视频不失真情况下每个数字图像的最高传输速率和所需的信噪比(SNR)。
[0134] 综上,本实施例中的基于压缩感知的图像信息无线传输方法有以下主要创新点:
[0135] 1)将压缩感知(CS)技术应用于高速毫米波/太赫兹无线图像/视频传输中。
[0136] 2)与多输入‑多输出(MIMO)毫米波/太赫兹5G/6G技术相兼容。
[0137] 3)可通过多种毫米波/太赫兹多输入‑多输出(MIMO)阵列实现,包括天线阵列,可重构发射面(Reconfigurable Intelligent  Surface,RIS),大智慧型表面(LargeIntelligent Surface,LIS)等。
[0138] 4)可用于图像,也可用于视频毫米波/太赫兹5G/6G无线传输。
[0139] 5)在图像/视频发送端(比如,毫米波/太赫兹5G/6G基站),图像/视频大数据字典学习神经网络(DLNet)学习出图像/视频大数据的基组。
[0140] 6)在图像/视频发送端(比如,毫米波/太赫兹5G/6G基站),由DLNet得到图像/[0141] 视频基组后,对压缩感知(CS)测量矩阵进行优化。
[0142] 7)在图像/视频发送端(比如,毫米波/太赫兹5G/6G基站),应用优化后的压缩感知(CS)测量矩阵通过软件或者硬件的方式来实现图像/视频进行压缩感知(CS)
[0143] 测量或变换:i)软件方式:在数字基带中计算压缩感知(CS)测量矩阵与图像/[0144] 视频的乘积,然后把得到的乘积结果用常规的毫米波/太赫兹5G/6G MIMO通信来实现;ii)硬件方式:用压缩感知(CS)测量矩阵对与图像/视频相连接的多输入‑多输出(MIMO)阵列(比如可重构发射面RIS或者大智慧型表面LIS)进行幅度和相位的调制。
[0145] 8)在图像/视频接收端(比如,毫米波/太赫兹5G/6G手机;访问接入点:AP;和基站:BS),对接收到的压缩感知(CS)结果经过模拟数字转换器采样和量化后,应用压缩感知(CS)图像/视频重建算法或神经网络对其进行复原。
[0146] 9)最后,为了进一步提升压缩感知(CS)毫米波/太赫兹无线图像/视频传输的速率,将上述步骤5)到步骤8)进行整合优化,开发出端对端(End‑to‑End)优化神经网络。
[0147] 具体到数据通信过程,本实施例中的基于压缩感知的图像信息无线传输方法的优点如下:
[0148] 1)图像的传输速度决定于压缩感知(CS)矩阵的维度,即图像/视频帧大数据的共同基组自由度,通过将原始图像信息变换为维度更低的子图像变换信息,从而提高图像的传输速度;
[0149] 2)通过图像/视频帧伪随机矩阵的线性乘积变换,压缩感知(CS)毫米波/太赫兹5G/6G图像传输的等效噪声可被减少,信噪比增加。根据香农定理,也就意味通信速率的增加。
[0150] 3)压缩感知(CS)图像传输技术可兼容于毫米波/太赫兹5G/6G多输入‑多输出(MIMO)
[0151] 技术。
[0152] 需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
[0153] 应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
[0154] 应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术‑包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
[0155] 此外,可按任何合适的顺序来执行本实施例描述的过程的操作,除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0156] 进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
[0157] 计算机程序能够应用于输入数据以执行本实施例所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
[0158] 以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。