交流传输信号神经电路和深度学习模型设计

I. 引言

我们提出通过交流操作的模拟电子电路实现神经网络的动态学习。该模型将利用模拟神经电子电路开发一种新型信号装置。本研究的目标之一是生物医学神经功能的建模。在神经网络领域，已提出了许多应用模型，并实现了多种硬件模型。这些模拟神经网络模型由运算放大器和固定电阻组成，连接系数难以改变。

A. 模拟神经网络

模拟神经网络通过连续量来表示电压、电流或电荷。其主要优点是可以通过时钟操作构建连续时间系统以及离散时间系统。显然，实际神经元细胞的运行机制本质上是模拟的，因此采用模拟方法来模仿实际神经元细胞的运行是合适的。许多人工作神经网络大规模集成电路采用模拟方法设计。由于每个单元仅需少量元件即可实现加法电路、乘法电路和非线性变换，因此可在单芯片上集成大量处理单元，并可利用超并行计算进行运算。因此，在高速方面相比数字神经网络方法具有优势。
[1][2]。在纯模拟电路中，主要问题是实现模拟存储器，即如何记忆模拟量[3]。这一问题至今尚未解决。DRAM方法利用电容器作为临时存储来实现记忆，因其可在通用 CMOS工艺中实现[4]。然而，当数据需要长期保存时，仍需使用数字存储器，此时数模和模数转换会引起开销问题。
其他存储方法包括浮栅型器件、铁电存储器（FeRAM）和磁性物质存储器（MRAM）[5][6]。

B. 脉冲神经网络

另一种硬件神经网络模型已被提出，该模型采用脉冲神经网络。特别是在处理时间序列数据时，脉冲神经网络模型具有显著优势。此外，该网络能够在学习过程结束后保持连接权重[7]。学习电路使用电容器的原因是电路工作所需时间较长。通常情况下，脉冲神经网络的脉冲间隔约为 10ȝS。脉冲神经元模型通过神经元放电的概率来表示输出值。例如，若神经元在100个脉冲间隔内放电50次，则此时的输出值为0.5。为了用脉冲神经元模型表示模拟量，大约需要100个脉冲，因此在脉冲神经元模型上表示输出模拟信号大约需要1毫秒。

在本研究中，我们使用了多个电路。连接权重描述了输入电压。改变连接系数很容易。该模型仅在模拟电子电路上运行。它可以在很短的时间内完成学习过程，并且该模型将允许更灵活的学习。最近，许多研究人员关注半导体集成产业。特别是低功耗、低成本和大规模模型非常重要。神经网络模型解释了生物医学神经系统。神经网络具有灵活学习能力。许多研究人员使用电子电路和软件模拟生物医学脑神经元的结构。

C. 概述

神经网络研究的结果为神经科学领域提供了反馈。这些研究领域曾经被广泛开发。神经网络的学习能力类似于人类机制。因此，有可能构建出更好的信息处理系统，结合计算机模型和生物医学脑模型两者的优势。神经网络的结构通常由三层组成：输入层、中间层和输出层。每一层都由连接权重和单元构成。通过组合神经元结构[8][9]，将这三层构成一个神经网络。

在神经网络领域，已提出了多种应用方法和硬件模型。开发了神经芯片和人工视网膜芯片，以构成神经网络模型并模拟生物医学视觉系统。在本研究中，我们正在增加运算放大器的电路。连接权重表示加法电路的输入电压。在以往的神经网络硬件模型中，改变连接权重较为困难，因为这些模型使用电阻元件作为连接权重。

此外，还提出了一种使用电容器作为连接权重的模型。然而，这种模型难以调节连接权重。在本研究中，我们提出了一种使用模拟乘法电路的神经网络。连接权重以多路电路的电压形式表示，可以轻松地改变连接权重，从而使学习过程更快。首先，我们通过计算机程序构建了神经网络，并通过SPICE仿真构建了神经电路。SPICE意为下一章中所示的电路仿真器。接着，我们进行了计算机计算与 SPICE仿真的行为确认，比较了两者的输出结果，并在一定程度上确认了异或行为[10][11]。

II. 基于多路电路的神经网络

在本研究中，我们使用了电路仿真器SPICE。电路仿真器（SPICE）是集成电路强调仿真程序的缩写。它可以重现电气电路和电路的模拟操作。之后，通过计算机辅助设计绘制电路，并设置输入电压。SPICE具有交流、直流和瞬态分析功能。

首先，我们制作了差分放大电路和吉尔伯特乘法器电路，并确认了其电压工作优异。该神经元结构由多个电路组成，包括用于实现乘法功能的运算放大器、用于实现非线性函数的电流镜电路以及差分放大电路。

在先前的神经网络硬件模型中，我们使用电阻元件作为连接权重。然而，改变电阻值较为困难。在神经连接中，它需要计算输入值与连接权重的乘积。我们使用乘法电路作为连接权重。每个乘法电路的两个输入分别表示输入值和连接权重。连接权重以电压值表示。在神经网络的学习阶段，改变该值非常容易。

图1是使用电流镜电路通过电流相加实现输入信号与连接权重乘积的双输入单输出神经电路，该电路再现了单个神经元的特性。在该神经电路中，每个突触的输入部分需采用加法减法电路。在我们之前的研究中，采用的是基于运算放大器的加法减法电路；然而，在本研究中，我们采用了开关电容加法/减法电路。该电路能够短暂保持输出信号，具有实用性。

当神经网络在完成学习后进入工作阶段时。

III. 基于模拟电路的感知器网络

我们构建了一个双输入单输出感知器神经网络。在图2中，展示了感知器神经网络的框图。“ĀMul”表示多路电路，“Add”表示加法电路，“Sub”表示减法电路。

图3展示了双输入单输出的感知器电路。学习时间约为900ȝS[12]。

图4展示了三层神经电路结构。在图5中，我们在 Capture CAD中通过SPICE展示了学习神经电路。

IV. 交流操作神经电路

我们在之前的研究[3]中提出了模拟神经网络。然而，由于半导体特性，其工作范围非常小。在构建网络存在输入输出范围受限的缺点。此外，由于多路电路的特性，电路操作会变得不稳定。我们尝试在图6的模拟神经网络中使用交流电。交流电通过一根导线传输电压和频率两个要素。交流输入电压用作输入信号，频率则确定连接权重。CR电路在稳定性方面表现优异。

在之前的模型中，我们使用多路电路来计算输入信号和连接权重。然而，这种交流电路可以通过CR电路计算电压和频率的乘积。图7是交流操作神经电路的输出。由于输出电压单调增加，它在3kHz到30kHz的频率范围内运行良好。

图8是神经电路的输出，频率范围为3kHz到30kHz，电压范围为5V到9V。我们观察到输出电压在二维区域内呈单调递增。

我们构建了反馈学习交流运算神经电路。必须将反馈信号转换为连接权重。该电路使用频率作为连接权重。我们使用压频转换器单元从校正误差中获取频率。图9显示输出收敛。学习时间仅为 20ȝS。经过多次实验，最长的学习时间在1毫秒以内。

V. 深度学习模型

最近，提出了一种深度学习模型。深度学习是学习模型中的一类算法。它通过多次非线性变换和一种机器学习方法，尝试对数据进行高层分类。在图像识别和语音识别领域，深度学习方法已引起了关注。

A. 堆叠自动编码器

堆叠自编码器是深度学习的一种方法。这是多层网络的预学习方法。构建深层网络的方法如下。
堆叠自编码器的学习过程完成后，移除堆叠自编码器的解码部分（输出层），保留编码部分（从输入层到中间层）。由此得到一个将输入信号转换为压缩信息表示的网络。
此外，我们获得了更加压缩的内部表示，并将该压缩表示的输入信号用于自动编码器学习。因此，我们得到一个多层层次网络，通过递归重复自动编码器学习，并堆叠网络的编码部分。这种构建的多层网络称为堆叠自动编码器。通过这种方式，在构建多层网络之后，利用最终层的输出添加识别网络，提出了一种新的监督学习方法。

堆叠自编码器已被应用于各个领域，如同将受限玻尔兹曼机堆叠而成的深度神经网络一样。最近，从大量图像中学习特征提取器的学习实验变得广为人知。
该网络结构包含九层，由三个堆叠的子网络（如卷积网络）组成。它以从1000万段YouTube视频中截取的1000万张图像作为输入信号进行学习。每个子网络均通过使用堆叠自编码器方法的无监督学习构建而成。结果表明，已形成能够特异性响应多种类型物体（如人脸、猫脸和饮料瓶）的神经元[13]。

在之前的研究中，我们描述了动态神经网络学习模型。然而，该模型仅有一个输入单元和一个输出单元。为了实现硬件深度学习模型，我们必须增加每一层中的单元数量。
接下来，我们构建了一个双输入、单输出、两种模式的神经网络模型，如图12所示。“V-F”表示电压-频率转换电路，用于将反馈纠错信号转换为图12中的连接权重。I1和 I2为输入单元。两个I1表示两个输入。T1和T2表示两个教学信号。W11和W12为连接权重。图13表示双输入、单输出、4模式模拟神经网络的结构。它表示每种模式有4个输入和4个教学信号。图14表示双输入、双输出、两种模式、三层模拟神经网络的结构。尽管该模型需要大量神经连接，但其学习速度非常高。学习完成后，提取输入层与中间层之间的各个新的连接权重。这些连接权重将被用作深度学习模型的一层。我们将提取中间层的各个输出值。这些中间层的输出值将作为下一轮自动编码器学习的输入值。该模型表明了实现深度学习模型硬件实现的可能性[14]。
然而，该模型仅具有图14所示的学习机制，在完成学习过程后，需要固定连接权重。我们在之前的研究中提出了如何固定连接权重的方法。我们采用了使用采样保持电路[12]的两阶段学习方法。在学习阶段，我们使用了模拟反馈电路，并为每个教学信号使用单独的神经网络，从而实现实时学习。
在工作阶段，我们使用采样保持电路来保持连接权重。在此阶段，该神经网络处于工作状态。该电路可以执行周期性的工作，具有学习模式和工作模式。在不久的将来，我们将把采样保持电路与图14中的模拟神经网络连接起来。

VI. 结论

我们构建了一个三层神经网络，包含双输入层、双中间层和一个输出层。通过SPICE仿真验证了带有乘法电路的三层模拟神经网络的运行。接下来，我们尝试在模拟神经网络中使用交流电。交流电具有电压和频率两个要素，通过一根导线传输。交流输入电压用作输入信号，频率则决定连接权重。CR电路在稳定性方面表现优异[15][16]。
通过控制输入频率可以改变连接权重。该模型具有极高的灵活性特性。当模拟神经网络运行时，突触权重尤为重要。如何为该神经网络赋予突触权重是关键问题。为了解决这一问题，有必要采用反向传播规则的方法，这是一种用于多电子电路的通用学习规则。该神经电路模型能够实现学习。学习速度将非常迅速，并且将实现动态学习。
该方法通过计算不同电路的输出电压与教学信号之间的差值，并将该差值反馈以改变连接权重。该电路的学习周期为每秒25,000次。尽管使用了低成本元件构成的非常简单的电路，该模型的学习速度仍然非常高。
该模型的学习时间非常短，工作时间几乎是实时的。
脉冲神经元模型通过神经元放电的概率来表示输出值。为了使用脉冲神经元模型表示模拟量，需要足够的时间以产生至少几十次脉冲。该模型的输出值是该电路的输出电压。
我们不需要转换数据，可以直接使用该模型的原始数据。
该模型允许切换工作模式和学习模式。教学信号必须始终输入，但连接权重会随着教学信号的变化而变化。该模型还能轻松适应环境的变化。在每个场景中都可以实现最优学习。它将通过自动态学习提升人工智能元件。集成器件的实现将减少元件数量。所提出的模型在容错性方面具有较强的鲁棒性。未来的任务包括系统构建以及大规模集成的安装。
此外，最近提出了深度学习方法。如果该系统向深度学习模型方向改进，将实现许多应用。它是学习模型中的一种算法，试图通过多层非线性变换对数据进行高层级分类，是机器学习的一种方法。在图像识别和语音识别领域，深度学习方法已引起广泛关注。我们提出了实现深度学习模型硬件实现的可能性。这将提升具有自动态学习能力的人工智能元件的性能。集成器件的实现将有助于缩短学习时间。所提出的模型在容错性方面具有较强的鲁棒性。未来的工作任务包括系统构建以及大规模集成的搭载。