检索历史 清除

摘要人工神经网络是对生物神经网络结构和功能的模拟，是当前信息学科的研究热点之一，其结构设计和参数调整问题一直是个开放的研究课题。论文结合大脑皮层内神经元的连接特点，设计出一种具有类皮层结构的跨越-侧抑制神经网络模型，并提出一种适应该网络模型的梯度下降学习算法，实现跨越-侧抑制神经网络的参数学习。基于跨越-侧抑制神经网络逼近和分类能力的理论分析，研究了一种结构稀疏的跨越-侧抑制神经网络结构设计方法，给出了权值分别训练的序列学习算法，提高了跨越-侧抑制神经网络的学习效率。为实现跨越-侧抑制神经网络的结构自适应调整，设计了衡量隐含层神经元输出重要性的显著性指标，实现了跨越-侧抑制神经网络结构自组织设计，提高了神经网络信息处理能力。论文的主要研究工作和创新点如下:<br>　　1.跨越-侧抑制神经网络设计<br>　　借鉴大脑皮层的层状结构以及其内部神经元的连接模态，提出一种跨越-侧抑制神经网络模型。根据新皮层内锥体神经元可以跨越整个皮层进行信息传递，而中间神经元横向连接抑制邻近神经元的特点，设计了跨越-侧抑制神经网络结构。该神经网络不相邻两层内的神经元之间进行跨越连接，隐含层内的神经元之间含有侧抑制连接，从而实现信息的跨越传输和抑制传输。实验结果表明，跨越-侧抑制神经网络具有更强的学习能力和泛化能力。<br>　　2.跨越-侧抑制神经网络的特性分析与结构稀疏设计<br>　　通过分析跨越-侧抑制神经网络的逼近和分类能力，根据隐含层神经元之间抑制作用动作的位置，建立不同侧抑制连接方式对网络性能的评价指标;同时，根据生物神经网络的稀疏连接特性，研究稀疏连接的跨越-侧抑制神经网络结构设计方法及其网络性能:从网络权值连接稀疏度入手，利用生物发育过程中智力变化与大脑皮层厚度之间的对应关系，获得结构稀疏的跨越-侧抑制神经网络设计及权值自适应调整方法。<br>　　3.跨越-侧抑制神经网络的权值序列学习<br>　　通过对网络连接权值类型的分析，将跨越-侧抑制神经网络的可调权值分为跨越输出权值和前馈输出权值两类，设计出一种权值分别训练的序列学习算法。首先，输入层-隐含层以及隐含层-隐含层之间的连接权值随机生成，且在学习过程中不作调整;其次，在随机初始权值的基础上通过最小二乘法估计跨越输出权值，并固定;最后，前馈输出权值和最后两个隐含层之间的连接权值通过改进的迭代学习进行调整。实验结果表明，基于权值分别训练的序列学习算法提高了网络的学习效率。<br>　　4.跨越-侧抑制神经网络的结构自组织<br>　　为实现网络结构的自适应调整，以大规模跨越-侧抑制神经网络为研究对象，设计了衡量隐含层神经元输出显著性的指标对隐含层神经元的显著性进行分析，在满足条件的情况下删除显著性最低的隐含层神经元。同时，利用序列学习算法对网络进行学习，实现网络的参数自适应和结构自组织。将其应用于乳腺癌诊断、混沌时间序列预测及非线性动力学系统辨识中，结果表明，所提方法不仅能够提高网络的学习性能，而且可以获得更为紧凑的网络结构。