小波神经网络

1. 小波神经网络

姓名：程祖晗
  
 学号：19021210938
  
 【嵌牛导读】随着优化算法的不断研究，神经网络已经深入到许多领域，解决了许多实际问题，并引发了人类不断地思考。本篇讨论了小波神经网络的相关知识。
  
 【嵌牛鼻子】BP神经网络  小波变换   小波神经网络
  
 【嵌牛正文】
  
 BP 网络的实现过程主要分成两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层到达输出层，第二阶段是误差的反向传播，从输出层经过隐含层到达输入层。误差传递完后，依次调节输入层和隐含层之间的权值和偏置，以及隐含层和输出层之间的权值和偏置。如图1所示：
  
 
  
                                          
 BP神经网络的神经元如图2所示：
                                          
 其中，激活函数为Sigmoid函数，表达式为：  
  
 2.1小波变换
  
 小波变换是以 Fourier 分析为基础的一种新的数学变换手段，它克服了 Fourier变换的局限性以及加窗 Fourier 变换的窗口不变的缺点。小波变换主要通过伸缩和平移实现多尺度细化，突出所要处理的问题细节，有效提取局部信息。
  
 2.2小波神经网络
  
 小波神经网络是改进的BP网络，将原先的隐含层的Sigmiod激活函数替换为小波函数——Morlet小波，其表达式为
  
   
  
 本篇设计的4层小波神经网络的模型图如图3所示：
                                          
 2.3模型的建立
  
 a.初始化各项参数
  
 在图3的网络设计中，  为输入样本，  为输出样本，  分别为输入层、隐含层、输出层节点，  为各节点的连接权值。
  
 b.前向计算
  
 隐含层1的输入为所有输入的加权和：  ，隐含层1的输出为  。其余隐含层的输入输出及输出层与1类似，在此不再赘述。
  
 c.误差反向传播
  
 误差反向传播采用梯度下降算法调整各层间的权值，即权值修正过程。权值修正方式有两种，一是按输入样本逐次修正，二是全部样本输入后再修正。本篇采用第一种方法。
  
 
  
                                          
 根据误差函数  修正权值和小波因子，为了避免算法陷入局部最小值，加快其收敛速度，引入了动量因子  ，学习率为  ，公式分别如下表示：
                                          
 总结：小波神经网络拥有小波变换的优点，避免了 BP 网络设计结构上的盲目性，但是隐含层的节点数以及各层之间的权值、尺度因子的初始化参数难以确定，会影响网络的收敛速度。在后续的学习中，可以尝试其他小波函数的神经网络，通过比较其最优结果构造小波神经网络。