cs231n笔记（三）——分段式反向传播求梯度

view times

目录

1.反向传播

反向传播是利用链式法则 ，递归计算梯度的方法

2.分段反向传播求梯度 (重点)

不需要关于输入变量的明确的函数来计算导数，因为需要求的是梯度值。只需要将表达式分成不同的可以求导的模块，然后在反向传播中一步一步地计算梯度。

3.加法、乘法和取最大值在反向传播中关于梯度的理解

4.用向量化计算梯度

more >>

open >>

Deep-Learning-吴恩达-作业（七）

view times

一、对于训练集的处理

1.Mini-Batch

每次处理训练集的一部分进行梯度下降，避免了遍历完整个训练集才完成一次参数更新

2.Batch Gradient Descent

每次处理完所有训练集进行梯度下降

3.Stochastic Gradient Descent

每次处理完一个样本就进行梯度下降

二、反向传播加速梯度下降的过程

1.Momentum：将前几次梯度下降的指数平均作为梯度值来更新参数（避免震荡）

2.RMS Prop：使波动大的维度参数更新慢，波动小的维度参数更新快

3.Adam：将Momentum 和 RMS Prop相结合

more >>

open >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

<font size="3" face="Courier New" color="#5f3c23"><b>JZY</b><br><br>研究生：东南大学电子学院<br>本科：南京理工大学电光学院</font>