Deep-Learning-吴恩达-作业（七）

view times

一、对于训练集的处理

1.Mini-Batch

每次处理训练集的一部分进行梯度下降，避免了遍历完整个训练集才完成一次参数更新

2.Batch Gradient Descent

每次处理完所有训练集进行梯度下降

3.Stochastic Gradient Descent

每次处理完一个样本就进行梯度下降

二、反向传播加速梯度下降的过程

1.Momentum：将前几次梯度下降的指数平均作为梯度值来更新参数（避免震荡）

2.RMS Prop：使波动大的维度参数更新慢，波动小的维度参数更新快

3.Adam：将Momentum 和 RMS Prop相结合

下面是我的作业喽 ~

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

<font size="3" face="Courier New" color="#5f3c23"><b>JZY</b><br><br>研究生：东南大学电子学院<br>本科：南京理工大学电光学院</font>