2.5 梯度下降和最小二乘法

摘要

本节笔记主要记录梯度下降算法和最小二乘法的相同点和不同点,为了简单的理解和推导,我们暂只讨论一元线性回归下的梯度下降算法和最小二乘。从实现++代码上的最大不同就是梯度下降采用了迭代算法—预先给一个参数设置初始值,然后通过迭代和学习率实现线性方程直线的无限靠近理想函数。最小二乘采用了高中数学求凸函数(下凹)的最小值—即求导数为零的参数方程。

  • [x] Edit By Porter, 积水成渊,蛟龙生焉。

1.10 hexo网页定制

摘要

本文记录了1.10 hexo网页定制,要知道原作官方提供的hexo yeele网站的手机页面和电脑页面css布局和java页面交互的文本进行个性定制。第一部分,设置手机页面的 mobile-slider.styl 等文件, 里面的css文件。

第二部分是java交互界面的文件设置。

  • [x] Edit By Porter, 积水成渊,蛟龙生焉。

1.9 hexo 实现本地图片加载

摘要

本文记录了1.9 hexo 实现本地图片加载,要知道原作官方提供的hexo-asset-image,根本不能满足自己的需要,所以这里是基于原作的代码进行修改实现,原作并未其提供的代码做出解释说明,本文将对更改后能实现本地图片加载的代码进行解释,并有针对性的对后来遇到问题的,或者可以给你们提供二次修改说明的解释并提醒。

  • [x] Edit By Porter, 积水成渊,蛟龙生焉。

2.13 局部响应归一化

摘要

LRN(Local Reponse Normalization, 局部响应归一化), 该层中其作用类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法。

作用:

  • [x] 有利于增加泛化能力
  • [x] 做了平滑处理
  • [x] 防止过拟合

LRN 层模仿生物神经系统的侧抑制机制,对局部神经元的活动创建竞争机制,使得响应比较大的值相对更大,提高模型的泛化能力。

  • [x] Edit By Porter, 积水成渊,蛟龙生焉。

2.11 极大似然估计

摘要

极大似然估计,

原理:

  • 极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。

  • 极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。

  • 通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

  • [x] Edit By Porter, 积水成渊,蛟龙生焉。

|