自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Bin 的专栏

让更多人了解“机器学习”

  • 博客(5)
  • 资源 (7)
  • 论坛 (1)
  • 收藏
  • 关注

原创 入门神经网络优化算法(六):二阶优化算法K-FAC

上一篇介绍了二阶优化算法Natural Gradient Descent(自然梯度算法),虽然可以避免计算Hessian,但是依然在计算代价上极高,对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC

2020-03-29 22:27:55 2267

原创 深度学习方法(二十):Hinton组最新无监督学习方法SimCLR介绍,以及Momentum Contrastive(MoCo)
原力计划

本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作: - SimCLR——Hinton组的工作,第一作者Ting Chen - MoCo v2——He Kaiming组的工作,第一作者Xinlei Chen

2020-03-21 21:13:41 7141

原创 深度学习方法(十九):一文理解Contrastive Loss,Triplet Loss,Focal Loss

我们平时ML任务的时候,用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标,比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离,相关关系,而对具体数值不是很关心。ranking loss 有非常多的叫法,但是他们的公式实际上非常一致的。大概有两类,一类是输入pair 对,另外一种是输入三元组结构。

2020-03-08 21:21:53 4335

原创 三十分钟理解:矩阵Cholesky分解,及其在求解线性方程组、矩阵逆的应用

写一篇关于Cholesky分解的文章,作为学习笔记,尽量一文看懂矩阵Cholesky分解,以及用Cholesky分解来求解对称正定线性方程组,以及求“对称正定矩阵”的逆的应用。

2020-03-04 23:59:38 4301 1

原创 入门神经网络优化算法(五):一文看懂二阶优化算法Natural Gradient Descent(Fisher Information)

二阶优化算法Natural Gradient Descent,是从分布空间推导最速梯度下降方向的方法,和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。

2020-03-03 00:51:11 3044 1

2018 - Optimization Methods for Large-Scale Machine Learning.pdf

Optimization Methods for Large-Scale Machine Learning, Bottou写的最新综述,大规模机器学习前沿理论,SGD等,不可错过

2020-02-09

A disciplined approach to neural network hyper-parameters Part I

A disciplined approach to neural network hyper-parameters Part 1 -- learning rate, batch size, momentum, and weight decay, by Leslie N. Smith

2020-02-09

Matplotlib.ipynb

Matplotlib 是 Python 中最常用的一个绘图库,主要用于绘制各种图形,包括散点图、柱状图、3D图、等高线图等等。在做研究过程中肯定会经常用。 在文章https://xubin.blog.csdn.net/article/details/104224007做一个简单的入门介绍,也给出极佳的参考手册,以备查用。我自己用jupyter notebook实现了一遍。给出jupyter源码。

2020-02-08

convex optimization, book+slides

经典的convex optimization书+课件资料,值得收藏,是学习优化的入门资料之一。

2018-09-02

Learning from data书电子版

推荐想要系统学习机器学习与统计学习方法的同学,这本书可以作为经典教材,有一定深度。

2018-08-26

矩阵求导手册Matrix Differentiation

矩阵求导常见的公式,值得收藏,以备未来查询之用!!

2018-01-19

Reinforcement Learning an Introduction,2018最新版(第二版)

RL经典教学书籍,2018年最新版本,是想学习强化学习入门的必备资料!(444页)

2018-01-13

大饼博士X的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除