自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

Bin 的专栏

让更多人了解“机器学习”

我也要用
排序：
按最后发布时间
按访问量
RSS订阅

原创 我的Blog文章索引：：机器学习方法系列，深度学习方法系列，三十分钟理解系列等

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、机器学习技术感兴趣的同学加入。 以下是我利用业余时间在自己博客中写的文章，主要是一些基础、经典算法的整理，目的一方面是为了科普机器学习技术，让更多同学可...

2018-01-21 21:59:38 6408 3

原创 深度学习方法（二十一）：常用权重初始化方法Xavier，He initialization的推导

文章目录交叉熵目标函数更陡峭Xavier initialization [1][4]He initialization [2][3]He init 考虑ReLU函数He init 考虑Leaky ReLU函数结束语参考资料 交叉熵目标函数更陡峭 在论文[1]中给了一个图示，一定程度上说明了为什么C...

2020-08-09 18:01:02 433 0

原创 Python基础（二）：Numpy函数介绍：Meshgrid，mgrid，append等

文章目录meshgrid函数mgrid函数参考资料 meshgrid函数 meshgrid函数通常使用在数据的矢量化上。它适用于生成网格型数据，可以接受两个一维数组生成两个二维矩阵，对应两个数组中所有的(x,y)对。 meshgrid的作用是：根据传入的两个一维数组参数生成两个数组元素的列表。如果...

2020-07-19 22:10:51 311 0

原创 今天开始学Convex Optimization：第3章(part2) Optimization basics

文章目录重写约束条件部分优化：消除等式约束：引入Slack变量：例子： SVM的hinge loss form凸函数的一阶最优条件（First-order optimality conditions)例子：二次优化参考资料 本章来自Ryan Tibshirani的Convex Optimizati...

2020-05-31 21:36:18 435 0

原创 今天开始学Convex Optimization：第3章 Convex Sets and Convex functions

第3章 Convex Sets and Convex functions

2020-04-05 22:58:11 1318 0

原创 入门神经网络优化算法（六）：二阶优化算法K-FAC

上一篇介绍了二阶优化算法Natural Gradient Descent（自然梯度算法），虽然可以避免计算Hessian，但是依然在计算代价上极高，对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC

2020-03-29 22:27:55 2065 0

原创 深度学习方法（二十）：Hinton组最新无监督学习方法SimCLR介绍，以及Momentum Contrastive(MoCo)
原力计划

本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作： - SimCLR——Hinton组的工作，第一作者Ting Chen - MoCo v2——He Kaiming组的工作，第一作者Xinlei Chen

2020-03-21 21:13:41 6494 0

原创 深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss

我们平时ML任务的时候，用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标，比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离，相关关系，而对具体数值不是很关心。rankin...

2020-03-08 21:21:53 3889 0

原创 三十分钟理解：矩阵Cholesky分解，及其在求解线性方程组、矩阵逆的应用

写一篇关于Cholesky分解的文章，作为学习笔记，尽量一文看懂矩阵Cholesky分解，以及用Cholesky分解来求解对称正定线性方程组，以及求“对称正定矩阵”的逆的应用。

2020-03-04 23:59:38 3759 1

原创 入门神经网络优化算法（五）：一文看懂二阶优化算法Natural Gradient Descent（Fisher Information）

二阶优化算法Natural Gradient Descent，是从分布空间推导最速梯度下降方向的方法，和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。

2020-03-03 00:51:11 2833 1

原创 今天开始学Convex Optimization：第2章 背景数学知识简述

主要参考是[1]和[2]的内容。特别是[2]，比较简明又全面的介绍了需要的数学背景知识。主要需要数学分析（主要是实分析，Real analysis）, 微积分（calculus）, 以及线性代数（linear algebra）的最基础数学背景知识。

2020-02-22 23:45:53 1733 0

原创 Adobe PDF Reader XI 闪退解决办法，用了N年的PDF软件又可以继续用了！

最近很烦人的一个情况是用了好多年的Adobe Reader一直闪退，打开一分钟就闪退。我是Windows10系统，都是在360软甲管家上下载的，然后看了一下评论，发现大家都是这样。我的解决方案分享给大家。

2020-02-22 17:22:54 79089 22

原创 Python基础（一）：Python切片，浅拷贝、深拷贝和赋值，排序，Reduce函数

整理一下Python常用操作，包括Python切片操作、拷贝、排序、Numpy基础等，会持续更新，主要是自己mark用。

2020-02-20 21:40:38 2033 0

原创 深度学习/机器学习入门基础数学知识整理（八）：中心极限定理，一元和多元高斯分布

高斯分布Gaussian distribution，也叫正太分布Normal distribution，是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

2020-02-13 22:59:45 1880 0

原创 深度学习/机器学习入门基础数学知识整理（七）：数学上sup、inf含义，和max、min的区别

经常在文献中看到inf和sup，很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界：inf： infimum 或 infima，中文叫下确界或最大下界。 inf(S)， S表示一个集合， inf(S)是指集合S的下确界， 即小于或等于S中所有元素的最大值， 这个数不一定在...

2020-02-11 23:27:51 4374 0

原创 今天开始学Convex Optimization：引言、第1章基本概念介绍

Convex Optimization 凸优化书第一节，introduction。凸优化问题：本书主要介绍凸优化问题，定义是：对于目标函数以及约束函数都是convex的优化问题，称为convex optimization问题

2020-02-09 23:33:12 2050 0

原创 Python Matplotlib画图基础介绍

Matplotlib 是 Python 中最常用的一个绘图库，主要用于绘制各种图形，包括散点图、柱状图、3D图、等高线图等等。在做研究过程中肯定会经常用，本文做一个简单的入门介绍，也给出极佳的参考手册，以备查用。内容主要参考了[1]的内容，我自己用jupyter notebook实现了一遍，我会给...

2020-02-08 16:46:19 3570 0

原创 大饼博士的神经网络/机器学习算法收录合集：2020年整理，持续更新ing

本文用于随手记录一些Neural Network论文，主要是关注一些我觉得有趣的AI算法、网络结构。比较杂，随时看到随时记录，自己mark用。

2020-02-07 23:05:39 2101 0

原创 三十分钟在Windows10安装Anaconda+Pytorch+Cuda，老式Nvidia GTX游戏显卡实测可用

这几天捣鼓了一下在自己老式的台式机上安装Pytorch，打算稍微有空的时候玩（学习）一下。我的机器是Windows10系统+Nvidia GTX960显卡，采用Anaconda安装，解决几个小问题后基本上可以说是一键安装使用，非常方便。记录一下，方便同学们查用。我安装的版本没有选择最新版本，最后安...

2020-02-01 22:59:11 2567 1

原创 入门神经网络优化算法（一）：Gradient Descent，Momentum，Nesterov accelerated gradient

梯度下降 基于梯度的优化算法，Gradient based optimization，也往往被称为一阶优化算法。所以很容易猜到，还有二阶优化算法等的高阶优化算法，但是在实际应用中，基于梯度的一阶优化算法是目前的绝对主流方法，本文就重点罗列一下基于梯度的优化算法。 最典型以及简单的是：梯度下降算法。...

2019-12-19 20:49:05 2508 0

原创 计算机视觉算法整理（一）：Faster RCNN，bounding box regression，IOU，GIOU

专门收录一下一些有趣的，计算机视觉中我想记录一下的算法，重点关注的是loss function，顺便说下相关算法。因为是收录，只为日后查看之需，有一些会借用一些资料，我会给出引用。 1、Faster RCNN 两阶段目标检测的代表作，可以说是开创了目标检测的一番局面。现在很多公司实际在商用的目标检...

2019-12-07 00:09:30 2260 0

原创 论文导读、会议精选：SysML2018，SysML2019

先简单介绍一下SysML会议，2018年新成立的一个聚焦在机器学习系统、软件、硬件等综合领域研究的一个学术会议。由一堆学术界和工业界大佬抱团组建。从18年发布的一篇Machine Learning System（机器学习系统）白皮书可以看到。 在白皮书中，机器学习系统的研究方向定义为在现实世界中...

2019-11-03 22:51:46 2418 0

原创 人工智能新闻/资料/文章收录【2018年及之前】

本文仅用于个人网络资料收录：） 深度学习（科普） 2014-11-17：解密最接近人脑的智能学习机器 ——深度学习及并行化实现（腾讯大数据） 2018-2-16：深度 | Pedro Domingos总结机器学习研究的12个宝贵经验 高维的一般问题是，来自三维世界的人...

2019-10-27 21:24:40 4458 0

原创 深度学习方法（十七）：word2vec算法原理（1）：跳字模型（skip-gram） 和连续词袋模型（CBOW）

word embedding算法中最为经典的算法就是今天要介绍的word2vec，最早来源于Google的Mikolov的： 1、Distributed Representations of Sentences and Documents 2、Efficient estimation of wor...

2019-05-26 20:37:55 7237 1

原创 深度学习方法（十六）：Batch Normalization及其变种——Layer Norm, Group Norm，Weight Norm等

很久没写博文了，这几天是元旦假期，抽一点时间写一些简单的内容，大家2018年一起加油，天天向上哈！ 本文的内容包括： Batch Normalization Weight Normalization Layer Normalization Batch Renormalizat...

2019-03-29 22:03:21 3453 0

原创 深度学习方法（十五）：知识蒸馏（Distilling the Knowledge in a Neural Network），在线蒸馏

Distilling the Knowledge in a Neural Network 这篇介绍一下Hinton大神在15年做的一个黑科技技术，Hinton在一些报告中称之为Dark Knowledge，技术上一般叫做知识蒸馏（Knowledge Distillation）。核心思想是通过迁移知...

2018-10-15 22:44:35 45813 2

原创 深度学习/机器学习入门基础数学知识整理（六）：Hoeffding不等式，

开写之前先推荐一个林轩田先生的书，《Learning From Data》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览了一下非常不错，mark一下，希望后面有时间可以静下心来学习一下。 ...

2018-08-26 22:36:02 1953 0

原创 深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数

Jensen不等式及其延伸 [1] 凸函数最基本的不等式性质，又称Jensen不等式 f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θ f(x)+(1−...

2018-07-30 00:33:41 2444 0

原创 深度学习/机器学习入门基础数学知识整理（四）：拟牛顿法、BFGS、L-BFGS、DFP、共轭梯度法

参考资料 https://blog.csdn.net/batuwuhanpei/article/details/51979831 https://blog.csdn.net/u011722133/article/details/53518134 无约束优化方法(梯度法-牛顿法-BFGS- L...

2018-07-15 01:39:23 3520 0

原创 算法转载收藏【2018年及之前】

零散算法专题收录，自己mark用

2018-06-11 16:54:14 2527 0

原创 强化学习方法（一）：探索-利用困境exploration exploitation，Multi-armed bandit

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 18年新开一个强化学习方法系列，督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列，也都还...

2018-03-04 01:00:28 16226 2

原创 深度学习/机器学习入门基础数学知识整理（三）：凸优化，Hessian，牛顿法

凸优化理论本身非常博大，事实上我也只是了解了一个皮毛中的皮毛，但是对于广大仅仅想要了解一下机器学习或者深度学习的同学来说，稍微了解一点凸优化也就够了。在实际工程问题中，比如现在我们用的最多的深度神经网络的求解优化问题，都是非凸的，因此很多凸优化理论中非常有价值的定理和方法，在非凸优化问题中不适用，...

2018-01-20 21:05:27 16597 3

原创 深度学习/机器学习入门基础数学知识整理（二）：梯度与导数，矩阵求导，泰勒展开等

导数与梯度 导数：一个一元函数函数在某一点的导数描述了这个函数在这一点附近的变化率。 f′(a)=limh→0f(a+h)−f(a)h f'(a) = \lim_{h \rightarrow 0} \frac{f(a+h)-f(a)}{h} 梯度:多元函数的导数就是梯度。 一...

2018-01-19 23:17:48 6119 2

原创 深度学习/机器学习入门基础数学知识整理（一）：线性代数基础，矩阵，范数等

前面大概有2年时间，利用业余时间断断续续写了一个机器学习方法系列，和深度学习方法系列，还有一个三十分钟理解系列（一些趣味知识）；新的一年开始了，今年给自己定的学习目标——以补齐基础理论为重点，研究一些基础课题；同时逐步继续写上述三个系列的文章。 最近越来越多的研究工作聚焦研究多层神经网络的原理，...

2018-01-14 14:08:39 25781 16

原创 [完美解决]如何在windows安装docker toolbox，使用tensorflow，Jupyter Notebook，各种问题的解决方案

上两周心血来潮想在自己的Surface（Win10 Home系统）上用TensorFlow和Python，但是安装实在是太麻烦了…就想到能不能在Windows上用docker直接运行linux环境的TensorFlow？网上一查还真有，然后很开心的下载安装…谁知进入了一个超级大坑T_T，经过断断续...

2018-01-01 15:53:28 20006 6

原创 深度学习方法（十四）：轻量级CNN网络设计——MobileNet，ShuffleNet，文末有思考

本系列前面介绍了非常多卷积网络结构设计，事实上，在inception和resnet网络提出并相对完善以后，网络结构的设计就不再爆发式出现了，这两大类网路涵盖了大部分应用的卷积网络结构。 在本文中，我们来一起看一些最近一年研究较多的轻量级卷积网络结构，这些网络主要的设计目标是——在保证一定的识别精...

2017-08-25 22:16:54 20852 1

原创 三十分钟理解：双调排序Bitonic Sort，适合并行计算的排序算法

双调排序是data-independent的排序， 即比较顺序与数据无关的排序方法， 特别适合做并行计算，例如用GPU、fpga来计算。

2017-07-30 23:29:10 18273 3

原创 分布式机器学习系统笔记（一）——模型并行，数据并行，参数平均，ASGD

模型并行（ **model parallelism** ）:分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分 —— 例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器；[14] - 数据并行（ **data parallelism** ）...

2017-07-29 21:45:48 28666 11

原创 FPGA 17最佳论文导读 ESE: Efficient Speech Recognition Engine with Compressed LSTM on FPGA

国内知名的深鉴科技的几位初创写的一篇，拿了**今年FPGA会议的best paper**，今天来看一看到底有些什么内容。文章围绕在FPGA下设计LSTM执行引擎，主要考虑的点是稀疏的计算架构。说实话，稀疏计算已经说的快熟（lan）了，关键还是这样的架构要在牺牲通用性下，得到足够强劲的收益；在一些专...

2017-07-02 20:45:16 4841 0

原创 ASPLOS'17论文导读——SC-DCNN: Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing

今年去参加了ASPLOS 2017大会，这个会议总体来说我感觉偏系统和偏软一点，涉及硬件的相对少一些，对我这个喜欢算法以及硬件架构的菜鸟来说并不算非常契合。中间记录了几篇相对比较有趣的paper，今天简单写一篇。SC-DCNN: Highly-Scalable Deep Convolutional...

2017-05-30 22:35:16 4201 0

提示
确定要删除当前文章？
取消 删除