123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113# crop# resize# flip# brightness & contrastimport numpy as npi...
六种常用的激活函数Sigmoid函数fx = 1/(1+e^-x)
输入非常大或非常小时没有梯度、
输出均值非0
Exp计算复杂
梯度消失
df(x)/dx = f(x)(1-f(x))
Tanhfx =tan(x)
依旧没有梯度
输出均值是0
计算复杂
###ReLUfx = max(0 , x)
不饱和（梯度不会过小）
计算量小
收敛速度快
输出均值非0
Dead ReLU
一个非常大的梯度流过神经元，不会再对数据有激活现象了。
Leaky-ReLUfx = max(0.01x , x)
解决了Dead ReLU问题
ELUfx = α（exp（x）-1）x...
InceptionNet又称googleNet，最初的设计思路是增加网络宽度：InceptionNet核心结构包括多个分支，分别对应不同的感受野。大的感受野适用大的目标，小的感受野适用小目标，如此网络具备了scale不变性。不同感受野最终通过concat合并在一起，为了避免通道数爆炸，在每个分支上引入1x1卷积降低通道数目。
1.提出原因更深层次的网络更容易过拟合，更深的网络拥有更大计算量。之前的dropout 实现了稀疏网络减少了参数，但是并没有减少计算量。
2.模型结构v1结构
分组卷积一层上同时使用多种卷积核，可以看到各种层级的feature。各组之间feature计算不相互交叉，...
ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中。
ResNet的主要思想是在网络中增加了直连通道，即Highway Network的思想。此前的网络结构是性能输入做一个非线性变换，而Highwa...
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556x = tf.placeholder(tf.float32, [None, 3072])y = tf.placeholder(tf.int64, [None])x_image = tf.reshape(x, [-1, 3, 32, 32])x_image = tf.transpose(x_image, perm=[0, 2, 3, 1])# conv1 :神经元图， feature_m...
一、卷积对于普通神经网络来说，每层神经元的输入，即是上一层神经元的输出。假设一张图片为1000×1000,就会出现1000×1000个参数若下一层神经元个数为10^6个全连接参数为1000×1000×10^6 =10^12个这个参数量是非常大的，这样处理不仅会增加训练时计算机的负担，由于参数量过大，其模型表达能力也非常强。虽然在训练集上效果极佳，但是在训练集上测试效果较差。即出现过拟合问题。因此，我们使用了卷积操作来解决这个问题。
输入图像：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24...
一、普通梯度下降训练优化
每次都在整个数据及上计算Loss和梯度
计算量大
可能内存承载不住
梯度方向确定的时候，仍然是每次都走一个单位步长
太慢那么应当怎么样优化呢? 这里提出了两种方法供使用。
####①. 随机梯度下降 每次只使用一个样本
####②. Mini-Batch梯度下降 每次使用小部分数据进行训练，同时对数据进行shuffle加快模型收敛，并防止过拟合问题的出现。
利用Mini-Batch梯度下降算法同样是存在问题的，如下图所示的震荡问题。
同样，由于普通的梯度下降算法中学习率*当前位置导数的算式，在当梯度下降过程中遇到局部极值点或者鞍点（saddle...
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135...
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135...
一、神经元——最小的神经网络其中的w叫做权重，通过神经元的函数叫做激活函数。x则是具体问题中抽取出来的特征，即会影响待分析问题的关键因素。因此，w即是每个不同的特征在待解决问题中的重要程度。b则是偏置，即分类线\分类面与坐标轴焦点的值。偏置的存在是为了更好地进行数据的拟合。
二、Logistic回归模型神经元→sigmoid激活函数→二分类Logistic回归模型
sigmoid函数
Logistic二分类回归模型P(Y = 0|x) =s(x)P(Y = 1|x) =1 - s(x)通过这两个公式很容易得出由sigmoid函数的特性很容易便可以处理二分类问题。
Logistic多...
