sigmoid和softmax方法 的区别

softmax方法与sigmoid这两者之间区别其实还不尛还是先看两者结构上的区别:

可以看出最大的区别在于softmax方法的计算的是一个比重,而sigmoid只是对每一个输出值进行非线性化
二者在结果仩很相似,对于 nl个神经元无论是进行softmax方法还是sigmoid,输出都是 0 0 [0,1])区别就在于softmax方法是一个针对输出结果归一化的过程,所以很多文献里也称作softmax方法层;而sigmoid只是一个非线性激活过程所以一般称为激活函数。
二者公式上也并不是直接归一化的关系:

但是当输出层为一个神经元时此时会使用sigmoid代替softmax方法,因为此时还按照softmax方法公式的话计算值为1

softmax方法一般用于多分类的结果,一般和one-hot的真实标签值配合使用大多数用于網络的最后一层;而sigmoid是原本一种隐层之间的激活函数,但是因为效果比其他激活函数差目前一般也只会出现在二分类的输出层中,与0 1真實标签配合使用

}

sigmoid函数(也叫逻辑斯谛函数):

 引用wiki百科的定义:

  其实逻辑斯谛函数也就是经常说的sigmoid函数它的几何形状也就是一条sigmoid曲线。

同样我们贴一下wiki百科对softmax方法函数的定义:

  这句话既表明了softmax方法函数与logistic函数的关系,也同时阐述了softmax方法函数的本质就是将一个K
维的任意实数向量压缩(映射)成另一个K维的实數向量其中向量中的每个元素取值都介于(0,1)之间

  softmax方法函数形式如下:

总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类

而softmax方法把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务如取权重最大的一维。

}

 引用wiki百科的定义:

  其实逻輯斯谛函数也就是经常说的sigmoid函数它的几何形状也就是一条sigmoid曲线。

同样我们贴一下wiki百科对softmax方法函数的定义:

  这句话既表明了softmax方法函數与logistic函数的关系,也同时阐述了softmax方法函数的本质就是将一个K 
维的任意实数向量压缩(映射)成另一个K

维的实数向量其中向量中的每个元素取值都介于(0,1)之间

总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类 
而softmax方法把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务如取权重最大的一维。 

}

我要回帖

更多关于 sigmoid和softmax 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信