专注收集记录技术开发学习笔记、技术难点、解决方案
网站信息搜索 >> 请输入关键词:
您当前的位置: 首页 > 人工智能

请教关于前馈网络线性可分的有关问题

发布时间:2011-07-03 09:17:42 文章来源:www.iduyao.cn 采编人员:星星草
请问关于前馈网络线性可分的问题
书上说非线性可分问题,加入一个隐层,将输入映射到另外一个空间,就有可能成为线性可分问题。
假设输入向量为x(i),   输出向量为y(j),   阀值向量v(j),   单层网络权矩阵w(i*j),  
y   =   f(x*w   +   v)
加入一个隐层,设隐层输出向量为z(k),   输入层到隐层权矩阵w1(i*k),   隐层阀值向量v1(k),   隐层到输出层权矩阵w2(k*j),   输出层阀值向量v2(j)
z   =   f1(x*w1   +   v1)
y   =   f2(z*w2   +   v2)   =   f2(f1(x*w1   +   v1)*w2   +   v2)
如果选激活函数f1为线性函数,f1(x)   =   k*x
f1(x*w1+v1)*w2   =   x*f1(w1)*w2+f1(v1)*w2,
y   =   f2(x*f1(w1)*w2   +   f1(v1)*w2+v2)
w1是i*k的矩阵,w2是k*i的矩阵,v1是k维向量,v2是j维向量
f1(w1)*w2得到一个i*j的矩阵,f1(v1)*w2得到j维向量,f1(v1)*w2+v2可以写到一起,   形成:
y   =   f2(x*w '   +   v ')       w '(i*j)   =   f1(w1)   *   w2,   v '(j)   =   f1(v1)*w2+v2
还是单层网络的样子..   怎样增强的分类能力?

不知道我这里的理解哪里有错误?是否是激活函数不能选线性函数?


------解决方案--------------------
如果楼上学过高等代数则可以这么想:如果激活函数是线性的,则神经网络在本质上可以看成一个线性变换器
一个在低维情况下的不可分问题在高维下就可能会变的可分.

线性变换在本质上其实可以逼近任何非线性函数
------解决方案--------------------
不明LZ在说什么
------解决方案--------------------
探讨
如果楼上学过高等代数则可以这么想:如果激活函数是线性的,则神经网络在本质上可以看成一个线性变换器
一个在低维情况下的不可分问题在高维下就可能会变的可分.

线性变换在本质上其实可以逼近任何非线性函数

------解决方案--------------------
不知,帮顶
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。

其他相似内容:

热门推荐: