翻译: 可视化深度学习神经网络三

2024 年 9 月 9 日 4点热度 0人点赞 0条评论

13,000 个可以调整的参数来让网络可以呈现不同的结果所以当我们谈到学习的时候就是在说如何让电脑去找到一大堆正确的参数让它解决问题有一个仔细想想会很吓人的情况
在这里插入图片描述

想象一下如果你需要手动调整这些权重和偏置设定这些数字来让第二层识别一条边
在这里插入图片描述

然后让第三层识别图案
在这里插入图片描述

我个人认为这样想象会比把它整个当成一个黑盒子更好因为当网络的输出和你的认知有所差异时如果你能足够了解权重与偏置的关系就更容易该怎么改变结构来修正
在这里插入图片描述

或是网络能输出正确的结果但是过程跟你想象中有差异那么去挖掘权重和偏置的实际境况对于测试你的认知有帮助和找出所有可能的解决方案顺带一提你不觉得这个公式看起来有点复杂吗？所以让我来示范以简单的符号来表达整个公式如果你以后想要继续钻研神经网络就会很常看到
在这里插入图片描述

我们把这一层的激励函数放到一个矢量中然后把所有的权重放到矩阵中在这个阵列里的每一列将会对应到这一层和下一层的所有连线的权重这代表矩阵相乘后的每一项都代表其中一个神经元的激励函数
在这里插入图片描述

矩阵相乘的结果就是对应的神经元激励函数

在这里插入图片描述

顺道一提学习机器学习需要对线性代数有一定的了解所以任何想要透过可视化的教学理解矩阵和矩阵乘法可以去看我的以前做的线性代数系列影片特别是第三篇
在这里插入图片描述

回到正题当我要加上偏置时也会把每一个偏置放到矩阵里在和前面算出来的结果做矩阵加法最后一步我会用逻辑函数把整个结果包起来
在这里插入图片描述

意思是把最后得到的矢量一个一个丢进逻辑函数中来计算出每一个结果现在当我们用简单的符号来写下公式
在这里插入图片描述

就可以很清楚完整的表达每一层之间的关系
在这里插入图片描述

还有这也让我们更简单快速的编写代码像是很多的对于矩阵运算有优化的函式库
在这里插入图片描述

还记得我一开始说神经元只是一个简单承载数字的东西吗当然它里面所装得数字取决于你给他的图像所以更准确地说应该把神经元当作一个函数

在这里插入图片描述

它的输出是取决于上一层所有的神经元然后转换成一个介于0到1的数字
在这里插入图片描述

其实也可以把整个神经网络当作一个函数有着784个输入值和10输出值的函数

在这里插入图片描述

它是一个非常复杂的函数用来选择正确图案的权重和偏置参数就有 13000 个还会不停地用到矩阵乘法和逻辑函数
在这里插入图片描述

即便它看起来很复杂但却是很可靠的一个函数
在这里插入图片描述

我的意思是如果它看起来很简单
在这里插入图片描述

我们怎么能期望它辨识数字呢但是它是如何完成这个任务的？
在这里插入图片描述

这个网络是如何只通过读取数据来学习如何调整权重和偏置的？
在这里插入图片描述

在影片的结尾我邀请了 Lisha Li 她在博士研究是关于深度学习的理论现在一个叫做 Amplify Partners 的创投公司任职

在这里插入图片描述

他们慷慨的赞助了这个影片所以 Lisha 我们想要快速的提一下「Sigmoid」这个函数据我所知早期的神经网络都会使用这个函数来让权重介于 0 到 1 之间用来模仿生物学上的神经元是处于活耀还是不活耀的状态（Lisha）没错但是现在神经网络几乎没有使用「Sigmoid」函数，是因为它已经太老套了是吗？（Lisha）没错，
在这里插入图片描述

更准确的说是使用 ReLU 更容易训练（3B1B） ReLU 的全名是「Rectified linear unit线性整流函数」对吧
（Lisha）对，这个函数会返回 0 跟输入值的最大值我的解释是使用这个函数比较符合生物学的原理类似于神经元在甚么时候活耀或不活耀当它超过一个门槛的时候它就像恒等函数一样但如果它没有超过则输出 0 所以它是一个很简单的函数
在这里插入图片描述