第588章 激活函数,一个故事解释(1/2)
激活函数包括阶跃函数,但也有其他函数,就像除了应急预案,还有日常处理程序。
故事比喻:魔法门与激活函数
在一个魔法世界里,有一座魔法学院,每位魔法师都要经过一道神秘的魔法门,才能进入更高级的修炼殿堂。
但这扇门不会让所有人随便通过,它会根据魔法师的魔力值来决定:
如果魔力值太低,门不会打开(相当于激活函数抑制无用信息)。
如果魔力值很高,门会全力打开(相当于激活函数放大有用信息)。
如果魔力值一般,门可能会半开半闭,让魔法师勉强通过(相当于某些平滑的激活函数)。
这个魔法门的决策过程,就像ai里的激活函数,它决定哪些信息能进入下一层,哪些要被过滤掉!
激活函数的作用:筛选、放大、非线性化
想象ai神经网络是一个“魔法训练过程”,每一层都需要做决策,而激活函数就像这个“魔法门”,决定哪些信息能继续往下走。
1魔力值的计算(输入信号加权求和)
每个魔法师的天赋不同,有些擅长火系魔法,有些擅长治愈术。
在进入魔法门之前,考官会给每个魔法师打分(相当于神经网络的加权求和)。
但这些分数本身没有用,必须经过魔法门筛选,才能决定是否晋级。
比喻:这就像神经网络中的线性计算,只是单纯地累加输入信息,但还没有做真正的决策。
2通过魔法门(激活函数的选择)
不同的魔法门有不同的规则,对应不同的激活函数:
relu魔法门(relu激活函数):
如果魔力值≥0,门会打开,让魔法师进入。
如果魔力值<0,门会彻底关闭,不让任何人进入。
比喻:这就像一个严格的守卫,没有天赋的魔法师(负值输入)直接被拒绝,只允许优秀的魔法师进入。
sigmoid魔法门(sigmoid激活函数):
如果魔力值很高,门会完全打开(接近1)。
如果魔力值很低,门会完全关闭(接近0)。
如果魔力