第583章 激活函数(3/3)

老张不筛选，所有人都能进线性回归简单直接不能处理复杂问题

relu老张只让正式员工进，其他人全拒深度学习、cnn计算简单，效率高负数全部变0，信息可能丢失

sigmoid老张给每个人打分，决定能不能进二分类问题（垃圾邮件分类）平滑过渡，输出0-1概率容易梯度消失

softmax老张不但决定谁进，还要分部门多分类问题（图像识别）适合多分类问题计算比relu复杂

结论：激活函数=智能筛选机制

激活函数的作用就像门卫老张，决定哪些信息能进入下一层，哪些要被拒绝。

不同的激活函数适用于不同的任务，relu、sigmoid、softmax各有千秋。

深度学习的关键就是如何聪明地使用这些筛选机制，让神经网络学得更快、更准确！

你更喜欢哪个“门卫策略”呢？如果你是老张，你会怎么设计你的筛选规则？