第583章 激活函数(2/3)

客也是未来的潜在客户，不该完全拒之门外。”

于是，他制定了一套打分系统：

正式员工（高分）：直接进！

游客（中等分）：可以进去看看，但不能随意走动。

陌生人（低分）：抱歉，不能进！

这就像sigmoid激活函数，它的输出介于0到1之间，相当于一种概率衡量：

高于05的人（高分）：大概率被接受。

低于05的人（低分）：大概率被拒绝。

优点：

可以平滑地过滤数据，避免“全进或全不进”这样极端的情况。

适用于二分类问题（比如邮件是垃圾邮件还是正常邮件）。

问题：

计算比较复杂，不像relu那么直接。

当数据过大或过小时，变化很小，容易导致梯度消失（学习速度变慢）。

第四种情况：老张更加智能（softmax激活函数）

有一天，老板告诉老张：“我们公司不仅有正式员工，还有不同的部门，比如工程部、市场部、财务部。你不能只区分‘进’或‘不进’，而是要把人分到不同的部门。”

于是，老张开发了一套更加高级的评分系统，不仅判断某人是否能进，还会计算他属于哪个部门的概率。

如果一个人穿着工程师制服，90可能属于工程部，10可能属于市场部。

如果一个人拿着营销资料，80可能属于市场部，20可能属于工程部。

每个人都按照最高概率归类到相应部门。

这就像softmax激活函数，它的作用是：

把所有的可能性转换成概率分布（所有概率加起来是1）。

适用于多分类问题（比如识别一张图片是“猫”、“狗”还是“兔子”）。

优点：

适合多类别分类，可以告诉你“最有可能”是哪一类。

问题：

计算量比relu大一点，但在分类任务中是最合适的。

总结：不同激活函数的角色

激活函数比喻适用场景优点问题

恒等函数（identity）