Anthropic · 大模型

Anthropic 提出 Softmax Linear Units 激活函数

Anthropic 发布了一项关于激活函数的研究，提出 Softmax Linear Units（SLU）。该工作将 softmax 操作引入线性单元设计，旨在改善神经网络中梯度流动与特征竞争问题。实验表明 SLU 在多种架构和任务上优于 ReLU 及其变体，为激活函数设计提供了新思路。

导读

这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。