激活函数

Keras中预定义的激活函数主要有以下这些。在使用时可以直接以字符串的形式赋予激活函数参数来使用。

• softmax，在多分类中常用，也可用于二分类问题，基于逻辑回归。
• elu，指数线性单元。
• selu，可伸缩的指数线性单元，等同于\(scale \cdot elu(x, \alpha)\)。
• softplus，\(softplus(x)=log(1+e^x)\)，近似生物神经激活函数。
• softsign。
• relu，整流线性单元，近似生物神经激活函数，默认返回逐元素的\(max(x, 0)\)。
• tanh，双曲正切，常用激活函数。
• sigmoid，S型曲线激活函数，常用于二分类问题，常用激活函数。
• hard_signoid，S型曲线激活函数，速度比Sigmoid快。
• exponential，自然指数激活函数。
• linear，线性激活函数。