熵与激活函数

10. 熵与激活函数

1. 熵的概念

2. 熵的大小

3. 激活函数

4. 激活函数的问题

输出值全为整数会导致梯度全为正或者全为负 优化更新会产生阶梯式情况