這個(gè)問題比較適合用圖片回答。

這是sigmoid

這是tanh

這兩個(gè)圖像（圖中的黑線）是不是長(zhǎng)得很像？

當(dāng)然了，畢竟sigmoid線性變換一下就得到了tanh：

如果要說(shuō)不同的話，tanh比sigmoid更陡峭（上圖中的紅線為兩者的導(dǎo)數(shù)）。所以，理論上，用作激活函數(shù)時(shí)，如果你希望梯度更“激烈”一點(diǎn)，那就選tanh，反之，如果希望梯度更“平緩”一點(diǎn)，那就選sigmoid。不過，實(shí)踐中，其實(shí)這兩個(gè)都不怎么用，現(xiàn)在是ReLU的時(shí)代了。

另外，sigmoid的值域是0到1，而tanh的值域是-1到1，所以，在這個(gè)ReLU系占主流的年代，sigmoid仍然“堅(jiān)守”著分類層。

（函數(shù)及其導(dǎo)數(shù)圖像來(lái)源：towardsdatascience.com/hyper-parameters-in-action-a524bf5bf1c）