Functions
2026-08-07 · 随笔 · 43a908c205b5
解释protocol
输入输出是什么, 什么到什么的映射, 语义是什么,
只要满足这个性质的这个对象, 他就是这个对象?
只要它长得像葱, 尝起来跟葱一样, 那么它就是葱 ()
Softmax 函数:
1. 输入与输出
Softmax 将一个包含 mm 个实数分数的向量映射为一个归一化权重分布：
softmax: Rm → Δ˚m−1
\operatorname{softmax}:
\mathbb{R}^{m}
\rightarrow
\mathring{\Delta}^{m-1}
其中，Δ˚m−1\mathring{\Delta}^{m-1} 是概率单纯形( 所有元素都不小于 0，并且加起来等于 1 的向量集合。)的内部：
\mathring{\Delta}^{m-1}
=
\left{
p\in\mathbb{R}^{m}
;\middle|;
p_j>0,;
\sum_{j=1}^{m}p_j=1
\right}
\mathring{\Delta}^{m-1}
=
\left{
p\in\mathbb{R}^{m}
;\middle|;
p_j>0,;
\sum_{j=1}^{m}p_j=1
\right}
因此：
- 输入 z∈Rmz\in\mathbb{R}^{m}：一组未归一化实数分数，也称为 logits。
- 输出 p∈Δ˚m−1p\in\mathring{\Delta}^{m-1}：与输入等长、所有元素为正且总和为 11 的权重分布。
Softmax 不是逐元素独立函数
因为每个输出都共享同一个分母：
\sum_{t=1}^{m}\exp(z_t)
$$
所以改变任意一个 $z_j$，都会影响整行所有输出。
### KL-Divergence:
### Inner Product
$<·, /dot>$
\sum_{t=1}^{m}\exp(z_t)
$$
所以改变任意一个 $z_j$，都会影响整行所有输出。
### KL-Divergence:
### Inner Product
$<·, /dot>$