1 Binary Crossentropy
二值交叉熵损失函数,一般用于二分类:
\operatorname{loss}=-\sum_{i=1}^{n} \hat{y}_{i} \log y_{i}+\left(1-\hat{y}_{i}\right) \log \left(1-\hat{y}_{i}\right)\tag{1}
2 Categorical Cross Entropy
分类交叉熵损失函数,一般用于多分类:
\operatorname{loss}=-\sum_{i=1}^{n} \hat{y}_{i 1} \log y_{i 1}+\hat{y}_{i 2} \log y_{i 2}+\cdots+\hat{y}_{i m} \log y_{i m}\tag{2}
3 分类问题应用
常见的有如下分类问题:
- 二分类 (Binary classification):一般输出表示是否属于某类的概率
- 多分类 (Multi-class classification):一般输出表示属于多种类别中的某一类的概率
- 多标签 (Multi-label classification):一般输出表示属于多种类别中的某一类或多类的概率
通常情况下对于多类和多标签问题,使用如下的 Activate 和 Loss 组合:
Problem | Activation | Loss | Notes |
---|---|---|---|
Binary classification | Sigmoid | Binary Cross Entropy | Two exclusive classes |
Multi-class classification | Softmax | Categorical Cross Entropy | More than two exclusive classes |
Multi-label classification | Sigmoid | Binary Cross Entropy | Just non-exclusive classes |