1 Binary Crossentropy

二值交叉熵损失函数，一般用于二分类:
\operatorname{loss}=-\sum_{i=1}^{n} \hat{y}_{i} \log y_{i}+\left(1-\hat{y}_{i}\right) \log \left(1-\hat{y}_{i}\right)\tag{1}

2 Categorical Cross Entropy

分类交叉熵损失函数，一般用于多分类：
\operatorname{loss}=-\sum_{i=1}^{n} \hat{y}_{i 1} \log y_{i 1}+\hat{y}_{i 2} \log y_{i 2}+\cdots+\hat{y}_{i m} \log y_{i m}\tag{2}

3 分类问题应用

常见的有如下分类问题：

二分类 (Binary classification)：一般输出表示是否属于某类的概率
多分类 (Multi-class classification)：一般输出表示属于多种类别中的某一类的概率
多标签 (Multi-label classification)：一般输出表示属于多种类别中的某一类或多类的概率

通常情况下对于多类和多标签问题，使用如下的 Activate 和 Loss 组合：