Categorical crossentropy è una funzione di perdita utilizzata nelle attività di classificazione multi-classe. Si tratta di attività in cui un esempio può appartenere solo a una delle molte categorie possibili e il modello deve decidere quale. Formalmente, è progettato per quantificare la differenza tra due distribuzioni di probabilità.
Perché usare l'entropia incrociata invece di MSE?
In primo luogo, l'entropia incrociata (o la perdita di softmax, ma l'entropia incrociata funziona meglio) è una misura migliore di MSE per la classificazione, perché il limite decisionale in un'attività di classificazione è ampio(rispetto alla regressione). … Per problemi di regressione, utilizzeresti quasi sempre il MSE.
Qual è la differenza tra entropia incrociata sparsa e entropia incrociata categoriale?
L'unica differenza tra l'entropia incrociata categoriale sparsa e l'entropia incrociata categoriale è il formato delle etichette vere. Quando abbiamo un problema di classificazione con etichetta singola e multiclasse, le etichette si escludono a vicenda per ogni dato, il che significa che ogni voce di dati può appartenere solo a una classe.
Come interpreti la perdita di entropia incrociata categoriale?
L'entropia incrociata aumenta quando la probabilità prevista di un campione diverge dal valore effettivo. Pertanto, prevedere una probabilità di 0,05 quando l'etichetta effettiva ha un valore di 1 aumenta la perdita di entropia incrociata. denota la probabilità prevista tra 0 e 1 per quel campione.
Perché l'entropia incrociata è buona?
Nel complesso, come possiamo vedere, l'entropia incrociata è semplicemente un modo per misurare la probabilità di un modello. L'entropia incrociata è utile in quanto può descrivere la probabilità di un modello e la funzione di errore di ciascun punto dati. Può anche essere utilizzato per descrivere un risultato previsto rispetto al risultato reale.
