La entropía cruzada categórica es una función de pérdida que se utiliza en tareas de clasificación multiclase. Estas son tareas en las que un ejemplo solo puede pertenecer a una de muchas categorías posibles, y el modelo debe decidir cuál. Formalmente, está diseñado para cuantificar la diferencia entre dos distribuciones de probabilidad.
¿Por qué usar entropía cruzada en lugar de MSE?
Primero, la entropía cruzada (o pérdida softmax, pero la entropía cruzada funciona mejor) es una mejor medida que MSE para la clasificación, porque el límite de decisión en una tarea de clasificación es grande(en comparación con la regresión). … Para problemas de regresión, casi siempre usaría el MSE.
¿Cuál es la diferencia entre la entropía cruzada dispersa y la entropía cruzada categórica?
La única diferencia entre la entropía cruzada categórica escasa y la entropía cruzada categórica es el formato de las etiquetas verdaderas. Cuando tenemos un problema de clasificación de una sola etiqueta y varias clases, las etiquetas son mutuamente excluyentes para cada dato, lo que significa que cada entrada de datos solo puede pertenecer a una clase.
¿Cómo interpretas la pérdida de entropía cruzada categórica?
La entropía cruzada aumenta a medida que la probabilidad predicha de una muestra diverge del valor real. Por lo tanto, predecir una probabilidad de 0,05 cuando la etiqueta real tiene un valor de 1 aumenta la pérdida de entropía cruzada. denota la probabilidad predicha entre 0 y 1 para esa muestra.
¿Por qué es buena la entropía cruzada?
En general, como podemos ver, la entropía cruzada es simplemente una forma de medir la probabilidad de un modelo. La entropía cruzada es útil ya que puede describir la probabilidad de un modelo y la función de error de cada punto de datos. También se puede utilizar para describir un resultado predicho en comparación con el resultado real.
