Reguladores le permiten aplicar penalizaciones en los parámetros de la capa o la actividad de la capa durante la optimización. Estas penalizaciones se suman en la función de pérdida que optimiza la red. Las sanciones de regularización se aplican por capa.
¿Qué es el regularizador de actividad?
El regularizador de actividad funciona en función de la salida de la red, y se usa principalmente para regularizar unidades ocultas, mientras que weight_regularizer, como su nombre lo dice, trabaja sobre los pesos (por ejemplo, haciéndolos decaer).
¿Cuándo debo usar el regularizador de actividad?
Si desea que la función de salida pase (o tenga una intersección más cercana) al origen, puede usar el regularizador de sesgo. Si desea que la salida sea más pequeña (o más cercana a 0), puede usar el regularizador de actividad.
¿Cómo uso el regularizador Keras?
Para agregar un regularizador a una capa, simplemente tiene para pasar la técnica de regularización preferida al argumento de palabra clave de la capa 'kernel_regularizer'. Los métodos de implementación de regularización de Keras pueden proporcionar un parámetro que representa el valor del hiperparámetro de regularización.
¿Qué es kernel y sesgo?
Clase densa
Dense implementa la operación: salida=activación(punto(entrada, kernel) + sesgo) donde activación es la función de activación por elementos pasada como argumento de activación, kernel es una matriz de pesos creada por la capa, ybias es un vector de sesgo creado por la capa (solo aplicable si use_bias es True).
