Desde un punto de vista práctico, L1 tiende a reducir los coeficientes a cero, mientras que L2 tiende a reducir los coeficientes uniformemente. Por lo tanto, L1 es útil para la selección de características, ya que podemos descartar cualquier variable asociada con coeficientes que lleguen a cero. L2, por otro lado, es útil cuando tiene características colineales/codependientes.
¿Para qué sirve la regularización? ¿Qué es la regularización L1 y L2?
La regularización
L1 proporciona una salida en pesos binarios de 0 a 1 para las características del modelo y se adopta para disminuir la cantidad de características en un conjunto de datos dimensional enorme. La regularización L2 dispersa los términos de error en todos los pesos, lo que conduce a modelos finales personalizados más precisos.
¿Cuáles son las diferencias entre la regularización L1 y L2?
La principal diferencia intuitiva entre la regularización L1 y L2 es que la regularización L1 intenta estimar la mediana de los datos mientras que la regularización L2 intenta estimar la media de los datos para evitar el sobreajuste. … Ese valor también será matemáticamente la mediana de la distribución de datos.
¿Qué es la regularización de L1 y L2 en el aprendizaje profundo?
La regularización
L2 también se conoce como disminución del peso, ya que obliga a los pesos a disminuir hacia cero (pero no exactamente cero). En L1 tenemos: En esta, penalizamos el valor absoluto de los pesos. A diferencia de L2, los pesos pueden reducirse a cero aquí. Por lo tanto, es muy útil cuando estamos tratando de comprimirnuestro modelo.
¿Cómo funciona la regularización de L1 y L2?
Un modelo de regresión que usa la técnica de regularización L1 se llama Regresión de Lasso y el modelo que usa L2 se llama Regresión de Ridge. La diferencia clave entre estos dos es el término de la pena. La regresión de cresta agrega la "magnitud al cuadrado" del coeficiente como término de penalización a la función de pérdida.
