¿El sesgo bajo en una muestra es sinónimo de varianza alta?

¿Es cierto lo siguiente?

sesgo bajo = varianza
alta sesgo alto = varianza baja

Entiendo el sesgo alto y bajo, pero ¿cómo es diferente la varianza? ¿O son los sinónimos anteriores?

No. Puedes tener ambas altas o ambas bajas al mismo tiempo. Aquí hay un ejemplo ilustrativo. fuente de imagen y artículo También le recomiendo que lea el artículo de donde proviene esta imagen.

La razón por la que tiene esa impresión es que en la "edad temprana" del aprendizaje automático, existe un concepto llamado compensación de variación de sesgo (como mencionó @Kodiologist, este concepto sigue siendo cierto y es un concepto fundamental de los modelos de ajuste actuales).

• Cuando aumenta la complejidad del modelo, aumenta la varianza y se reduce el sesgo
• cuando se regulariza el modelo, se incrementa el sesgo y se reduce la varianza.

En la reciente conferencia sobre el curso de aprendizaje profundo de Andrew Ng, mencionó que en el marco de aprendizaje profundo reciente (con una gran cantidad de datos), la gente habla menos sobre el intercambio. En cambio, hay formas de reducir solo la varianza y no aumentar el sesgo (por ejemplo, aumentar el tamaño de los datos de entrenamiento), como viceversa.

La diferencia entre sesgo y varianza es la misma que entre precisión y precisión :

• La precisión de un sistema de medición es qué tan cerca se acerca al valor real (verdadero) de una cantidad. (≈ sesgo)

• La precisión de un sistema de medición es el grado en que las mediciones repetidas dan los mismos resultados. (≈ varianza)