¿Cómo controla el sistema operativo las posiciones de los objetos en la pantalla?

Sé que la pantalla que utiliza estándares como VGA se puede ver como una matriz de píxeles al menos para el sistema operativo. Pero las pantallas modernas incluyen controles complejos de IU como botones y cuadros de texto. No sé si el sistema operativo hace todo el trabajo o si es algo...