XQuartz es la continuación del obsoleto X11.app de Apple que solía ser parte de OS X:
X11 ya no se incluye con OS X, pero el servidor X11 y las bibliotecas de cliente para OS X están disponibles en el proyecto XQuartz: http://xquartz.macosforge.org . Debe usar la última versión disponible de XQuartz.
Fuente: Acerca de X11 para Mac - Soporte técnico de Apple
X11 es un sistema de ventanas muy antiguo para Unix que no es necesario para casi todo lo que harás en tu Mac. El único uso generalizado de X11 para el que lo uso es Wine, que le permite ejecutar el software de Windows en su Mac.
XQuartz es muy similar a X11, pero es un 'esfuerzo comunitario para desarrollar más' X11:
Apple creó el proyecto XQuartz como un esfuerzo de la comunidad para desarrollar y admitir X11 en OS X. El proyecto XQuartz se basó originalmente en la versión de X11 incluida en Mac OS X v10.5. Ha habido múltiples versiones de XQuartz con correcciones, soporte para nuevas características de OS X y mejoras adicionales a la experiencia X11. Apple es colaborador del proyecto XQuartz y ha trabajado para garantizar que X11 funcione como se esperaba en OS X con las últimas versiones disponibles de XQuartz.
XQuartz no "estropea" la pantalla Retina. No reemplaza ninguna de la administración de ventanas de OS X. $ DISPLAY solo se usa con y para XQuartz, que yo sepa.