También debería servir para RHEL, Fedora o derivados.

Lo instalé con Gnome y ahora no lo necesito para nada, así que seguiremos estas instrucciones, las cuales paso a traducir a mi manera:

Arrancar por defecto en modo consola

El modo consola es cuando arrancas Linux en runlevel 3. Lo haremos comportamiento por defecto reemplazando id:5:initdefault: por id:3:initdefault: en el fichero /etc/inittab.

Desactivar y reactivar la interfaz gráfica temporalmente

Ejecutaremos init 3 para desactivarla e init 5 para reactivarla.

Eliminar la interfaz gráfica definitivamente

Si no te basta con lo anterior y lo que quieres es eliminar por completo la interfaz gráfica de tu servidor, cosa muy razonable si no vas a usarla, ejecuta yum groupremove "GNOME Desktop Environment" "X Window System.