¿Cómo consigo que Django Admin elimine archivos cuando elimino un objeto de la base de datos / modelo?

Estoy usando 1.2.5 con un ImageField estándar y usando el backend de almacenamiento incorporado. Los archivos se cargan bien, pero cuando elimino una entrada del administrador, el archivo real en el servidor no se elimina.