¿Cómo ejecutar la base de datos de prueba de Django solo en la memoria?

Mis pruebas unitarias de Django tardan mucho tiempo en ejecutarse, así que estoy buscando formas de acelerarlo. Estoy considerando instalar un SSD , pero sé que también tiene sus desventajas. Por supuesto, hay cosas que podría hacer con mi código, pero estoy buscando una solución estructural. Incluso ejecutar una sola prueba es lento ya que la base de datos necesita ser reconstruida / migrada al sur cada vez. Así que aquí está mi idea ...

Como sé que la base de datos de prueba siempre será bastante pequeña, ¿por qué no puedo configurar el sistema para mantener siempre toda la base de datos de prueba en RAM? Nunca toque el disco en absoluto. ¿Cómo configuro esto en Django? Prefiero seguir usando MySQL, ya que eso es lo que uso en la producción, pero si SQLite  3 u otra cosa lo hace fácil, seguiría ese camino.

¿SQLite o MySQL tienen una opción para ejecutarse completamente en la memoria? Debería ser posible configurar un disco RAM y luego configurar la base de datos de prueba para almacenar sus datos allí, pero no estoy seguro de cómo decirle a Django / MySQL que use un directorio de datos diferente para una determinada base de datos, especialmente porque se sigue borrando y recreó cada carrera. (Estoy en una Mac FWIW).

Si configura su motor de base de datos en sqlite3 cuando ejecuta sus pruebas, Django usará una base de datos en memoria .

Estoy usando un código como este en mi settings.pypara configurar el motor en sqlite cuando ejecuto mis pruebas:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

O en Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

Y finalmente en Django 1.3 y 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(La ruta completa al backend no es estrictamente necesaria con Django 1.3, pero hace que la configuración sea compatible).

También puede agregar la siguiente línea, en caso de que tenga problemas con las migraciones del sur:

    SOUTH_TESTS_MIGRATE = False

Por lo general, creo un archivo de configuración separado para las pruebas y lo uso en el comando de prueba, por ejemplo

python manage.py test --settings=mysite.test_settings myapp

Tiene dos beneficios:

1. No tiene que buscar testni ninguna palabra mágica en sys.argv, test_settings.pysimplemente puede ser

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   O bien, puede ajustarlo según sus necesidades, separando limpiamente la configuración de prueba de la configuración de producción.

2. Otro beneficio es que puede ejecutar la prueba con el motor de base de datos de producción en lugar de sqlite3 evitando errores sutiles, por lo que al desarrollar el uso

   python manage.py test --settings=mysite.test_settings myapp

   y antes de comprometer el código, ejecutar una vez

   python manage.py test myapp

   solo para estar seguro de que todas las pruebas realmente están pasando.

MySQL admite un motor de almacenamiento llamado "MEMORY", que puede configurar en la configuración de su base de datos ( settings.py) como tal:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Tenga en cuenta que el motor de almacenamiento MEMORY no admite columnas de blob / texto, por lo que si está usando django.db.models.TextFieldesto no funcionará para usted.

No puedo responder a su pregunta principal, pero hay algunas cosas que puede hacer para acelerar las cosas.

En primer lugar, asegúrese de que su base de datos MySQL esté configurada para usar InnoDB. Luego puede usar transacciones para revertir el estado de la base de datos antes de cada prueba, lo que en mi experiencia ha llevado a una aceleración masiva. Puede pasar un comando de inicio de base de datos en su settings.py (sintaxis de Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

En segundo lugar, no necesita ejecutar las migraciones del sur cada vez. Establezca SOUTH_TESTS_MIGRATE = Falseen settings.py y la base de datos se creará con syncdb simple, que será mucho más rápido que ejecutar todas las migraciones históricas.

Puedes hacer ajustes dobles:

• use tablas transaccionales: el estado de los dispositivos iniciales se establecerá utilizando la reversión de la base de datos después de cada TestCase.
• ponga el directorio de datos de su base de datos en ramdisk: obtendrá mucho en lo que respecta a la creación de la base de datos y también ejecutar la prueba será más rápido.

Estoy usando ambos trucos y estoy bastante feliz.

Cómo configurarlo para MySQL en Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

¡Cuidado, es solo para probar, después de reiniciar su base de datos desde la memoria se pierde!

Otro enfoque: tener otra instancia de MySQL ejecutándose en un tempfs que use un disco RAM. Instrucciones en esta publicación de blog: Acelerar MySQL para probar en Django .

Ventajas:

• Usas exactamente la misma base de datos que usa tu servidor de producción
• no es necesario cambiar su configuración predeterminada de mysql

Ampliando la respuesta de Anurag, simplifiqué el proceso creando los mismos test_settings y agregando lo siguiente a manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

parece más limpio ya que sys ya se importó y manage.py solo se usa a través de la línea de comandos, por lo que no es necesario saturar la configuración

Use a continuación en su setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'