Cron y virtualenv

Estoy tratando de ejecutar un comando de administración de Django desde cron. Estoy usando virtualenv para mantener mi proyecto protegido.

He visto ejemplos aquí y en otros lugares que muestran comandos de administración en ejecución desde dentro de virtualenv como:

0 3 * * * source /home/user/project/env/bin/activate && /home/user/project/manage.py command arg

Sin embargo, aunque syslog muestra una entrada cuando la tarea debería haber comenzado, esta tarea nunca se ejecuta realmente (el archivo de registro para el script está vacío). Si ejecuto la línea manualmente desde el shell, funciona como se esperaba.

La única forma en que actualmente puedo obtener el comando para que se ejecute a través de cron, es dividir los comandos y ponerlos en un script de envoltura de bash tonto:

#!/bin/sh
source /home/user/project/env/bin/activate
cd /home/user/project/
./manage.py command arg

EDITAR:

Ars se le ocurrió una combinación funcional de comandos:

0 3 * * * cd /home/user/project && /home/user/project/env/bin/python /home/user/project/manage.py command arg

Al menos en mi caso, invocar el script de activación para virtualenv no hizo nada. Esto funciona, así sucesivamente con el espectáculo.

Debería poder hacer esto utilizando el pythonen su entorno virtual:

/home/my/virtual/bin/python /home/my/project/manage.py command arg

EDITAR: si su proyecto django no está en PYTHONPATH, deberá cambiar al directorio correcto:

cd /home/my/project && /home/my/virtual/bin/python ...

También puede intentar registrar el error desde cron:

cd /home/my/project && /home/my/virtual/bin/python /home/my/project/manage.py > /tmp/cronlog.txt 2>&1

Otra cosa para intentar es hacer el mismo cambio en su manage.pyscript en la parte superior:

#!/home/my/virtual/bin/python

Ejecutar sourcedesde un archivo cron no funcionará, ya que cron lo utiliza /bin/shcomo su shell predeterminado, que no es compatible source. Debe configurar la variable de entorno SHELL para que sea /bin/bash:

SHELL=/bin/bash
*/10 * * * * root source /path/to/virtualenv/bin/activate && /path/to/build/manage.py some_command > /dev/null

Es difícil detectar por qué esto falla, ya /var/log/syslogque no registra los detalles del error. Lo mejor es usar un alias para rootear para que te envíen un correo electrónico con cualquier error cron. Simplemente agréguese /etc/aliasesy corra sendmail -bi.

Más información aquí: http://codeinthehole.com/archives/43-Running-django-cronjobs-within-a-virtualenv.html

el enlace de arriba se cambia a: https://codeinthehole.com/tips/running-django-cronjobs-within-a-virtualenv/

No busques más:

0 3 * * * /usr/bin/env bash -c 'cd /home/user/project && source /home/user/project/env/bin/activate && ./manage.py command arg' > /dev/null 2>&1

Enfoque genérico:

* * * * * /usr/bin/env bash -c 'YOUR_COMMAND_HERE' > /dev/null 2>&1

Lo bueno de esto es que NO necesita cambiar la SHELLvariable para crontab de shabash

La única forma correcta de ejecutar trabajos cron de python cuando se utiliza virtualenv es activar el entorno y luego ejecutar el python del entorno para ejecutar su código.

Una forma de hacerlo es usar virtualenv activate_thisen su script de Python, consulte: http://virtualenv.readthedocs.org/en/latest/userguide.html#using-virtualenv-without-bin-python

Otra solución es hacer eco del comando completo, incluida la activación del entorno y su canalización /bin/bash. Considere esto para su /etc/crontab:

***** root echo 'source /env/bin/activate; python /your/script' | /bin/bash

En lugar de perder el tiempo con shebangs específicos de virtualenv, simplemente anteponga PATHal crontab.

Desde un virtualenv activado, ejecute estos tres comandos y los scripts de Python deberían funcionar:

$ echo "PATH=$PATH" > myserver.cron
$ crontab -l >> myserver.cron
$ crontab myserver.cron

La primera línea del crontab debería verse así:

PATH=/home/me/virtualenv/bin:/usr/bin:/bin:  # [etc...]

La mejor solución para mí fue a ambos

• use el binario de python en el directorio bin / venv
• configura la ruta de Python para incluir el directorio de módulos venv.

man pythonmenciona la modificación de la ruta en shell en $PYTHONPATHo en python consys.path

Otras respuestas mencionan ideas para hacer esto usando el shell. Desde python, agregar las siguientes líneas a mi script me permite ejecutarlo con éxito directamente desde cron.

import sys
sys.path.insert(0,'/path/to/venv/lib/python3.3/site-packages');

Así es como se ve en una sesión interactiva:

Python 3.3.2+ (default, Feb 28 2014, 00:52:16) 
[GCC 4.8.1] on linux
Type "help", "copyright", "credits" or "license" for more information.

>>> import sys

>>> sys.path
['', '/usr/lib/python3.3', '/usr/lib/python3.3/plat-x86_64-linux-gnu', '/usr/lib/python3.3/lib-dynload']

>>> import requests
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named 'requests'   

>>> sys.path.insert(0,'/path/to/venv/modules/');

>>> import requests
>>>

Me gustaría agregar esto porque pasé algún tiempo resolviendo el problema y no encontré una respuesta aquí para la combinación del uso de variables en cron y virtualenv. Entonces quizás ayude a alguien.

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DIR_SMTH="cd /smth"
VENV=". venv/bin/activate"
CMD="some_python_bin do_something"
# m h  dom mon dow   command
0 * * * * $DIR_SMTH && $VENV && $CMD -k2 some_target >> /tmp/crontest.log 2>&1

No funcionó bien cuando se configuró como

DIR_SMTH = "cd / smth &&. Venv / bin / enable"

Gracias @davidwinterbottom , @ reed-sandberg y @mkb por dar la dirección correcta. La respuesta aceptada realmente funciona bien hasta que su python necesite ejecutar un script que tenga que ejecutar otro binario de python desde el directorio venv / bin.

Esta es una solución que me ha funcionado bien.

source /root/miniconda3/etc/profile.d/conda.sh && \
conda activate <your_env> && \
python <your_application> &

Estoy usando miniconda con Conda versión 4.7.12 en un Ubuntu 18.04.3 LTS.

Puedo colocar lo anterior dentro de un script y ejecutarlo a través de crontab también sin ningún problema.

script de python

from datetime import datetime                                                                                                                                                                
import boto   # check wheather its taking the virtualenv or not                                                                                                                                                                        
import sys                                                                                                                                                                                   
param1=sys.argv[1]     #Param                                                                                                                                                                                                                                                                                                                                                                    
myFile = open('appendtxt.txt', 'a')                                                                                                                                                      
myFile.write('\nAccessed on ' + param1+str(datetime.now())) 

Comando Cron

 */1 * * * *  cd /Workspace/testcron/ && /Workspace/testcron/venvcron/bin/python3  /Workspace/testcron/testcronwithparam.py param  

En el comando anterior

• * / 1 * * * * - Ejecuta cada minuto
• cd / Workspace / testcron / - Ruta del script de python
• / Espacio de trabajo / testcron / venvcron / bin / python3 : ruta Virtualenv
• Workspace / testcron / testcronwithparam.py - Ruta del archivo
• param - parámetro