Cómo utilizar PyCharm para depurar proyectos Scrapy

Estoy trabajando en Scrapy 0.20 con Python 2.7. Descubrí que PyCharm tiene un buen depurador de Python. Quiero probar mis arañas Scrapy usándolo. Alguien sabe como hacer eso por favor?

Lo que he probado

File->Setting->Project structure->Add content root.

Pero no se que mas tengo que hacer

El scrapycomando es un script de Python, lo que significa que puede iniciarlo desde dentro de PyCharm.

Cuando examine el binario scrapy ( which scrapy), notará que en realidad se trata de un script de Python:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

Esto significa que un comando como este scrapy crawl IcecatCrawlertambién se puede ejecutar así:python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

Intente encontrar el paquete scrapy.cmdline. En mi caso, la ubicación estaba aquí:/Library/Python/2.7/site-packages/scrapy/cmdline.py

Cree una configuración de ejecución / depuración dentro de PyCharm con ese script como script. Complete los parámetros del script con el comando scrapy y spider. En este caso crawl IcecatCrawler.

Me gusta esto:

Coloque sus puntos de interrupción en cualquier lugar de su código de rastreo y debería funcionar ™.

Solo necesitas hacer esto.

Cree un archivo de Python en la carpeta del rastreador de su proyecto. Usé main.py.

• Proyecto
  • Tractor
    • Tractor
      • Arañas
      • ...
    • main.py
    • scrapy.cfg

Dentro de su main.py, ponga este código a continuación.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

Y necesita crear una "Configuración de ejecución" para ejecutar su main.py.

Al hacer esto, si coloca un punto de interrupción en su código, se detendrá allí.

A partir de 2018.1, esto se volvió mucho más fácil. Ahora puede seleccionar Module nameen su proyecto Run/Debug Configuration. Establezca esto en scrapy.cmdliney Working directoryen el directorio raíz del proyecto scrapy (el que contiene settings.py).

Al igual que:

Ahora puede agregar puntos de interrupción para depurar su código.

Estoy ejecutando scrapy en un virtualenv con Python 3.5.0 y estableciendo el parámetro "script" para /path_to_project_env/env/bin/scrapyresolver el problema por mí.

intellij idea también funciona.

crear main.py :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

mostrar a continuación:

Para agregar un poco a la respuesta aceptada, después de casi una hora descubrí que tenía que seleccionar la Configuración de ejecución correcta de la lista desplegable (cerca del centro de la barra de herramientas del icono), luego hacer clic en el botón Depurar para que funcione. ¡Espero que esto ayude!

También estoy usando PyCharm, pero no estoy usando sus funciones de depuración integradas.

Para depurar estoy usando ipdb. Configuré un atajo de teclado para insertar import ipdb; ipdb.set_trace()en cualquier línea que desee que ocurra el punto de interrupción.

Luego puedo escribir npara ejecutar la siguiente declaración, singresar a una función, escribir cualquier nombre de objeto para ver su valor, alterar el entorno de ejecución, escribir cpara continuar con la ejecución ...

Esto es muy flexible, funciona en entornos distintos a PyCharm, donde no controlas el entorno de ejecución.

Simplemente escriba su entorno virtual pip install ipdby colóquelo import ipdb; ipdb.set_trace()en una línea donde desee que se detenga la ejecución.

Según la documentación https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Yo uso este sencillo script:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

Ampliando la versión de @ Rodrigo de la respuesta, agregué este script y ahora puedo establecer el nombre de la araña desde la configuración en lugar de cambiar la cadena.

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())