“Creación de un proyecto en Pycharm usando Scrapy” Código de respuesta

Creación de un proyecto en Pycharm usando Scrapy

tutorial/
    scrapy.cfg            # deploy configuration file

    tutorial/             # project's Python module, you'll import your code from here
        __init__.py

        items.py          # project items definition file

        middlewares.py    # project middlewares file

        pipelines.py      # project pipelines file

        settings.py       # project settings file

        spiders/          # a directory where you'll later put your spiders
            __init__.py
Cute Capuchin

Creación de un proyecto en Pycharm usando Scrapy

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = f'quotes-{page}.html'
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log(f'Saved file {filename}')
Cute Capuchin

Respuestas similares a “Creación de un proyecto en Pycharm usando Scrapy”

Preguntas similares a “Creación de un proyecto en Pycharm usando Scrapy”

Más respuestas relacionadas con “Creación de un proyecto en Pycharm usando Scrapy” en Python

Explore las respuestas de código populares por idioma

Explorar otros lenguajes de código