¿Cómo podría usar solicitudes en asyncio?

Quiero hacer tareas paralelas de solicitud http asyncio, pero encuentro que python-requestsbloquearía el bucle de eventos de asyncio. Encontré aiohttp pero no podía proporcionar el servicio de solicitud http utilizando un proxy http.

Así que quiero saber si hay una manera de hacer solicitudes http asíncronas con la ayuda de asyncio.

Para usar solicitudes (o cualquier otra biblioteca de bloqueo) con asyncio, puede usar BaseEventLoop.run_in_executor para ejecutar una función en otro hilo y obtener el resultado para obtener el resultado. Por ejemplo:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Esto obtendrá ambas respuestas en paralelo.

Con python 3.5 puede usar la nueva await/ asyncsintaxis:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Ver PEP0492 para más.

aiohttp ya se puede usar con el proxy HTTP:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Las respuestas anteriores todavía usan las antiguas corutinas de estilo Python 3.4. Esto es lo que escribiría si tuviera Python 3.5+.

aiohttp ahora es compatible con http proxy

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Actualmente, las solicitudes no son compatibles asyncioy no hay planes para proporcionar dicho soporte. Es probable que pueda implementar un "Adaptador de transporte" personalizado (como se describe aquí ) que sabe cómo usar asyncio.

Si me encuentro con algo de tiempo, es algo que realmente podría investigar, pero no puedo prometer nada.

Hay un buen caso de bucles asincrónicos / en espera y subprocesos en un artículo de Pimin Konstantin Kefaloukos Solicitudes HTTP sencillas en paralelo con Python y asyncio :

Para minimizar el tiempo total de finalización, podríamos aumentar el tamaño del grupo de subprocesos para que coincida con la cantidad de solicitudes que tenemos que hacer. Afortunadamente, esto es fácil de hacer, como veremos a continuación. La lista de códigos a continuación es un ejemplo de cómo realizar veinte solicitudes HTTP asincrónicas con un grupo de subprocesos de veinte subprocesos de trabajo:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())