¿Cómo mido los tiempos de solicitud y respuesta a la vez con cURL?

659

Tengo un servicio web que recibe datos en formato JSON, procesa los datos y luego devuelve el resultado al solicitante.

Quiero medir la solicitud, la respuesta y el tiempo total usando cURL.

Mi solicitud de ejemplo se ve así:

curl -X POST -d @file server:port

y actualmente mido esto usando el timecomando en Linux:

time curl -X POST -d @file server:port

Sin embargo, el comando de tiempo solo mide el tiempo total , que no es exactamente lo que estoy buscando.

¿Hay alguna forma de medir los tiempos de solicitud y respuesta utilizando cURL?

sdasdadas
fuente

Respuestas:

1677

De esta brillante publicación de blog ... https://blog.josephscott.org/2011/10/14/timing-details-with-curl/

cURL admite salida formateada para los detalles de la solicitud (consulte la página de manual de cURL para más detalles , en -w, –write-out <format>). Para nuestros propósitos, nos centraremos solo en los detalles de tiempo que se proporcionan. Los tiempos a continuación son en segundos .

  1. Cree un nuevo archivo, curl-format.txt, y péguelo en:

        time_namelookup:  %{time_namelookup}s\n
           time_connect:  %{time_connect}s\n
        time_appconnect:  %{time_appconnect}s\n
       time_pretransfer:  %{time_pretransfer}s\n
          time_redirect:  %{time_redirect}s\n
     time_starttransfer:  %{time_starttransfer}s\n
                        ----------\n
             time_total:  %{time_total}s\n
    
  2. Haz una solicitud:

    curl -w "@curl-format.txt" -o /dev/null -s "http://wordpress.com/"
    

    O en Windows, es ...

    curl -w "@curl-format.txt" -o NUL -s "http://wordpress.com/"
    


Lo que esto hace:

-w "@curl-format.txt"le dice a cURL que use nuestro archivo de formato
-o /dev/nullredirige la salida de la solicitud a / dev / null
-s le dice a cURL que no muestre un medidor de progreso
"http://wordpress.com/"es la URL que estamos solicitando. Use comillas especialmente si su URL tiene parámetros de cadena de consulta "&"


Y esto es lo que obtienes:

   time_namelookup:  0.001s
      time_connect:  0.037s
   time_appconnect:  0.000s
  time_pretransfer:  0.037s
     time_redirect:  0.000s
time_starttransfer:  0.092s
                   ----------
        time_total:  0.164s


Hacer un acceso directo de Linux / Mac (alias)

alias curltime="curl -w \"@$HOME/.curl-format.txt\" -o NUL -s "

Entonces puedes simplemente llamar ...

curltime wordpress.org

Gracias al comentarista Pete Doyle!


Hacer un script independiente de Linux / Mac

Este script no requiere un archivo .txt separado para contener el formato.

Cree un nuevo archivo, curltime, en algún lugar de su ruta ejecutable, y pegue:

#!/bin/bash

curl -w @- -o /dev/null -s "$@" <<'EOF'
    time_namelookup:  %{time_namelookup}\n
       time_connect:  %{time_connect}\n
    time_appconnect:  %{time_appconnect}\n
   time_pretransfer:  %{time_pretransfer}\n
      time_redirect:  %{time_redirect}\n
 time_starttransfer:  %{time_starttransfer}\n
                    ----------\n
         time_total:  %{time_total}\n
EOF

Llame de la misma manera que el alias:

curltime wordpress.org


Hacer un acceso directo de Windows (también conocido como archivo BAT)

Ponga este comando en CURLTIME.BAT (en la misma carpeta que curl.exe)

curl -w "@%~dp0curl-format.txt" -o NUL -s %*

Entonces puedes simplemente llamar ...

curltime wordpress.org
Simon East
fuente
26
respuesta asombrosa gracias. Una cosa que tuve que hacer fue agregar \npara romper la línea en el archivo de texto
Jason Kim,
2
En el archivo BAT de Windows solo envía el primer parámetro, cámbielo a este para pasar todos los parámetros y deshabilitar echo el comando en sí mismo: @curl -w "@%~dp0curl-format.txt" -o NUL -s %*Gran respuesta
padilo
Gracias @udoh, he actualizado la respuesta para incluir eso.
Simon East
Excelente respuesta. ¿Cómo también incluyo la fecha + hora actual de cuando el curl inició la solicitud?
Saqib Ali
44
Para Linux, hice un dotfile y un alias y parece que funciona bien: alias curltime="curl -w \"@$HOME/.curl-format.txt\" -o NUL -s ". Probablemente también funciona en MacOS.
Pete Doyle
161

Aquí está la respuesta:

curl -X POST -d @file server:port -w %{time_connect}:%{time_starttransfer}:%{time_total}

Todas las variables utilizadas con -wse pueden encontrar en man curl.

sdasdadas
fuente
19
Es mejor para la experiencia del usuario agregar nuevas líneas:"\n%{time_connect}:%{time_starttransfer}:%{time_total}\n"
1
Para mí no estaba funcionando sin citas. Sugeriría agregar comillas al especificar el formato / h / a / c / haproxy # ❯❯❯ curl -w "% {time_total} \ n" google.com -o / dev / null -s 0.055
Geek
@Geek Generalmente tiene sentido mostrar errores cuando se opera en modo silencioso ( -sS).
x-yuri
139

Opción 1. Para medir total time:

curl -o /dev/null -s -w 'Total: %{time_total}s\n'  https://www.google.com

Salida de muestra:

ingrese la descripción de la imagen aquí

Opción 2. Para obtener time to establish connection, TTFB: time to first bytey total time:

curl -o /dev/null -s -w 'Establish Connection: %{time_connect}s\nTTFB: %{time_starttransfer}s\nTotal: %{time_total}s\n'  https://www.google.com

Salida de muestra:

ingrese la descripción de la imagen aquí

Ref: Obtenga tiempo de respuesta con curl

aunque
fuente
53

Un acceso directo que puede agregar a su .bashrc, etc., basado en otras respuestas aquí:

function perf {
  curl -o /dev/null -s -w "%{time_connect} + %{time_starttransfer} = %{time_total}\n" "$1"
}

Uso:

> perf stackoverflow.com
0.521 + 0.686 = 1.290
mahemoff
fuente
55
Utilizo una variación que muestra el número de bytes descargados durante el tiempo medido:curl -o /dev/null -s -w "time_total: %{time_total} sec\nsize_download: %{size_download} bytes\n" https://www.google.com
jambroseclarke
39

Lo siguiente está inspirado en la respuesta de Simon. Es autónomo (no requiere un archivo de formato separado), lo que lo hace ideal para su inclusión .bashrc.

curl_time() {
    curl -so /dev/null -w "\
   namelookup:  %{time_namelookup}s\n\
      connect:  %{time_connect}s\n\
   appconnect:  %{time_appconnect}s\n\
  pretransfer:  %{time_pretransfer}s\n\
     redirect:  %{time_redirect}s\n\
starttransfer:  %{time_starttransfer}s\n\
-------------------------\n\
        total:  %{time_total}s\n" "$@"
}

Además, debería funcionar con todos los argumentos que curlnormalmente se toman, ya que "$@"simplemente los pasa. Por ejemplo, puedes hacer:

curl_time -X POST -H "Content-Type: application/json" -d '{"key": "val"}' https://postman-echo.com/post

Salida:

   namelookup:  0,125000s
      connect:  0,250000s
   appconnect:  0,609000s
  pretransfer:  0,609000s
     redirect:  0,000000s
starttransfer:  0,719000s
-------------------------
        total:  0,719000s
Konstantin
fuente
34

Si desea analizar o resumir la latencia, puede probar apache bench:

ab -n [number of samples] [url]

Por ejemplo:

ab -n 100 http://www.google.com/

Mostrará:

This is ApacheBench, Version 2.3 <$Revision: 1757674 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking www.google.com (be patient).....done


Server Software:        gws
Server Hostname:        www.google.com
Server Port:            80

Document Path:          /
Document Length:        12419 bytes

Concurrency Level:      1
Time taken for tests:   10.700 seconds
Complete requests:      100
Failed requests:        97
   (Connect: 0, Receive: 0, Length: 97, Exceptions: 0)
Total transferred:      1331107 bytes
HTML transferred:       1268293 bytes
Requests per second:    9.35 [#/sec] (mean)
Time per request:       107.004 [ms] (mean)
Time per request:       107.004 [ms] (mean, across all concurrent requests)
Transfer rate:          121.48 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:       20   22   0.8     22      26
Processing:    59   85 108.7     68     911
Waiting:       59   85 108.7     67     910
Total:         80  107 108.8     90     932

Percentage of the requests served within a certain time (ms)
  50%     90
  66%     91
  75%     93
  80%     95
  90%    105
  95%    111
  98%    773
  99%    932
 100%    932 (longest request)
Andong Zhan
fuente
1
mucho más simple que las otras respuestas. ¡Se olvidó por completo de este comando!
FacePalm
Esta es una respuesta fantástica. Y abacepta fácilmente muchas de las mismas banderas que, curlpor ejemplo, -Hpara encabezados. Utilicé este comando para comparar los tiempos de respuesta de una API de terceros (suministrando el token portador en un encabezado de autorización). Trabajó brillantemente.
tsamb
21

Otra forma es configurar ~/.curlrcasí

-w "\n\n==== cURL measurements stats ====\ntotal: %{time_total} seconds \nsize: %{size_download} bytes \ndnslookup: %{time_namelookup} seconds \nconnect: %{time_connect} seconds \nappconnect: %{time_appconnect} seconds \nredirect: %{time_redirect} seconds \npretransfer: %{time_pretransfer} seconds \nstarttransfer: %{time_starttransfer} seconds \ndownloadspeed: %{speed_download} byte/sec \nuploadspeed: %{speed_upload} byte/sec \n\n"

Entonces la salida de curles

❯❯ curl -I https://google.com
HTTP/2 301
location: https://www.google.com/
content-type: text/html; charset=UTF-8
date: Mon, 04 Mar 2019 08:02:43 GMT
expires: Wed, 03 Apr 2019 08:02:43 GMT
cache-control: public, max-age=2592000
server: gws
content-length: 220
x-xss-protection: 1; mode=block
x-frame-options: SAMEORIGIN
alt-svc: quic=":443"; ma=2592000; v="44,43,39"



==== cURL measurements stats ====
total: 0.211117 seconds
size: 0 bytes
dnslookup: 0.067179 seconds
connect: 0.098817 seconds
appconnect: 0.176232 seconds
redirect: 0.000000 seconds
pretransfer: 0.176438 seconds
starttransfer: 0.209634 seconds
downloadspeed: 0.000 byte/sec
uploadspeed: 0.000 byte/sec
Hieu Huynh
fuente
¿Me mostrarías la referencia a documentos más detallados sobre eso?
Trần Đức Tâm
@ TrầnĐứcTâm detalles en el libro oficial curl ec.haxx.se/usingcurl-writeout.html
Hieu Huynh
10

Hey es mejor que Apache Bench, tiene menos problemas con SSL

./hey https://google.com -more
Summary:
  Total:    3.0960 secs
  Slowest:  1.6052 secs
  Fastest:  0.4063 secs
  Average:  0.6773 secs
  Requests/sec: 64.5992

Response time histogram:
  0.406 [1] |
  0.526 [142]   |∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎∎
  0.646 [1] |
  0.766 [6] |∎∎
  0.886 [0] |
  1.006 [0] |
  1.126 [0] |
  1.246 [12]    |∎∎∎
  1.365 [32]    |∎∎∎∎∎∎∎∎∎
  1.485 [5] |∎
  1.605 [1] |

Latency distribution:
  10% in 0.4265 secs
  25% in 0.4505 secs
  50% in 0.4838 secs
  75% in 1.2181 secs
  90% in 1.2869 secs
  95% in 1.3384 secs
  99% in 1.4085 secs

Details (average, fastest, slowest):
  DNS+dialup:    0.1150 secs, 0.0000 secs, 0.4849 secs
  DNS-lookup:    0.0032 secs, 0.0000 secs, 0.0319 secs
  req write:     0.0001 secs, 0.0000 secs, 0.0007 secs
  resp wait:     0.2068 secs, 0.1690 secs, 0.4906 secs
  resp read:     0.0117 secs, 0.0011 secs, 0.2375 secs

Status code distribution:
  [200] 200 responses

Referencias

Jonathan
fuente
9

Otra opción que es quizás la más simple en términos de la línea de comandos es agregar la --trace-timeopción integrada :

curl -X POST -d @file server:port --trace-time

Aunque técnicamente no genera los tiempos de los diversos pasos según lo solicitado por el OP, sí muestra las marcas de tiempo para todos los pasos de la solicitud como se muestra a continuación. Con esto, puede calcular (con bastante facilidad) cuánto tiempo ha tomado cada paso.

$ curl https://www.google.com --trace-time -v -o /dev/null
13:29:11.148734 * Rebuilt URL to: https://www.google.com/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     013:29:11.149958 *   Trying 172.217.20.36...
13:29:11.149993 * TCP_NODELAY set
13:29:11.163177 * Connected to www.google.com (172.217.20.36) port 443 (#0)
13:29:11.164768 * ALPN, offering h2
13:29:11.164804 * ALPN, offering http/1.1
13:29:11.164833 * successfully set certificate verify locations:
13:29:11.164863 *   CAfile: none
  CApath: /etc/ssl/certs
13:29:11.165046 } [5 bytes data]
13:29:11.165099 * (304) (OUT), TLS handshake, Client hello (1):
13:29:11.165128 } [512 bytes data]
13:29:11.189518 * (304) (IN), TLS handshake, Server hello (2):
13:29:11.189537 { [100 bytes data]
13:29:11.189628 * TLSv1.2 (IN), TLS handshake, Certificate (11):
13:29:11.189658 { [2104 bytes data]
13:29:11.190243 * TLSv1.2 (IN), TLS handshake, Server key exchange (12):
13:29:11.190277 { [115 bytes data]
13:29:11.190507 * TLSv1.2 (IN), TLS handshake, Server finished (14):
13:29:11.190539 { [4 bytes data]
13:29:11.190770 * TLSv1.2 (OUT), TLS handshake, Client key exchange (16):
13:29:11.190797 } [37 bytes data]
13:29:11.190890 * TLSv1.2 (OUT), TLS change cipher, Client hello (1):
13:29:11.190915 } [1 bytes data]
13:29:11.191023 * TLSv1.2 (OUT), TLS handshake, Finished (20):
13:29:11.191053 } [16 bytes data]
13:29:11.204324 * TLSv1.2 (IN), TLS handshake, Finished (20):
13:29:11.204358 { [16 bytes data]
13:29:11.204417 * SSL connection using TLSv1.2 / ECDHE-ECDSA-CHACHA20-POLY1305
13:29:11.204451 * ALPN, server accepted to use h2
13:29:11.204483 * Server certificate:
13:29:11.204520 *  subject: C=US; ST=California; L=Mountain View; O=Google LLC; CN=www.google.com
13:29:11.204555 *  start date: Oct  2 07:29:00 2018 GMT
13:29:11.204585 *  expire date: Dec 25 07:29:00 2018 GMT
13:29:11.204623 *  subjectAltName: host "www.google.com" matched cert's "www.google.com"
13:29:11.204663 *  issuer: C=US; O=Google Trust Services; CN=Google Internet Authority G3
13:29:11.204701 *  SSL certificate verify ok.
13:29:11.204754 * Using HTTP2, server supports multi-use
13:29:11.204795 * Connection state changed (HTTP/2 confirmed)
13:29:11.204840 * Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
13:29:11.204881 } [5 bytes data]
13:29:11.204983 * Using Stream ID: 1 (easy handle 0x55846ef24520)
13:29:11.205034 } [5 bytes data]
13:29:11.205104 > GET / HTTP/2
13:29:11.205104 > Host: www.google.com
13:29:11.205104 > User-Agent: curl/7.61.0
13:29:11.205104 > Accept: */*
13:29:11.205104 > 
13:29:11.218116 { [5 bytes data]
13:29:11.218173 * Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
13:29:11.218211 } [5 bytes data]
13:29:11.251936 < HTTP/2 200 
13:29:11.251962 < date: Fri, 19 Oct 2018 10:29:11 GMT
13:29:11.251998 < expires: -1
13:29:11.252046 < cache-control: private, max-age=0
13:29:11.252085 < content-type: text/html; charset=ISO-8859-1
13:29:11.252119 < p3p: CP="This is not a P3P policy! See g.co/p3phelp for more info."
13:29:11.252160 < server: gws
13:29:11.252198 < x-xss-protection: 1; mode=block
13:29:11.252228 < x-frame-options: SAMEORIGIN
13:29:11.252262 < set-cookie: 1P_JAR=2018-10-19-10; expires=Sun, 18-Nov-2018 10:29:11 GMT; path=/; domain=.google.com
13:29:11.252297 < set-cookie: NID=141=pzXxp1jrJmLwFVl9bLMPFdGCtG8ySQKxB2rlDWgerrKJeXxfdmB1HhJ1UXzX-OaFQcnR1A9LKYxi__PWMigjMBQHmI3xkU53LI_TsYRbkMNJNdxs-caQQ7fEcDGE694S; expires=Sat, 20-Apr-2019 10:29:11 GMT; path=/; domain=.google.com; HttpOnly
13:29:11.252336 < alt-svc: quic=":443"; ma=2592000; v="44,43,39,35"
13:29:11.252368 < accept-ranges: none
13:29:11.252408 < vary: Accept-Encoding
13:29:11.252438 < 
13:29:11.252473 { [5 bytes data]
100 12215    0 12215    0     0   112k      0 --:--:-- --:--:-- --:--:--  112k
13:29:11.255674 * Connection #0 to host www.google.com left intact
Por Lundberg
fuente
Esta es realmente una gran respuesta que probablemente se ajuste a la mayoría de los casos de uso que la gente aquí está buscando. Las otras respuestas son excelentes para soluciones completas y profundas, pero esto es bueno para verificar rápidamente los tiempos de ida y vuelta.
Chris Vandevelde
Gracias @ChrisVandevelde. Sí, sabía que había "algo" como esto (había usado este parámetro antes), luego busqué en Google esta publicación SO y encontré la forma más sofisticada, pero ... tuve la sensación de que también había otra forma . :) Como usted dice, es simple en su simplicidad y, a veces, es lo suficientemente bueno para casos de uso más simples.
Según Lundberg el
8

curl -v --trace-time Esto debe hacerse en modo detallado

Pablo SSEMAKULA
fuente
4

Aquí está la cadena que puede usar -w, contiene todas las opciones que curl -wadmite.

{"contentType":"%{content_type}","filenameEffective":"%{filename_effective}","ftpEntryPath":"%{ftp_entry_path}","httpCode":"%{http_code}","httpConnect":"%{http_connect}","httpVersion":"%{http_version}","localIp":"%{local_ip}","localPort":"%{local_port}","numConnects":"%{num_connects}","numRedirects":"%{num_redirects}","proxySslVerifyResult":"%{proxy_ssl_verify_result}","redirectUrl":"%{redirect_url}","remoteIp":"%{remote_ip}","remotePort":"%{remote_port}","scheme":"%{scheme}","size":{"download":"%{size_download}","header":"%{size_header}","request":"%{size_request}","upload":"%{size_upload}"},"speed":{"download":"%{speed_download}","upload":"%{speed_upload}"},"sslVerifyResult":"%{ssl_verify_result}","time":{"appconnect":"%{time_appconnect}","connect":"%{time_connect}","namelookup":"%{time_namelookup}","pretransfer":"%{time_pretransfer}","redirect":"%{time_redirect}","starttransfer":"%{time_starttransfer}","total":"%{time_total}"},"urlEffective":"%{url_effective}"}

salidas JSON.

ATilara
fuente
Prepending \nayuda a separar el tiempo cuando el cuerpo no termina con una nueva línea:curl -w '\n{"contentType":"..."}...
Beni Cherniavsky-Paskin
2

Aquí hay una línea Bash para golpear el mismo servidor repetidamente:

for i in {1..1000}; do curl -s -o /dev/null -w "%{time_total}\n" http://server/get_things; done
Lucas
fuente
0

Esta es una versión modificada de la respuesta de Simons que hace que la salida multilínea sea una sola línea. También presenta la marca de tiempo actual para que sea más fácil seguir cada línea de salida.

Formato de muestra fle
$ cat time-format.txt
time_namelookup:%{time_namelookup} time_connect:%{time_connect} time_appconnect:%{time_appconnect} time_pretransfer:%{time_pretransfer} time_redirect:%{time_redirect} time_starttransfer:%{time_starttransfer} time_total:%{time_total}\n
cmd de ejemplo
$ while [ 1 ];do echo -n "$(date) - " ; curl -w @curl-format.txt -o /dev/null -s https://myapp.mydom.com/v1/endpt-http; sleep 1; done | grep -v time_total:0
resultados
Mon Dec 16 17:51:47 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.172 time_pretransfer:0.172 time_redirect:0.000 time_starttransfer:1.666 time_total:1.666
Mon Dec 16 17:51:50 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.175 time_pretransfer:0.175 time_redirect:0.000 time_starttransfer:3.794 time_total:3.795
Mon Dec 16 17:51:55 UTC 2019 - time_namelookup:0.004 time_connect:0.017 time_appconnect:0.175 time_pretransfer:0.175 time_redirect:0.000 time_starttransfer:1.971 time_total:1.971
Mon Dec 16 17:51:58 UTC 2019 - time_namelookup:0.004 time_connect:0.014 time_appconnect:0.173 time_pretransfer:0.173 time_redirect:0.000 time_starttransfer:1.161 time_total:1.161
Mon Dec 16 17:52:00 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.166 time_pretransfer:0.167 time_redirect:0.000 time_starttransfer:1.434 time_total:1.434
Mon Dec 16 17:52:02 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.177 time_pretransfer:0.177 time_redirect:0.000 time_starttransfer:5.119 time_total:5.119
Mon Dec 16 17:52:08 UTC 2019 - time_namelookup:0.004 time_connect:0.014 time_appconnect:0.172 time_pretransfer:0.172 time_redirect:0.000 time_starttransfer:30.185 time_total:30.185
Mon Dec 16 17:52:39 UTC 2019 - time_namelookup:0.004 time_connect:0.014 time_appconnect:0.164 time_pretransfer:0.164 time_redirect:0.000 time_starttransfer:30.175 time_total:30.176
Mon Dec 16 17:54:28 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:3.191 time_pretransfer:3.191 time_redirect:0.000 time_starttransfer:3.212 time_total:3.212
Mon Dec 16 17:56:08 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:1.184 time_pretransfer:1.184 time_redirect:0.000 time_starttransfer:1.215 time_total:1.215
Mon Dec 16 18:00:24 UTC 2019 - time_namelookup:0.004 time_connect:0.015 time_appconnect:0.181 time_pretransfer:0.181 time_redirect:0.000 time_starttransfer:1.267 time_total:1.267

Usé lo anterior para captar respuestas lentas en el punto final anterior.

slm
fuente