Php5-fpm Crash si hay muchos visitantes

8

Decidí cambiar mi OP a Nginx de Litespeed porque leí mucho sobre el bajo recurso que Nginx costaría.

Estoy ejecutando un sitio de Wordpress con 500 usuarios en línea

Bien, gracias muchachos por tanta ayuda :) Edité algunas cosas.

También me quedan algunas preguntas:

¿Tengo que eliminar el; antes de la tarde. ajustes? Lo eliminé ¿Qué configuración cuenta? Tengo dos cgi rápidos, uno en / etc / php5 / fpm llamado php-fpm.conf y otro en /etc/php5/fpm/pool.d llamado www.conf?

Probé la nueva configuración durante la noche y cuando me levanto ya tengo una página en blanco. Parte superior:

top - 13:55:27 up 1 day, 19:28,  2 users,  load average: 0.18, 0.36, 0.19
Tasks:  84 total,   1 running,  83 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.2%us,  0.0%sy,  0.0%ni, 99.8%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3974264k total,  1051360k used,  2922904k free,   162380k buffers
Swap:  3998700k total,        0k used,  3998700k free,   609220k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1857 www-data  20   0  193m  55m  22m S    0  1.4   0:04.67 php5-fpm
    1 root      20   0  8356  808  680 S    0  0.0   0:01.37 init
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd

Creo que el uso de la CPU ahora es menor, pero eso no está solucionando el bloqueo ...

Mis configuraciones son ahora: php-fpm.conf

    ;;;;;;;;;;;;;;;;;;;;;
; FPM Configuration ;
;;;;;;;;;;;;;;;;;;;;;

; All relative paths in this configuration file are relative to PHP's install
; prefix (/usr). This prefix can be dynamicaly changed by using the
; '-p' argument from the command line.

; Include one or more files. If glob(3) exists, it is used to include a bunch of
; files from a glob(3) pattern. This directive can be used everywhere in the
; file.
; Relative path can also be used. They will be prefixed by:
;  - the global prefix if it's been set (-p arguement)
;  - /usr otherwise
;include=/etc/php5/fpm/*.conf

;;;;;;;;;;;;;;;;;;
; Global Options ;
;;;;;;;;;;;;;;;;;;

[global]
; Pid file
; Note: the default prefix is /var
; Default Value: none
pid = /var/run/php5-fpm.pid

; Error log file
; If it's set to "syslog", log is sent to syslogd instead of being written
; in a local file.
; Note: the default prefix is /var
; Default Value: log/php-fpm.log
error_log = /var/log/php5-fpm.log

; syslog_facility is used to specify what type of program is logging the
; message. This lets syslogd specify that messages from different facilities
; will be handled differently.
; See syslog(3) for possible values (ex daemon equiv LOG_DAEMON)
; Default Value: daemon
;syslog.facility = daemon

; syslog_ident is prepended to every message. If you have multiple FPM
; instances running on the same server, you can change the default value
; which must suit common needs.
; Default Value: php-fpm
;syslog.ident = php-fpm

; Log level
; Possible Values: alert, error, warning, notice, debug
; Default Value: notice
;log_level = notice

; If this number of child processes exit with SIGSEGV or SIGBUS within the time
; interval set by emergency_restart_interval then FPM will restart. A value
; of '0' means 'Off'.
; Default Value: 0
emergency_restart_threshold = 1

; Interval of time used by emergency_restart_interval to determine when 
; a graceful restart will be initiated.  This can be useful to work around
; accidental corruptions in an accelerator's shared memory.
; Available Units: s(econds), m(inutes), h(ours), or d(ays)
; Default Unit: seconds
; Default Value: 0
emergency_restart_interval = 1s

; Time limit for child processes to wait for a reaction on signals from master.
; Available units: s(econds), m(inutes), h(ours), or d(ays)
; Default Unit: seconds
; Default Value: 0
process_control_timeout = 10s

; The maximum number of processes FPM will fork. This has been design to control
; the global number of processes when using dynamic PM within a lot of pools.
; Use it with caution.
; Note: A value of 0 indicates no limit
; Default Value: 0
process.max = 150

; Send FPM to background. Set to 'no' to keep FPM in foreground for debugging.
; Default Value: yes
;daemonize = yes

; Set open file descriptor rlimit for the master process.
; Default Value: system defined value
rlimit_files = 1024

; Set max core size rlimit for the master process.
; Possible Values: 'unlimited' or an integer greater or equal to 0
; Default Value: system defined value
;rlimit_core = 0

; Specify the event mechanism FPM will use. The following is available:
; - select     (any POSIX os)
; - poll       (any POSIX os)
; - epoll      (linux >= 2.5.44)
; - kqueue     (FreeBSD >= 4.1, OpenBSD >= 2.9, NetBSD >= 2.0)
; - /dev/poll  (Solaris >= 7)
; - port       (Solaris >= 10)
; Default Value: not set (auto detection)
; events.mechanism = epoll

;;;;;;;;;;;;;;;;;;;;
; Pool Definitions ; 
;;;;;;;;;;;;;;;;;;;;

; Multiple pools of child processes may be started with different listening
; ports and different management options.  The name of the pool will be
; used in logs and stats. There is no limitation on the number of pools which
; FPM can handle. Your system will tell you anyway :)

; To configure the pools it is recommended to have one .conf file per
; pool in the following directory:
include=/etc/php5/fpm/pool.d/*.conf

request_terminate_timeout = 30s

pm.max_children = 25

; The number of child processes created on startup.
; Note: Used only when pm is set to 'dynamic'
; Default Value: min_spare_servers + (max_spare_servers - min_spare_servers) / 2
pm.start_servers = 5

; The desired minimum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
pm.min_spare_servers = 2

; The desired maximum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
pm.max_spare_servers = 5

; The number of seconds after which an idle process will be killed.
; Note: Used only when pm is set to 'ondemand'
; Default Value: 10s
pm.process_idle_timeout = 10s;

fastcgi_params:

fastcgi_param   QUERY_STRING        $query_string;
fastcgi_param   REQUEST_METHOD      $request_method;
fastcgi_param   CONTENT_TYPE        $content_type;
fastcgi_param   CONTENT_LENGTH      $content_length;

fastcgi_param   SCRIPT_FILENAME     $request_filename;
fastcgi_param   SCRIPT_NAME     $fastcgi_script_name;
fastcgi_param   REQUEST_URI     $request_uri;
fastcgi_param   DOCUMENT_URI        $document_uri;
fastcgi_param   DOCUMENT_ROOT       $document_root;
fastcgi_param   SERVER_PROTOCOL     $server_protocol;

fastcgi_param   GATEWAY_INTERFACE   CGI/1.1;
fastcgi_param   SERVER_SOFTWARE     nginx/$nginx_version;

fastcgi_param   REMOTE_ADDR     $remote_addr;
fastcgi_param   REMOTE_PORT     $remote_port;
fastcgi_param   SERVER_ADDR     $server_addr;
fastcgi_param   SERVER_PORT     $server_port;
fastcgi_param   SERVER_NAME     $server_name;

#fastcgi_param  HTTPS           $https;

# PHP only, required if PHP was built with --enable-force-cgi-redirect
fastcgi_param   REDIRECT_STATUS     200;

fastcgi_connect_timeout 60;
fastcgi_send_timeout 180;
fastcgi_read_timeout 180;
fastcgi_buffer_size 128k;
fastcgi_buffers 4 256k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;

nginx config:

user www-data;
worker_processes 2;
pid /var/run/nginx.pid;

events {
    worker_connections 500;
    # multi_accept on;
}

http {

    ##
    # Basic Settings
    ##

    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 40;
    types_hash_max_size 2048;
    server_tokens off;

    # server_names_hash_bucket_size 64;
    # server_name_in_redirect off;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    ##
    # Logging Settings
    ##

    # access_log /var/log/nginx/access.log;
    # error_log /var/log/nginx/error.log;

    ##
    # Gzip Settings
    ##

    gzip on;
    gzip_disable "msie6";

 gzip_vary on;
 gzip_proxied any;
 gzip_comp_level 9;
 gzip_buffers 16 8k;
 gzip_http_version 1.1;
 gzip_types text/plain text/css application/json application/x-javascript text/$

www.conf

; Start a new pool named 'www'.
; the variable $pool can we used in any directive and will be replaced by the
; pool name ('www' here)
[www]

user = www-data
group = www-data


pm = dynamic

pm.max_children = 25

pm.start_servers = 5

pm.min_spare_servers = 2

pm.max_spare_servers = 5

pm.process_idle_timeout = 10s;

pm.max_requests = 100

request_terminate_timeout = 120s

The Mashine: Dualcore 4gb ram

chillah
fuente
¿Qué dice el registro de errores PHP-FPM?
devicenull
Solo hay un registro sobre cuando reinicio el fpm en algún otro ... [04-abr-2012 13:46:44] AVISO: Terminando ... [04-abr-2012 13:46:44] AVISO: salir, adiós -¡adiós! [04-abr-2012 13:46:44] AVISO: fpm se está ejecutando, pid 1744 [04-abr-2012 13:46:44] AVISO: listo para manejar conexiones [04-abr-2012 13:48:57] AVISO: [pool www] child 1748 salió con el código 0 después de 132.647614 segundos desde el inicio [04-abr-2012 13:48:57] AVISO: [pool www] child 1829 comenzó
chillah
Acabo de notar que php fpm se bloquea más rápido si deshabilito / habilito o edito mis archivos de wordpress. Pero no estoy 100% seguro ...
chillah 05 de
¿Sigues teniendo los accidentes? ¿Verificaste el uso de APC? Por lo general, define un grupo en un archivo de configuración separado (donde van todas sus configuraciones de pm).
Dada
Sí, todavía se bloquea. Los bloqueos parecen aumentar con más visitantes en mi página. No veo el proceso de apc en "top". ¿Cómo puedo verificarlo? Usé cron para reiniciar php fpm cada 2 minutos por ahora ... ¡Realmente necesito solucionar ese problema pronto!
chillah

Respuestas:

10

No está claro si está utilizando algún cacher opcode como APC. En primer lugar, habilítelo. Ajuste su memoria para evitar la fragmentación. Además, use un socket, no una conexión http desde nginxa php5-fpm, y coloque ese socket /dev/shm. En nginx, use fastcgi_pass unix:/dev/shm/php5-fpm.sock;y cambie la configuración de php5-fpm en consecuencia.

Intente bajar pm.max_childrena algo más realista como 30-40-50-60 y vea la carga y la memoria libre con free -m. Vea si los clientes obtienen errores 502/504. Lower pm.start_servers, min y max_spare en consecuencia (15, 5, 25).

Si hay una gran cantidad de usuarios anónimos, considere utilizar cualquier plugin de almacenamiento en caché para WordPress como WP-FFPC, WP Super Cacheo similar.

Deshabilita gzipping si lo tienes habilitado en nginx.

Quizás necesite ajustar fastcgi_buffer_sizey fastcgi_buffersopciones en nginx.

Compruebe si tiene el caché de consultas habilitado y suficiente en Mysql.

Tener un sistema de monitoreo como munininstalado en el sitio para verificar la carga / consumo de memoria / latencia, etc.

Dada
fuente
La conexión entre nginx y php5-fpm puede no ser HTTP sino solo TCP. JFYI
Aykut Çevik
4

Es probable que su servidor sufra cuando se queda sin memoria para ejecutar procesos php. La configuración de php5-fpm parece ser demasiado generosa para 4 GB de RAM. He tenido muchos problemas para llegar a configuraciones óptimas de php5-fpm (para usuarios de 32 GB de ram y + 1K en línea, aquí están mis parámetros relevantes:

pm.max_children = 25
pm.start_servers = 5
pm.min_spare_servers = 2 
pm.max_spare_servers = 5
pm.max_requests = 100

Además, no olvide establecer un tiempo de espera de finalización de solicitud para evitar la falta de memoria debido a procesos inactivos:

request_terminate_timeout = 120s

Cualquier tiempo de espera que use en la directiva anterior debe estar de acuerdo con la directiva max_execution_time en su php.ini.

En cuanto a nginx, tener gzip es una muy buena idea: es muy económico en cuanto a CPU y ahorra cargas de ancho de banda a su servidor.

   #sendfile on;
    #tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 10;
    types_hash_max_size 2048;
    # server_tokens off;
    gzip on;
    gzip_disable "msie6";

    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 9;
    gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/plain text/css application/json application/x-javascript text/$

Buena suerte

Alfish
fuente
Probé su configuración durante la noche, la CPU parece que el uso parece ser menor ahora, pero eso no solucionó las páginas en blanco y los bloqueos. Heres un contador de IP Imagen: abload.de/img/unbenanntsgyxi.png
chillah
Estoy de acuerdo con la recomendación de establecer request_terminate_timeout, pero su razón no es correcta;) Esta directiva es matar un proceso en ejecución después de una cierta cantidad de tiempo de CPU, como protección cuando PHP max_execution_timeno puede (que debería tener un valor un poco menor para obtener el primera oportunidad) [fuente ]. "Para evitar la escasez de memoria debido a procesos inactivos", la directiva para usar es pm.process_idle_timeout = 40 [ver esta respuesta ].
tanius
1

Sugeriría usar pm = ondemand, y asegurarme de que el tamaño de memory_limit en php sea considerable para la memoria de la máquina.

Para una máquina de 4GB con 128 MB en proceso PHP que estaría alrededor de ~ 24 servidores PHP-FPM que puede tener en ejecución, ondemand es bueno ya que el servidor determinaría esa cantidad máxima de servidores y crearía nuevos a medida que aumenta la carga.

OMG-1
fuente
1
Acuerde que el administrador de procesos PHP-FPM ondemand es la mejor opción en la mayoría de los casos. Pero es max. El número de procesos secundarios no se puede calcular así: memory_limites el máximo absoluto que un proceso PHP puede consumir antes de que finalice forzosamente. En promedio, consumen mucho menos.
tanius
1
Y de todos modos , la memoria no suele ser el factor limitante para el máximo. hijos, más bien núcleos de CPU. Max. el recuento de niños debe establecerse en aprox. Recuento de núcleos de CPU, más algunos para compensar las esperas de IO, etc. Nada pasa más rápido que el 100% de la carga de la CPU, es solo una diferencia entre esperar en la cola y un servicio paralelo lento con conmutación.
tanius