¿Cómo obtener el uso actual de CPU y RAM en Python?

¿Cuál es su forma preferida de obtener el estado actual del sistema (CPU actual, RAM, espacio libre en disco, etc.) en Python? Puntos de bonificación para * nix y plataformas Windows.

Parece que hay algunas formas posibles de extraer eso de mi búsqueda:

1. Usar una biblioteca como PSI (que actualmente parece no estar desarrollada activamente y no es compatible con múltiples plataformas) o algo así como pystatgrab (de nuevo, no parece haber actividad desde 2007 y no es compatible con Windows).

2. Usar código específico de la plataforma, como el uso de os.popen("ps")o similar para los sistemas * nix y MEMORYSTATUSen ctypes.windll.kernel32(consulte esta receta en ActiveState ) para la plataforma Windows. Uno podría poner una clase de Python junto con todos esos fragmentos de código.

No es que esos métodos sean malos, pero ¿existe ya una forma multiplataforma bien respaldada de hacer lo mismo?

La biblioteca psutil le brinda información sobre CPU, RAM, etc., en una variedad de plataformas:

psutil es un módulo que proporciona una interfaz para recuperar información sobre procesos en ejecución y utilización del sistema (CPU, memoria) de forma portátil mediante el uso de Python, implementando muchas funcionalidades ofrecidas por herramientas como ps, top y el administrador de tareas de Windows.

Actualmente es compatible con Linux, Windows, OSX, Sun Solaris, FreeBSD, OpenBSD y NetBSD, arquitecturas de 32 bits y 64 bits, con versiones de Python de 2.6 a 3.5 (los usuarios de Python 2.4 y 2.5 pueden usar la versión 2.1.3).

Algunos ejemplos:

#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary 
dict(psutil.virtual_memory()._asdict())
# you can have the percentage of used RAM
psutil.virtual_memory().percent
79.2
# you can calculate percentage of available memory
psutil.virtual_memory().available * 100 / psutil.virtual_memory().total
20.8

Aquí hay otra documentación que proporciona más conceptos y conceptos de interés:

• https://psutil.readthedocs.io/en/latest/

Utiliza la biblioteca psutil . En Ubuntu 18.04, pip instaló 5.5.0 (última versión) a partir del 1-30-2019. Las versiones anteriores pueden comportarse de manera algo diferente. Puede verificar su versión de psutil haciendo esto en Python:

from __future__ import print_function  # for Python2
import psutil
print(psutil.__versi‌​on__)

Para obtener algunas estadísticas de memoria y CPU:

from __future__ import print_function
import psutil
print(psutil.cpu_percent())
print(psutil.virtual_memory())  # physical memory usage
print('memory % used:', psutil.virtual_memory()[2])

La virtual_memory(tupla) tendrá el porcentaje de memoria utilizada en todo el sistema. Esto parecía estar sobreestimado por un pequeño porcentaje para mí en Ubuntu 18.04.

También puede obtener la memoria utilizada por la instancia actual de Python:

import os
import psutil
pid = os.getpid()
py = psutil.Process(pid)
memoryUse = py.memory_info()[0]/2.**30  # memory use in GB...I think
print('memory use:', memoryUse)

que proporciona el uso de memoria actual de su script Python.

Hay algunos ejemplos más detallados en la página de pypi para psutil .

Solo para Linux: One-liner para el uso de RAM con solo dependencia stdlib:

import os
tot_m, used_m, free_m = map(int, os.popen('free -t -m').readlines()[-1].split()[1:])

editar: dependencia del sistema operativo de solución especificada

Los siguientes códigos, sin bibliotecas externas, me funcionaron. Probé en Python 2.7.9

Uso de CPU

import os

    CPU_Pct=str(round(float(os.popen('''grep 'cpu ' /proc/stat | awk '{usage=($2+$4)*100/($2+$4+$5)} END {print usage }' ''').readline()),2))

    #print results
    print("CPU Usage = " + CPU_Pct)

Y uso de ram, total, usado y gratuito

import os
mem=str(os.popen('free -t -m').readlines())
"""
Get a whole line of memory output, it will be something like below
['             total       used       free     shared    buffers     cached\n', 
'Mem:           925        591        334         14         30        355\n', 
'-/+ buffers/cache:        205        719\n', 
'Swap:           99          0         99\n', 
'Total:        1025        591        434\n']
 So, we need total memory, usage and free memory.
 We should find the index of capital T which is unique at this string
"""
T_ind=mem.index('T')
"""
Than, we can recreate the string with this information. After T we have,
"Total:        " which has 14 characters, so we can start from index of T +14
and last 4 characters are also not necessary.
We can create a new sub-string using this information
"""
mem_G=mem[T_ind+14:-4]
"""
The result will be like
1025        603        422
we need to find first index of the first space, and we can start our substring
from from 0 to this index number, this will give us the string of total memory
"""
S1_ind=mem_G.index(' ')
mem_T=mem_G[0:S1_ind]
"""
Similarly we will create a new sub-string, which will start at the second value. 
The resulting string will be like
603        422
Again, we should find the index of first space and than the 
take the Used Memory and Free memory.
"""
mem_G1=mem_G[S1_ind+8:]
S2_ind=mem_G1.index(' ')
mem_U=mem_G1[0:S2_ind]

mem_F=mem_G1[S2_ind+8:]
print 'Summary = ' + mem_G
print 'Total Memory = ' + mem_T +' MB'
print 'Used Memory = ' + mem_U +' MB'
print 'Free Memory = ' + mem_F +' MB'

Esto es algo que reuní hace un tiempo, solo es Windows, pero puede ayudarlo a obtener parte de lo que necesita hacer.

Derivado de: "for sys available mem" http://msdn2.microsoft.com/en-us/library/aa455130.aspx

"información de proceso individual y ejemplos de script de Python" http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTA: la interfaz / proceso WMI también está disponible para realizar tareas similares. No lo estoy usando aquí porque el método actual cubre mis necesidades, pero si algún día es necesario extenderlo o mejorarlo, puede investigar las herramientas WMI disponibles. .

WMI para python:

http://tgolden.sc.sabren.com/python/wmi.html

El código:

'''
Monitor window processes

derived from:
>for sys available mem
http://msdn2.microsoft.com/en-us/library/aa455130.aspx

> individual process information and python script examples
http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTE: the WMI interface/process is also available for performing similar tasks
        I'm not using it here because the current method covers my needs, but if someday it's needed
        to extend or improve this module, then may want to investigate the WMI tools available.
        WMI for python:
        http://tgolden.sc.sabren.com/python/wmi.html
'''

__revision__ = 3

import win32com.client
from ctypes import *
from ctypes.wintypes import *
import pythoncom
import pywintypes
import datetime


class MEMORYSTATUS(Structure):
    _fields_ = [
                ('dwLength', DWORD),
                ('dwMemoryLoad', DWORD),
                ('dwTotalPhys', DWORD),
                ('dwAvailPhys', DWORD),
                ('dwTotalPageFile', DWORD),
                ('dwAvailPageFile', DWORD),
                ('dwTotalVirtual', DWORD),
                ('dwAvailVirtual', DWORD),
                ]


def winmem():
    x = MEMORYSTATUS() # create the structure
    windll.kernel32.GlobalMemoryStatus(byref(x)) # from cytypes.wintypes
    return x    


class process_stats:
    '''process_stats is able to provide counters of (all?) the items available in perfmon.
    Refer to the self.supported_types keys for the currently supported 'Performance Objects'

    To add logging support for other data you can derive the necessary data from perfmon:
    ---------
    perfmon can be run from windows 'run' menu by entering 'perfmon' and enter.
    Clicking on the '+' will open the 'add counters' menu,
    From the 'Add Counters' dialog, the 'Performance object' is the self.support_types key.
    --> Where spaces are removed and symbols are entered as text (Ex. # == Number, % == Percent)
    For the items you wish to log add the proper attribute name in the list in the self.supported_types dictionary,
    keyed by the 'Performance Object' name as mentioned above.
    ---------

    NOTE: The 'NETFramework_NETCLRMemory' key does not seem to log dotnet 2.0 properly.

    Initially the python implementation was derived from:
    http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
    '''
    def __init__(self,process_name_list=[],perf_object_list=[],filter_list=[]):
        '''process_names_list == the list of all processes to log (if empty log all)
        perf_object_list == list of process counters to log
        filter_list == list of text to filter
        print_results == boolean, output to stdout
        '''
        pythoncom.CoInitialize() # Needed when run by the same process in a thread

        self.process_name_list = process_name_list
        self.perf_object_list = perf_object_list
        self.filter_list = filter_list

        self.win32_perf_base = 'Win32_PerfFormattedData_'

        # Define new datatypes here!
        self.supported_types = {
                                    'NETFramework_NETCLRMemory':    [
                                                                        'Name',
                                                                        'NumberTotalCommittedBytes',
                                                                        'NumberTotalReservedBytes',
                                                                        'NumberInducedGC',    
                                                                        'NumberGen0Collections',
                                                                        'NumberGen1Collections',
                                                                        'NumberGen2Collections',
                                                                        'PromotedMemoryFromGen0',
                                                                        'PromotedMemoryFromGen1',
                                                                        'PercentTimeInGC',
                                                                        'LargeObjectHeapSize'
                                                                     ],

                                    'PerfProc_Process':              [
                                                                          'Name',
                                                                          'PrivateBytes',
                                                                          'ElapsedTime',
                                                                          'IDProcess',# pid
                                                                          'Caption',
                                                                          'CreatingProcessID',
                                                                          'Description',
                                                                          'IODataBytesPersec',
                                                                          'IODataOperationsPersec',
                                                                          'IOOtherBytesPersec',
                                                                          'IOOtherOperationsPersec',
                                                                          'IOReadBytesPersec',
                                                                          'IOReadOperationsPersec',
                                                                          'IOWriteBytesPersec',
                                                                          'IOWriteOperationsPersec'     
                                                                      ]
                                }

    def get_pid_stats(self, pid):
        this_proc_dict = {}

        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread        

            if len(colItems) > 0:        
                for objItem in colItems:
                    if hasattr(objItem, 'IDProcess') and pid == objItem.IDProcess:

                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            break

        return this_proc_dict      


    def get_stats(self):
        '''
        Show process stats for all processes in given list, if none given return all processes   
        If filter list is defined return only the items that match or contained in the list
        Returns a list of result dictionaries
        '''    
        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        proc_results_list = []
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread

            try:  
                if len(colItems) > 0:
                    for objItem in colItems:
                        found_flag = False
                        this_proc_dict = {}

                        if not self.process_name_list:
                            found_flag = True
                        else:
                            # Check if process name is in the process name list, allow print if it is
                            for proc_name in self.process_name_list:
                                obj_name = objItem.Name
                                if proc_name.lower() in obj_name.lower(): # will log if contains name
                                    found_flag = True
                                    break

                        if found_flag:
                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            proc_results_list.append(this_proc_dict)

            except pywintypes.com_error, err_msg:
                # Ignore and continue (proc_mem_logger calls this function once per second)
                continue
        return proc_results_list     


def get_sys_stats():
    ''' Returns a dictionary of the system stats'''
    pythoncom.CoInitialize() # Needed when run by the same process in a thread
    x = winmem()

    sys_dict = { 
                    'dwAvailPhys': x.dwAvailPhys,
                    'dwAvailVirtual':x.dwAvailVirtual
                }
    return sys_dict


if __name__ == '__main__':
    # This area used for testing only
    sys_dict = get_sys_stats()

    stats_processor = process_stats(process_name_list=['process2watch'],perf_object_list=[],filter_list=[])
    proc_results = stats_processor.get_stats()

    for result_dict in proc_results:
        print result_dict

    import os
    this_pid = os.getpid()
    this_proc_results = stats_processor.get_pid_stats(this_pid)

    print 'this proc results:'
    print this_proc_results

http://monkut.webfactional.com/blog/archive/2009/1/21/windows-process-memory-logging-python

Elegimos usar la fuente de información habitual para esto porque pudimos encontrar fluctuaciones instantáneas en la memoria libre y sentimos que era útil consultar la fuente de datos de meminfo . Esto también nos ayudó a obtener algunos parámetros más relacionados que se analizaron previamente.

Código

import os

linux_filepath = "/proc/meminfo"
meminfo = dict(
    (i.split()[0].rstrip(":"), int(i.split()[1]))
    for i in open(linux_filepath).readlines()
)
meminfo["memory_total_gb"] = meminfo["MemTotal"] / (2 ** 20)
meminfo["memory_free_gb"] = meminfo["MemFree"] / (2 ** 20)
meminfo["memory_available_gb"] = meminfo["MemAvailable"] / (2 ** 20)

Salida para referencia (eliminamos todas las nuevas líneas para su posterior análisis)

MemTotal: 1014500 kB MemFree: 562680 kB Mem Disponible: 646364 kB Buffers: 15144 kB Cached: 210720 kB SwapCached: 0 kB Active: 261476 kB Inactive: 128888 kB Active (anon): 167092 kB Inactive (anon): 20888 kB Active (file) : 94384 kB Inactivo (archivo): 108000 kB Inevitable: 3652 kB Bloqueado: 3652 kB Total de intercambio: 0 kB Sin intercambio: 0 kB Sucio: 0 kB Reescritura: 0 kB AnonPages: 168160 kB Mapeado: 81352 kB Shmem: 21060 kB Losa: 34492 kB SReclamable: 18044 kB SUnclaim: 16448 kB KernelStack: 2672 kB PageTables: 8180 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 507248 kB Committed_AS: 1038756 kB VmallocTotal: 3435 UB: 03597 0 kB AnonHugePages: 88064 kB CmaTotal: 0 kB CmaFree: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 02048 kB DirectMap4k: 43008 kB DirectMap2M: 1005568 kB

Siento que estas respuestas fueron escritas para Python 2 y, en cualquier caso, nadie mencionó el resourcepaquete estándar que está disponible para Python 3. Proporciona comandos para obtener los límites de recursos de un proceso dado (el proceso de Python que llama de forma predeterminada). Esto no es lo mismo que obtener el uso actual de los recursos por parte del sistema en su conjunto, pero podría resolver algunos de los mismos problemas como, por ejemplo, "Quiero asegurarme de que solo use X mucha RAM con este script".

"... estado actual del sistema (CPU actual, RAM, espacio libre en disco, etc.)" Y "* nix y plataformas Windows" pueden ser una combinación difícil de lograr.

Los sistemas operativos son fundamentalmente diferentes en la forma en que administran estos recursos. De hecho, difieren en conceptos básicos como definir qué cuenta como sistema y qué cuenta como tiempo de aplicación.

"Espacio libre en disco"? ¿Qué cuenta como "espacio en disco"? Todas las particiones de todos los dispositivos? ¿Qué pasa con las particiones extranjeras en un entorno de arranque múltiple?

No creo que haya un consenso suficientemente claro entre Windows y * nix que lo haga posible. De hecho, puede que ni siquiera haya consenso entre los diversos sistemas operativos llamados Windows. ¿Existe una única API de Windows que funcione tanto para XP como para Vista?

Este script para uso de CPU:

import os

def get_cpu_load():
    """ Returns a list CPU Loads"""
    result = []
    cmd = "WMIC CPU GET LoadPercentage "
    response = os.popen(cmd + ' 2>&1','r').read().strip().split("\r\n")
    for load in response[1:]:
       result.append(int(load))
    return result

if __name__ == '__main__':
    print get_cpu_load()

• Para detalles de la CPU, use la biblioteca psutil

  https://psutil.readthedocs.io/en/latest/#cpu

• Para la frecuencia de RAM (en MHz), utilice el dmidecode de la biblioteca Linux incorporado y manipule un poco la salida;). este comando necesita permiso de root, por lo tanto, proporcione su contraseña también. simplemente copie la siguiente recomendación reemplazando mypass con su contraseña

import os

os.system("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2")

------------------- Salida ---------------------------
1600 MT / s
Desconocido
1600 MT / s
Desconocido 0

• más específicamente
  [i for i in os.popen("echo mypass | sudo -S dmidecode -t memory | grep 'Clock Speed' | cut -d ':' -f2").read().split(' ') if i.isdigit()]

-------------------------- salida ----------------------- -
['1600', '1600']

Para obtener un análisis de memoria y tiempo línea por línea de su programa, sugiero usar memory_profilery line_profiler.

Instalación:

# Time profiler
$ pip install line_profiler
# Memory profiler
$ pip install memory_profiler
# Install the dependency for a faster analysis
$ pip install psutil

La parte común es que usted especifica qué función desea analizar utilizando los decoradores respectivos.

Ejemplo: Tengo varias funciones en mi archivo Python main.pyque quiero analizar. Uno de ellos es linearRegressionfit(). Necesito usar el decorador @profileque me ayuda a perfilar el código con respecto a ambos: Tiempo y Memoria.

Realice los siguientes cambios en la definición de la función

@profile
def linearRegressionfit(Xt,Yt,Xts,Yts):
    lr=LinearRegression()
    model=lr.fit(Xt,Yt)
    predict=lr.predict(Xts)
    # More Code

Para perfiles de tiempo ,

Correr:

$ kernprof -l -v main.py

Salida

Total time: 0.181071 s
File: main.py
Function: linearRegressionfit at line 35

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    35                                           @profile
    36                                           def linearRegressionfit(Xt,Yt,Xts,Yts):
    37         1         52.0     52.0      0.1      lr=LinearRegression()
    38         1      28942.0  28942.0     75.2      model=lr.fit(Xt,Yt)
    39         1       1347.0   1347.0      3.5      predict=lr.predict(Xts)
    40                                           
    41         1       4924.0   4924.0     12.8      print("train Accuracy",lr.score(Xt,Yt))
    42         1       3242.0   3242.0      8.4      print("test Accuracy",lr.score(Xts,Yts))

Para perfiles de memoria ,

Correr:

$ python -m memory_profiler main.py

Salida

Filename: main.py

Line #    Mem usage    Increment   Line Contents
================================================
    35  125.992 MiB  125.992 MiB   @profile
    36                             def linearRegressionfit(Xt,Yt,Xts,Yts):
    37  125.992 MiB    0.000 MiB       lr=LinearRegression()
    38  130.547 MiB    4.555 MiB       model=lr.fit(Xt,Yt)
    39  130.547 MiB    0.000 MiB       predict=lr.predict(Xts)
    40                             
    41  130.547 MiB    0.000 MiB       print("train Accuracy",lr.score(Xt,Yt))
    42  130.547 MiB    0.000 MiB       print("test Accuracy",lr.score(Xts,Yts))

Además, los resultados del generador de perfiles de memoria también se pueden trazar matplotlibusando

$ mprof run main.py
$ mprof plot

Nota: Probado en

line_profiler versión == 3.0.2

memory_profiler versión == 0.57.0

psutil versión == 5.7.0

Puede usar psutil o psmem con código de ejemplo de subproceso

import subprocess
cmd =   subprocess.Popen(['sudo','./ps_mem'],stdout=subprocess.PIPE,stderr=subprocess.PIPE) 
out,error = cmd.communicate() 
memory = out.splitlines()

Referencia http://techarena51.com/index.php/how-to-install-python-3-and-flask-on-linux/

https://github.com/Leo-g/python-flask-cmd

Basado en el código de uso de la CPU de @Hrabal, esto es lo que uso:

from subprocess import Popen, PIPE

def get_cpu_usage():
    ''' Get CPU usage on Linux by reading /proc/stat '''

    sub = Popen(('grep', 'cpu', '/proc/stat'), stdout=PIPE, stderr=PIPE)
    top_vals = [int(val) for val in sub.communicate()[0].split('\n')[0].split[1:5]]

    return (top_vals[0] + top_vals[2]) * 100. /(top_vals[0] + top_vals[2] + top_vals[3])

No creo que haya una biblioteca multiplataforma bien soportada disponible. Recuerde que Python está escrito en C, por lo que cualquier biblioteca simplemente tomará una decisión inteligente sobre qué fragmento de código específico del sistema operativo ejecutar, como sugirió anteriormente.