getsizeof - Cómo averiguar el número de CPU que utilizan Python

sys stdout python 3

Question

Quiero saber la cantidad de CPU en la máquina local que utiliza Python. El resultado debe ser user/real como resultado por time(1) cuando se llama con un programa de solo espacio de usuario de escalamiento óptimo.

Answer 1

Esta es la función cpu_count de multiprocesamiento

:}

import os
import sys

def cpu_count():
    ''''''
    Returns the number of CPUs in the system
    ''''''
    if sys.platform == ''win32'':
        try:
            num = int(os.environ[''NUMBER_OF_PROCESSORS''])
        except (ValueError, KeyError):
            num = 0
    elif ''bsd'' in sys.platform or sys.platform == ''darwin'':
        comm = ''/sbin/sysctl -n hw.ncpu''
        if sys.platform == ''darwin'':
            comm = ''/usr'' + comm
        try:
            with os.popen(comm) as p:
                num = int(p.read())
        except ValueError:
            num = 0
    else:
        try:
            num = os.sysconf(''SC_NPROCESSORS_ONLN'')
        except (ValueError, OSError, AttributeError):
           num = 0

    if num >= 1:
        return num
    else:
        raise NotImplementedError(''cannot determine number of cpus'')

Answer 2

En Python 3.4+: os.cpu_count() .

multiprocessing.cpu_count() se implementa en términos de esta función, pero genera NotImplementedError si os.cpu_count() devuelve None ("no se puede determinar el número de CPUs").

Answer 3

No puedo averiguar cómo agregar al código o responder al mensaje, pero aquí hay soporte para jython que puede agregar antes de darse por vencido:

# jython
try:
    from java.lang import Runtime
    runtime = Runtime.getRuntime()
    res = runtime.availableProcessors()
    if res > 0:
        return res
except ImportError:
    pass

Answer 4

Otra opción es usar la biblioteca psutil , que siempre resulta útil en estas situaciones:

>>> import psutil
>>> psutil.cpu_count()
2

Esto debería funcionar en cualquier plataforma soportada por psutil (Unix y Windows).

Tenga en cuenta que en algunas ocasiones multiprocessing.cpu_count puede generar un NotImplementedError mientras que psutil podrá obtener el número de CPU. Esto es simplemente porque psutil primero intenta usar las mismas técnicas que se utilizan en el multiprocessing y, si fallan, también usa otras técnicas.

Answer 5

Otra opción si no tienes Python 2.6:

import commands
n = commands.getoutput("grep -c processor /proc/cpuinfo")

Answer 6

Si está interesado en la cantidad de procesadores disponibles para su proceso actual, primero cpuset verificar cpuset . De lo contrario (o si cpuset no está en uso), http://docs.python.org/library/multiprocessing.html#multiprocessing.cpu_count es el camino a seguir en Python 2.6 y más reciente. El siguiente método recurre a un par de métodos alternativos en versiones anteriores de Python:

import os
import re
import subprocess


def available_cpu_count():
    """ Number of available virtual or physical CPUs on this system, i.e.
    user/real as output by time(1) when called with an optimally scaling
    userspace-only program"""

    # cpuset
    # cpuset may restrict the number of *available* processors
    try:
        m = re.search(r''(?m)^Cpus_allowed:/s*(.*)$'',
                      open(''/proc/self/status'').read())
        if m:
            res = bin(int(m.group(1).replace('','', ''''), 16)).count(''1'')
            if res > 0:
                return res
    except IOError:
        pass

    # Python 2.6+
    try:
        import multiprocessing
        return multiprocessing.cpu_count()
    except (ImportError, NotImplementedError):
        pass

    # https://github.com/giampaolo/psutil
    try:
        import psutil
        return psutil.cpu_count()   # psutil.NUM_CPUS on old versions
    except (ImportError, AttributeError):
        pass

    # POSIX
    try:
        res = int(os.sysconf(''SC_NPROCESSORS_ONLN''))

        if res > 0:
            return res
    except (AttributeError, ValueError):
        pass

    # Windows
    try:
        res = int(os.environ[''NUMBER_OF_PROCESSORS''])

        if res > 0:
            return res
    except (KeyError, ValueError):
        pass

    # jython
    try:
        from java.lang import Runtime
        runtime = Runtime.getRuntime()
        res = runtime.availableProcessors()
        if res > 0:
            return res
    except ImportError:
        pass

    # BSD
    try:
        sysctl = subprocess.Popen([''sysctl'', ''-n'', ''hw.ncpu''],
                                  stdout=subprocess.PIPE)
        scStdout = sysctl.communicate()[0]
        res = int(scStdout)

        if res > 0:
            return res
    except (OSError, ValueError):
        pass

    # Linux
    try:
        res = open(''/proc/cpuinfo'').read().count(''processor/t:'')

        if res > 0:
            return res
    except IOError:
        pass

    # Solaris
    try:
        pseudoDevices = os.listdir(''/devices/pseudo/'')
        res = 0
        for pd in pseudoDevices:
            if re.match(r''^cpuid@[0-9]+$'', pd):
                res += 1

        if res > 0:
            return res
    except OSError:
        pass

    # Other UNIXes (heuristic)
    try:
        try:
            dmesg = open(''/var/run/dmesg.boot'').read()
        except IOError:
            dmesgProcess = subprocess.Popen([''dmesg''], stdout=subprocess.PIPE)
            dmesg = dmesgProcess.communicate()[0]

        res = 0
        while ''/ncpu'' + str(res) + '':'' in dmesg:
            res += 1

        if res > 0:
            return res
    except OSError:
        pass

    raise Exception(''Can not determine number of CPUs on this system'')

Answer 7

Si tiene python con una versión> = 2.6, simplemente puede usar

import multiprocessing

multiprocessing.cpu_count()

http://docs.python.org/library/multiprocessing.html#multiprocessing.cpu_count

Answer 8

También puede utilizar "joblib" para este propósito.

import joblib
print joblib.cpu_count()

Este método le dará el número de CPU en el sistema. Joblib necesita ser instalado sin embargo. Puede encontrar más información sobre joblib aquí https://pythonhosted.org/joblib/parallel.html

Alternativamente, puede utilizar el paquete numexpr de python. Tiene muchas funciones simples útiles para obtener información sobre la CPU del sistema.

import numexpr as ne
print ne.detect_number_of_cores()

Answer 9

plataforma independiente:

psutil.cpu_count (lógico = Falso)

https://github.com/giampaolo/psutil/blob/master/INSTALL.rst

Answer 10

multiprocessing.cpu_count() devolverá el número de CPU lógicas, por lo que si tiene una CPU de cuatro núcleos con hyperthreading, devolverá 8 . Si desea el número de CPU físicas, use los enlaces de python para hwloc:

#!/usr/bin/env python
import hwloc
topology = hwloc.Topology()
topology.load()
print topology.get_nbobjs_by_type(hwloc.OBJ_CORE)

hwloc está diseñado para ser portátil a través de sistemas operativos y arquitecturas.

Answer 11

import os

print(os.cpu_count())