performance - example - Herramientas de perfilado de rendimiento para shell scripts

shell script example

Question

Estoy intentando acelerar una colección de scripts que invocan subshells y hacen todo tipo de cosas. Me pregunto si hay herramientas disponibles para cronometrar la ejecución de un script de shell y sus shells anidados e informar sobre qué partes del script son las más caras.

Por ejemplo, si tuviera un script como el siguiente.

#!/bin/bash

echo "hello"
echo $(date)
echo "goodbye"

Me gustaría saber cuánto duró cada una de las tres líneas. time solo me dará tiempo total para el guión. bash -x es interesante pero no incluye marcas de tiempo u otra información de tiempo.

Answer 1

Mi enfoque preferido es a continuación. La razón es que también es compatible con OSX (que no tiene fecha de alta precisión) y se ejecuta incluso si no tiene bc instalado.

#!/bin/bash

_profiler_check_precision() {
    if [ -z "$PROFILE_HIGH_PRECISION" ]; then
        #debug "Precision of timer is unknown"
        if which bc > /dev/null 2>&1 && date ''+%s.%N'' | grep -vq ''/.N$''; then
            export PROFILE_HIGH_PRECISION=y
        else
            export PROFILE_HIGH_PRECISION=n
        fi
    fi
}


_profiler_ts() {
    _profiler_check_precision

    if [ "y" = "$PROFILE_HIGH_PRECISION" ]; then
        date ''+%s.%N''
    else
        date ''+%s''
    fi
}

profile_mark() {
    _PROF_START="$(_profiler_ts)"
}

profile_elapsed() {
    _profiler_check_precision

    local NOW="$(_profile_ts)"
    local ELAPSED=

    if [ "y" = "$PROFILE_HIGH_PRECISION" ]; then
        ELAPSED="$(echo "scale=10; $NOW - $_PROF_START" | bc | sed ''s//(/.[0-9]/{0,3/}/)[0-9]*$//1/'')"
    else
        ELAPSED=$((NOW - _PROF_START))
    fi

    echo "$ELAPSED"
}

do_something() {
    local _PROF_START
    profile_mark()
    sleep 10
    echo "Took $(profile_elapsed()) seconds"
}

Answer 2

No tengo conocimiento de ninguna herramienta de creación de perfiles de shell.

Históricamente, uno simplemente vuelve a escribir scripts de shell demasiado lentos en Perl, Python, Ruby o incluso C.

Una idea menos drástica sería usar un shell más rápido que bash. Dash y ash están disponibles para todos los sistemas de estilo Unix y, por lo general, son bastante más pequeños y más rápidos.

Answer 3

Parece que quieres sincronizar cada eco. Si eco es todo lo que estás haciendo, es fácil.

alias echo=''time echo''

Si está ejecutando otro comando, esto obviamente no será suficiente.

Answer 4

Podría canalizar la salida de ejecutar debajo de -x a algo que marca la hora de cada línea cuando se recibe. Por ejemplo, tai64n de daemontools de djb. En un ejemplo básico,

sh -x slow.sh 2>&1 | tai64n | tai64nlocal

Esto combina stdout y stderr pero le da a todo un sello de tiempo. Tendría que analizar la salida para encontrar líneas costosas y correlacionar eso con su fuente.

También podría encontrar útil usar strace . Por ejemplo,

strace -f -ttt -T -o /tmp/analysis.txt slow.sh

Esto producirá un informe muy detallado, con mucha información de tiempo en /tmp/analysis.txt , pero a nivel de llamadas por sistema, que puede ser demasiado detallado.

Answer 5

Puedes configurar PS4 para que muestre la hora y el número de línea. Hacer esto no requiere instalar ninguna utilidad y funciona sin redireccionar stderr a stdout.

Para este script:

#!/bin/bash -x
# Note the -x flag above, it is required for this to work
PS4=''+ $(date "+%s.%N ($LINENO) ")''
for i in {0..2}
do
    echo $i
done
sleep 1
echo done

La salida se ve como:

+ PS4=''+ $(date "+%s.%N ($LINENO) ")''
+ 1291311776.108610290 (3) for i in ''{0..2}''
+ 1291311776.120680354 (5) echo 0
0
+ 1291311776.133917546 (3) for i in ''{0..2}''
+ 1291311776.146386339 (5) echo 1
1
+ 1291311776.158646585 (3) for i in ''{0..2}''
+ 1291311776.171003138 (5) echo 2
2
+ 1291311776.183450114 (7) sleep 1
+ 1291311777.203053652 (8) echo done
done

Esto supone la fecha de GNU, pero puede cambiar la especificación de salida a cualquier cosa que desee o que coincida con la versión de la fecha que utiliza.

Nota: Si tiene un script existente con el que desea hacer esto sin modificarlo, puede hacerlo:

PS4=''+ $(date "+%s.%N ($LINENO) ")'' bash -x scriptname

En el próximo Bash 5, podrá guardar la date bifurcación (pero obtendrá microsegundos en lugar de nanosegundos):

PS4=''+ $EPOCHREALTIME ($LINENO) ''