symfony - Optimizar behat test suite

selenium mink

Question

Tengo un banco de pruebas que tiene 20 archivos de feaure y se están llevando a cabo operaciones 100% MySQL CRUD. Tarda unos 5 minutos en terminar. Si hiciera la prueba manualmente, tomaría aproximadamente 7 minutos como máximo. Lo que necesito saber es qué debo hacer para optimizar todo el proceso.

Nota : ParallelRunnder no es compatible con Behat 3, por lo que está fuera de alcance por ahora.

Si va a sugerir utilizar Behat 3, entonces ayúdeme a modificar mis archivos composer.json y behat.yml porque cuando lo hago yo mismo y ejecuto bin / behat obtengo errores como:

`Behat/Symfony2Extension/Extension` extension file or class could not be located.
`Behat/MinkExtension/Extension` extension file or class could not be located.
Unrecognized options "mink_driver" under "testwork.symfony2"
Unrecognized options "context, paths" under "testwork" 

Como puede ver a continuación, uso números de versiones seguras, no signos de estrellas.

CORRIENTE composer.json:

"require": {
"php": ">=5.3.3",
"symfony/symfony": "2.5.4",
"doctrine/orm": "~2.2,>=2.2.3",
"doctrine/doctrine-bundle": "~1.2",
"twig/extensions": "~1.0",
"symfony/assetic-bundle": "~2.3",
"symfony/swiftmailer-bundle": "~2.3",
"symfony/monolog-bundle": "~2.4",
"sensio/distribution-bundle": "~3.0",
"sensio/framework-extra-bundle": "~3.0",
"incenteev/composer-parameter-handler": "~2.0",
"behat/behat": "2.5.3",
"behat/behat-bundle": "1.0.0",
"behat/symfony2-extension": "1.1.2",
"behat/mink": "1.5.0",
"behat/mink-extension": "~1.3",
"behat/mink-selenium2-driver": "1.1.1",
"behat/mink-goutte-driver": "1.0.9"
},

CORRIENTE behat.yml:

default:
context:
class: FeatureContext
parameters:
output_path: %behat.paths.base%/build/behat/output/
screen_shot_path: %behat.paths.base%/build/behat/screenshot/
extensions:
Behat/Symfony2Extension/Extension:
mink_driver: true
kernel:
env: test
debug: true
Behat/MinkExtension/Extension:
base_url: ''http://symfony.local/app_test.php/''
files_path: %behat.paths.base%/build/dummy/
javascript_session: selenium2
browser_name: firefox
goutte: ~
selenium2: ~
paths:
features: %behat.paths.base%/src
bootstrap: %behat.paths.features%/Context

EDITAR :

Tengo 20 archivos de características y un escenario en cada uno. Para las operaciones CRUD:

• Tengo el método de inicio de sesión ejecutándose en cada escenario. Query se ejecuta contra DB.
• Algunos escenarios lo hacen INSERT, algunos para ACTUALIZAR y otros lo hacen DELETE.
• Estoy usando pdo_mysql como pdo_mysql database_driver

Una parte de mi archivo FeatureContext:

namespace Site/CommonBundle/Features/Context;
use Behat/MinkExtension/Context/MinkContext;
use Behat/Mink/Exception/UnsupportedDriverActionException;
use Behat/Mink/Driver/Selenium2Driver;
use Behat/Symfony2Extension/Context/KernelAwareInterface;
use Symfony/Component/HttpKernel/KernelInterface;
use Symfony/Component/Process/Process;
/**
* Class FeatureContext
*
* Parent to other FeatureContext files. It is used to avoid duplicated codes and all the
* shared commons are kept here.
*
* @package Site/CommonBundle/Features
*/
class FeatureContext extends MinkContext implements KernelAwareInterface
{
protected $kernel;
protected $screenShotPath;
protected $outputPath;
/**
* Parameter $parameters comes from behat.yml file.
* @param array $parameters
*/
public function __construct(array $parameters)
{
$this->outputPath = $parameters[''output_path''];
$this->screenShotPath = $parameters[''screen_shot_path''];
}
/**
* Helps to use doctrine and entity manager.
* @param KernelInterface $kernelInterface Interface for getting Kernel.
*/
public function setKernel(KernelInterface $kernelInterface)
{
$this->kernel = $kernelInterface;
}
/**
* Without this, PhantomJs will fail if responsive design is in use.
* @BeforeStep
*/
public function resizeWindow()
{
$this->getSession()->resizeWindow(1440, 900, ''current'');
}
/**
* Take screen-shot when step fails. Works only with Selenium2Driver.
*
* @AfterStep
* @param $event Current event.
* @throws /Behat/Mink/Exception/UnsupportedDriverActionException
*/
public function takeScreenshotAfterFailedStep($event)
{
if (4 === $event->getResult()) {
$driver = $this->getSession()->getDriver();
if (! ($driver instanceof Selenium2Driver)) {
throw new UnsupportedDriverActionException(
''Taking screen-shots is not supported by %s, use Selenium2Driver instead.'',
$driver
);
return;
}
if (! is_dir($this->screenShotPath)) {
mkdir($this->screenShotPath, 0777, true);
}
$filename = sprintf(
''%s_%s_%s.%s'',
$this->getMinkParameter(''browser_name''),
date(''Ymd'') . ''-'' . date(''His''),
uniqid('''', true),
''png''
);
file_put_contents($this->screenShotPath . ''/'' . $filename, $driver->getScreenshot());
}
}
/**
* @When /^I login as "([^"]*)"$/
* @param $type User role type.
*/
public function iLoginAs($type)
{
$container = $this->kernel->getContainer();
$userData = $container->getParameter(''dummy_user'');
$this->visit(''/login'');
$this->fillField(''username'', $userData[$type][''username'']);
$this->fillField(''password'', $userData[$type][''password'']);
$this->pressButton(''_submit'');
}
.........
}

Answer 1

Publicaré los resultados aquí después de implementar todas las sugerencias anteriores para que otros vean cómo funcionó, así que cada vez que cubro un paso, actualizaré esta publicación.

TIEMPO ORIGINAL:

Total time: 4 minutes 12.55 seconds

TIEMPO DESPUÉS DE IMPLEMENTAR EL PASO 1:

Total time: 2 minutes 8.01 seconds

Nota : Solo @BeforeScenario parece estar funcionando porque acceder a $ this key en métodos estáticos no está permitido en OOP ya que @BeforeFeature y @BeforeSuite requieren que resizeWindow () sea estático. Si fuera posible, el resultado sería mucho más rápido.

TIEMPO DESPUÉS DE IMPLEMENTAR EL PASO 2:

Nota : Lea el paso 6 a continuación.

TIEMPO DESPUÉS DE IMPLEMENTAR EL PASO 3:

Nota : soy un usuario de Symfony2 y desafortunadamente no pude implementar este punto.

TIEMPO DESPUÉS DE IMPLEMENTAR EL PASO 4:

Total time: 1 minutes 54.11 seconds

Nota : Usuarios de Behat 3: ejecute selenio con java -jar selenium-server-standalone-2.43.1.jar -Dwebdriver.chrome.driver="chromedriver"

TIEMPO DESPUÉS DE LA IMPLEMENTACIÓN DEL PASO 6:

Total time: 0 minutes 52.04 seconds

Nota : Usuarios de Symfony2: si configura default_session para symfony2 , se está desangrando rápidamente en comparación con goutte y selenium2. Goutte: 1 minuto 20,03 segundos, Selenio2: 1 minuto 31,00 segundos

Answer 2

No sé por qué pensé que tardaría 20 minutos en correr, probablemente confundido con la cantidad de funciones. 5 minutos no está nada mal. Hay algunas cosas básicas que puede hacer que pueden ayudar a acelerarlo.

1. Lógica dentro de su @BeforeStep : probablemente pueda moverlo a @BeforeScenario o incluso a @BeforeFeature o incluso a @BeforeSuite - no hay necesidad de hacerlo con tanta frecuencia.
2. Muy obvio, pero por las dudas: el controlador Goutte es sorprendentemente rápido en comparación con otros, lo negativo es que no es compatible con JS y no puede tomar capturas de pantalla. Pero considero que la aplicación Symfony no involucra a gran parte de JS para realizar operaciones CRUD. Por lo tanto, comprueba dos veces todo lo que no implica a JS y úsalo con Goutte.
3. iLoginAs probablemente se usa en cada paso. Puede actualizar esto para que sea mucho más rápido creando manualmente una sesión de usuario y configurando la cookie como un encabezado, es decir, la misma lógica de su método de autenticación va en la definición del paso y luego simplemente hace $this->getSession()->getDriver()->setCookie(session_name(), session_id()); - en la siguiente solicitud su usuario ya está autenticado.
4. browser_name: firefox - dios no ... use chrome , debe ser más rápido.
5. El uso de HHVM para ejecutar pruebas de Behat (la aplicación aún usa el viejo y bueno PHP) dará un buen aumento en el rendimiento. Podría ser un dolor instalarlo, especialmente en Mac.
6. Finalmente, migre a Behat 3, eso no debería ser doloroso en absoluto. Han tomado mucho conocimiento de 2.x y lo han utilizado para mejorarlo, incluidos los aspectos de rendimiento. También es mucho más flexible en la configuración, permite que múltiples contextos mantengan las cosas mejor organizadas y más limpias.