ios - delivery - No se pueden ejecutar pruebas de interfaz de usuario Xcode(7.3) en Jenkins

jenkins continuous testing

Question

Estoy tratando de ejecutar las pruebas Xcode UI desde la línea de comandos en una máquina Jenkins que funciona en mi computadora local. Sin embargo, cuando trato de ejecutar las pruebas de UI en Jenkins, parecen no iniciar la aplicación en el simulador. Lo que ocurre es que el dispositivo se carga en el simulador, se abre el objetivo de la prueba de UI y la pantalla se pone negra. Entonces, nada parece suceder durante 30 segundos hasta que recibo un error de la siguiente manera (espero que la aplicación se inicie y la automatización comience):

2016-04-22 11:44:54.549 XCTRunner[33303:299557] Running tests...
11:44:54.707 XCTRunner[33303:299590] _XCT_testBundleReadyWithProtocolVersion:minimumVersion: reply received
11:44:54.711 XCTRunner[33303:299587] _IDE_startExecutingTestPlanWithProtocolVersion:16
2016-04-22 11:45:24.730 XCTRunner[33303:299557] *** Assertion failure in void _XCTFailInCurrentTest(NSString *, ...)(), /Library/Caches/com.apple.xbs/Sources/XCTest_Sim/XCTest-10112/XCTestFramework/Classes/XCTestCase.m:63
2016-04-22 11:45:24.732 XCTRunner[33303:299557] *** Terminating app due to uncaught exception ''NSInternalInconsistencyException'', reason: ''_XCTFailInCurrentTest should only be called while a test is running.
Failure description: Failed to receive completion for <XCDeviceEvent:0x7f88c85972c0 page 12 usage 64 duration 0.01s within 30.0s''
*** First throw call stack:
(
0 CoreFoundation 0x0000000102369d85 __exceptionPreprocess + 165
1 libobjc.A.dylib 0x0000000101ddddeb objc_exception_throw + 48
2 CoreFoundation 0x0000000102369bea +[NSException raise:format:arguments:] + 106
3 Foundation 0x0000000101a27e1e -[NSAssertionHandler handleFailureInFunction:file:lineNumber:description:] + 169
4 XCTest 0x0000000101875bbf _XCTFailInCurrentTest + 375
5 XCTest 0x000000010189717c -[XCUIDevice _dispatchEventWithPage:usage:duration:] + 847
6 XCTest 0x00000001018c2612 XCInitializeForUITesting + 575
7 XCTest 0x000000010186191d -[XCTestDriver _runSuite] + 141
8 XCTest 0x00000001018627d1 -[XCTestDriver _checkForTestManager] + 259
9 XCTest 0x00000001018aca9a _XCTestMain + 628
10 CoreFoundation 0x000000010228f2ec __CFRUNLOOP_IS_CALLING_OUT_TO_A_BLOCK__ + 12
11 CoreFoundation 0x0000000102284f75 __CFRunLoopDoBlocks + 341
12 CoreFoundation 0x00000001022846d2 __CFRunLoopRun + 850
13 CoreFoundation 0x00000001022840f8 CFRunLoopRunSpecific + 488
14 GraphicsServices 0x0000000104424ad2 GSEventRunModal + 161
15 UIKit 0x000000010271ff09 UIApplicationMain + 171
16 XCTRunner 0x00000001017e68ad XCTRunner + 6317
17 libdyld.dylib 0x0000000104c4692d start + 1
)
libc++abi.dylib: terminating with uncaught exception of type NSException
Build step ''Execute shell'' marked build as failure
Finished: FAILURE

¿No se pudo iniciar la aplicación porque mi máquina Jenkins no puede abrirla lo suficientemente rápido antes de que Xcode implique un error en la prueba? ¿O podría haber una notificación que bloquee el lanzamiento de la aplicación?

Answer 1

Lo que ocurre es que XCTest intenta enviar el evento de inicio del botón de inicio al dispositivo, pero no recibe la notificación de finalización durante 30 segundos.

No creo que tenga nada que ver con una notificación UIAlertView bloqueando el botón Inicio para enviar el objetivo de prueba al fondo, ya que en mi experiencia dicho problema genera un mensaje de error diferente ( "Failed to background test runner within ..." )

No estoy familiarizado con la solución de Jenkins, pero si sospecha que el tiempo de espera es demasiado corto, puede intentar cambiarlo de la siguiente manera (alguna forma hacky que encontré).

Agregue las siguientes líneas a un código que se ejecutará antes que [XCTestDriver _runSuite] (por ejemplo, agregue su propia función __attribute__((constructor)) y coloque este código dentro):

extern __attribute__((weak)) void* _XCTSetEventConfirmationTimeout(NSTimeInterval);
// Change the default 30 seconds timeout.
long MY_NEW_EC_TIMEOUT = 120;
NSLog(@"Trying to call _XCTSetEventConfirmationTimeout(%ld)", MY_NEW_EC_TIMEOUT);
if (&_XCTSetEventConfirmationTimeout) {
NSLog(@"_XCTSetEventConfirmationTimeout address found");
_XCTSetEventConfirmationTimeout(MY_NEW_EC_TIMEOUT);
NSLog(@"_XCTSetEventConfirmationTimeout successfully called");
} else {
NSLog(@"_XCTSetEventConfirmationTimeout address not found");
}