test - Automatización de prueba de iPhone: ¿herramientas de referencia?

test pantalla iphone (6)

Hola, estamos expandiendo uno de nuestros proyectos en un banco importante para incluir el acceso a través de dispositivos móviles. Estamos evaluando algunas herramientas - inc. perfecto mobile, experitest y deviceanywhere. Desde nuestra evaluación inicial, perfecto y dispositivo en cualquier lugar, cubren un conjunto más grande de teléfonos incorporados. Experitest por otro lado es fuerte y simple de operar con teléfonos inteligentes (iphone, android, etc.). ¿Alguien puede compartir experiencia al usar estas herramientas para proyectos a gran escala? estamos principalmente preocupados por la estabilidad, la capacidad de trabajar con QTP y las consideraciones de soporte (soporte para nuevos dispositivos, etc.).

jQuery ejecuta muchas pruebas de forma automática tanto en los teléfonos con funciones como en los teléfonos inteligentes, quizás pueda usar su sistema de prueba. Como nota al margen, compruebe si jQuery Mobile es para usted, parece muy bueno.

Según mi leal saber y entender, Perfecto Mobile ha realizado algunas mejoras importantes en su oferta y actualmente ofrece algunos beneficios importantes sobre los demás, incluido el precio. En los últimos meses, han agregado dispositivos populares como Lenovo nePaone. Puede ver la lista completa de su sitio web: www.perfectomobile.com. Como utilizan la tecnología Differentontrol en lugar de Device Anywhere, son capaces de admitir nuevos dispositivos muy rápidamente. En cuanto a la estabilidad y QTP también tienen muchas ventajas sobre los demás. Por ejemplo, herramientas para registrar sus propios escenarios de usuario específicos y probarlos repetidamente en todos los dispositivos: esta es una gran herramienta de automatización para proyectos a gran escala.

He usado las 3 plataformas muchas veces

Solo Perfecto Mobile y DA son lo suficientemente robustos para probadores reales (al menos para nivel empresarial).

DA tiene más dispositivos pero Perfecto es 100% basado en web, más rápido y MUCHO más económico. Ambos ofrecen entornos de automatización con ventajas y desventajas, pero Perfecto ofrece integración QTP y soluciones de seguridad mejoradas.

Conclusión: ambos sistemas son buenos, Perfecto más económico, Perfecto, mucho mejor para las empresas que realizan pruebas móviles.

Guido

Piense en acoplar un producto de control remoto de software estándar con un robot de prueba de software estándar (como QTP).

Como alternativa, y al ser una solución mayoritariamente independiente del dispositivo , pero dependiente del mapa de bits , puede usar uno de los muchos controles remotos para llevar los contenidos de la pantalla del móvil al escritorio. Luego, harías clic en esa ventana de control remoto con tu robot de prueba favorito.

¿Eso suena estúpido? Bueno, tiene sus puntos fuertes y débiles:

Si QTP está configurado para usted, se quedaría atrapado en la sincronización de mapas de bits, no se verían otras propiedades útiles de la GUI. Sin embargo, si tiene conocimientos QTP a bordo, puede reutilizar todos los conocimientos técnicos para la integración de administración de pruebas a través de control de calidad, direccionamiento de datos de prueba, etc., scripting "art" como wait-for-the-right-thing , convierte bitmaps en texto, etc. Incluso podría "en tiempo real" verificar los resultados que se muestran en el móvil para almacenar en el backend corporativo, o buscar resultados esperados en alguna base de datos central después de hacer alguna transacción en el móvil; todo sería fácil ya que su robot de prueba se ejecuta parte de la infraestructura de TI todo el tiempo, por lo que tiene fácil acceso a esos recursos. Y esos accesos se podrían hacer con toda la comodidad a la que nos acostumbramos en los robots de prueba basados en PC, como por ejemplo el punto de control de la base de datos de QTP.

El aspecto positivo sería: al usar dicho escenario, usted es en gran medida independiente de los detalles técnicos del dispositivo móvil, y podría admitir una gran cantidad de dispositivos diferentes mediante el uso de diferentes conjuntos de mapas de bits esperados. (Siempre que los flujos de trabajo sean exactamente los mismos, lo que por supuesto no siempre es el caso).

Si no tiene que comprar un robot de prueba adicional, esta solución puede ser inmejorable. La mayoría de los dispositivos móviles de Windows, por ejemplo, se pueden usar con el control remoto gratuito de Microsoft, y hay muchos proveedores comerciales que ofrecen funciones de control remoto para una variedad de dispositivos en un solo paquete.

Además, podría desarrollar scripts de prueba utilizando emuladores que emularan el dispositivo móvil, ya que el robot de prueba no sabría la diferencia entre una pantalla que se está buscando o el emulador.

He hecho todo eso con varios controles remotos y dispositivos PDA / teléfonos inteligentes, usando CitraTest o QTP como el robot de prueba. Estuve muy feliz de no tener que perder el tiempo con otra herramienta especializada, o incluso más de una de ellas, cada una con su propio lenguaje o metodología.

Los mayores obstáculos además de los ya mencionados fueron:

encuentre un control remoto que sea versátil, rápido y confiable
encuentre una manera de dejar que el móvil use su ruta de comunicación "normal" (por ejemplo, conexión celular) para todas las aplicaciones mientras que, por razones de rendimiento (y para minimizar los efectos secundarios), el control remoto se conecta a través de una conexión directa (USB, propretario cable de sincronización, red ... lo que sea que soporte el móvil).
crear un "estándar" de scripting que sea lo suficientemente exacto para mantener sincronizados el robot de prueba y la ejecución de la aplicación móvil, evitando volver a capturar el mapa de bits esperado para todos los dispositivos compatibles con demasiada frecuencia (esto puede automatizarse en parte)
problemas de sincronización: cuando está en el nivel de mapa de bits, es difícil saber si esperó "lo suficiente" para que aparezca o desaparezca algún mensaje, o lo que sea.
cubre temas exóticos como "la aplicación continúa solo después de tomar una foto con la cámara móvil". En términos generales: controle la periferia integrada (qué contradicción ...) del móvil (en mi caso, tuve que hacer que el escáner de códigos de barras "viera" imágenes específicas, bastante difíciles y generalmente muy dependientes del dispositivo para automatizar)

Sin embargo, es factible y una solución de este tipo puede ser muy estable y confiable, con un grado suficiente de costo-eficiencia en términos de esfuerzo de mantenimiento de prueba (dependiendo de qué cambia la frecuencia en la aplicación a prueba, por supuesto).

He usado DeviceAnywhere extensivamente. Perfecto, no tanto, después de un período de prueba bastante decepcionante. DA tiene soporte / complementos para QTP y QC. Perfecto no cubre el control de calidad. Perfecto no es más rápido que DA, ya que la mayoría de sus dispositivos se encuentran en Israel, y no en los EE. UU. DA tiene algunos centros de datos en los EE. UU. Y en el extranjero, por lo tanto, tiene una mejor oportunidad de obtener un mejor rendimiento. DA tiene una larga lista de clientes de Enterprise y Carrier ... mientras que Perfecto parece una compañía muy pequeña. Compare la calidad de su sitio web; es bastante obvio cuál se ve más profesional ... Debería probar ambos y decidirse ...

Si está probando una aplicación bancaria, debe considerar el problema de seguridad. ¿Cómo se protege la aplicación y los datos de la aplicación? Una vez que suelta un teléfono, alguien más puede controlarlo. Mi recomendación es usar las capacidades en el sitio que creo que tienen todas las soluciones anteriores.