testing - studio - ¿Cuáles son sus experiencias con TestComplete de AutomatedQA?

testcomplete prices

Question

En mi lugar de trabajo estamos pensando en comprar TestComplete, pero después de usar la versión de evaluación, no estoy seguro de si nos va a servir de algo.

Crear pruebas parece ser mucho trabajo y mi jefe no está completamente convencido de que valga la pena.

Por otro lado, no tenemos pruebas unitarias, por lo que necesitamos desesperadamente algunas pruebas automatizadas.

• ¿Cuáles son sus experiencias con TestComplete?
• ¿Es realista que los no desarrolladores puedan crear pruebas? (Sin la ayuda de un desarrollador)
• ¿Puede TestComplete reemplazar las pruebas unitarias?

Answer 1

Tuve un breve encuentro con TestComplete hace un par de años, y no quedé demasiado impresionado. El lenguaje de scripting (no puedo recordar qué era lo que estaba fuera de mi cabeza) parecía bastante torpe, y como mencionaste, parecía mucho trabajo crear incluso pruebas simples.

Creo que sería bastante poco realista para un total no desarrollador crear pruebas sólidas. Creo que se necesitaría algún nivel de experiencia en desarrollo, aunque un probador dedicado que realmente sabe lo que hace y tiene un buen nivel de habilidad técnica puede mejorarse. con eso

En cuanto al último punto, creo que estás hablando de dos tipos diferentes de pruebas: TestComplete está más orientado hacia las pruebas funcionales (o eso me pareció a mí), donde tal vez obtendrías más valor si aplicaras la implementación de un conjunto de unidades prueba primero (aunque es difícil de decir sin saber más acerca de tu aplicación)

Answer 2

Depende de lo que quieras probar. Si tiene dificultades para simular clics en la GUI, TestComplete lo hace bastante bien. El buscador de objetos y las funciones de grabación pueden ser muy útiles en la medida de lo posible.

Si está haciendo lo que puede para evitar la molestia de las pruebas de GUI, entonces VB script, python, perl o elija su lenguaje de scripting favorito. Decidimos usar JScript para nuestro proyecto y su implementación puede ser ''emocionante'' a veces.

Básicamente revise la lista de características y decida qué va a usar y no usar. Si va a utilizarlo para recopilar todos sus casos de prueba, no se moleste. Si va a estar pesado en pruebas de GUI, pruebas distribuidas, etc. por todos los medios consígalo.

Answer 3

Usamos Test Complete para automatizar todas nuestras pruebas y funciona muy bien. Nos tomó un poco de tiempo automatizar todos nuestros casos de prueba de regresión, pero valió la pena el esfuerzo. Ahora hacemos versiones diarias y ejecutamos nuestras pruebas de prueba completa en la construcción e informa los resultados de nuevo en nuestra herramienta de administración de pruebas (Software Planner http://www.softwareplanner.com ).

También creamos una interfaz impulsada por palabras clave alrededor de Test Complete para que nuestros expertos en la materia puedan crear nuevas pruebas con palabras clave en lugar de secuencias de comandos.

Answer 4

Mis experiencias han sido excelentes y no soy un desarrollador, pero sí juego uno en la televisión.

Necesité ayuda del desarrollador cuando uso TestComplete aquí y allá. Yo diría que si el operador de TestComplete puede entender las declaraciones y variables básicas If Then Else, y un desarrollador puede ayudar de vez en cuando, entonces sí, un desarrollador no puede usarlo.

Las pruebas unitarias y las pruebas GUI son cosas diferentes; Pruebas unitarias (advertencia de no desarrollador), clases de prueba, pruebas GUI, controles de prueba. Si tiene 5 fragmentos de recursos abstractos, debe poner 3 en pruebas unitarias y 2 en pruebas GUI en lugar de 5 en uno u otro.

** Solo para aclarar, TestComplete puede ejecutar pruebas unitarias, pero aún tiene que escribirlas.

Answer 5

Tengo un odio abrumador por TestComplete ...

Es IDE es torpe, es GUI es casi inútil, es lenguaje de scripting y el sistema es kludgy (que soy yo siendo bueno)

Si tienes tiempo para aprenderlo ...
Si tienes la paciencia para resolverlo ...
Si ya tiene las pruebas adecuadas de Unidad / Integración / Sistema en su lugar ...
Si tiene una GUI que se puede ejecutar contra un sistema simulado (para eliminar las variables del sistema)

Entonces es posible que desee considerarlo. De lo contrario, sería mejor que pasaras el tiempo escribiendo pruebas de abajo hacia arriba, aprendiendo cómo abstraer tu IU de tu sistema, o simplemente quitándote la nariz.

Gastamos $$, $$$ para TestComplete (decisión de los gerentes, sin la participación del ingeniero) para ejecutar Load Tests (porque dice que es una característica principal en su sitio). Cuando no pudimos encontrar la forma de hacer que ejecutara pruebas de carga (donde, ya sabes, mantiene la conexión X para los minutos Y) enviamos un correo electrónico a AutomatedQA. Después de un par de semanas escuchamos que "nuestro software no puede hacer eso".

Answer 6

Tuve una experiencia de pesadilla con TestComplete 3.

Heredé un guión horrible y una aplicación obsoleta, y con sudor y lágrimas de sangre logré que funcionara decentemente. Aprendí mucho VBScript en el camino, pero no nada cerca de un desarrollador.

Luego logré obtener una actualización de TestComplete 7. No tiene absolutamente nada que ver con 3, 4, 5 ni 6. De acuerdo, puede parecer similar a 5 y 6 en el exterior, pero tiene muchas más funcionalidades. 3 y 4 eran tan prehistóricos que ni siquiera me atrevo a hablar de ellos.

TestComplete7 es, hasta ahora, un encanto para nosotros. Estamos haciendo aplicaciones tanto independientes como basadas en la web, y hemos encontrado que la v7.5 brinda todo lo que necesitamos.

Un probador no técnico solo puede explotar del 5 al 10 por ciento de TestComplete tiene para ofrecer, y dependiendo de la madurez de la aplicación bajo prueba, puede perder más tiempo del que está ahorrando.

Sin embargo, un probador con conocimiento de scripting medio avanzado puede hacer maravillas con él.

Toda esta es nuestra experiencia desde el lado de la prueba funcional. Todavía no hemos investigado si Unit Test fue posible con él.

Answer 7

Cuando me uní a mi empresa como QA (diciembre de 2011), ya tenía una licencia no utilizada para testComplete 7 (también conocido como TC 7) e intenté instalarla en mi Windows 7.

• testComplete 7 no funcionó en win7. Bien, actualicé (gratis) para actualizar TC 8.
• testComplete 8 mató a mi computadora durante la instalación (sospecho que el servidor local de licencias). No es un pequeño choque: la computadora me detectó en azul hasta que la matriculé por completo.

Más tarde descubrí en los archivos de MS que TC 8 no está (silenciosamente) marcado como compatible con win7 . Ni una sola advertencia en el sitio web de SmartBear, ni en el momento de la instalación.

No tengo ni idea de si esto es reproducible en otros sistemas, o simplemente un conflicto de mala suerte con otra de mis aplicaciones (no tantas, el accidente ocurrió en mi tercer día). Pero eso definitivamente me hace perder confianza en su solución: ¿cómo es posible que un software de prueba no se pruebe antes de su lanzamiento en un sistema casi popular muy popular?

No puedo hablar sobre la GUI, literalmente nunca la he visto.

Mi conclusión es muy simple: Úselo solo en máquinas virtuales, ya que es mortalmente inestable .

EDITAR (feb 2012): He probado un TC8 recién descargado en una máquina virtual winXP SP3 (usando Sun''s VirtualBox). Esta vez, la computadora invitada se reinició inesperadamente durante la instalación y pude iniciar la pantalla de bienvenida y activar mi licencia de demostración antes de que me dijeran que la instalación no era correcta y que tenía la aplicación cerrada. Supongo que esto es una mejora sobre el comportamiento de win7 ya que no destrozó mi máquina de invitados.