Jenkins: ¿cómo averiguar qué pruebas fallaron repetidamente?

Soy nuevo en CI y Jenkins. Tengo un proyecto Java que ejecuta pruebas automatizadas basadas en Testng en un servicio web. Las pruebas de automatización se ejecutan regularmente como un trabajo en Jenkins. A veces, el trabajo falla repetidamente durante mucho tiempo. Pero, en cada ejecución, el número de fallas de prueba es diferente. Quiero ver qué pruebas fallaron repetidamente, por ejemplo, las últimas 5 ejecuciones. Con eso, puedo reducir el número de fallas de prueba que tengo que investigar. Las fallas que no se repiten en las últimas 5 ejecuciones podrían ignorarse o investigarse más adelante.

¿Alguien puede sugerirme cómo puedo averiguar qué pruebas fallaron repetidamente en las últimas ejecuciones de N?

Puede tomar el número de veces que una prueba falló del objeto de la compilación en una tubería: puede hacer un pequeño informe y adjuntarlo a su compilación de la siguiente manera:

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

Llame saveRepeatedlyFailingTestsReportdespués de reunir los resultados de su prueba y verá el informe en su último enlace de artefactos de construcción.

Puede usar el complemento Test Result Analyzer de Jenkins para analizar las tendencias de las pruebas.

Complemento Test Result Analyzer

Video Tutorial de youtube

Instalación :

1. En Jenkins Dashboard, haga clic en Administrar Jenkins
2. En el menú, seleccione Administrar complementos
3. Haga clic en la pestaña Disponible y analizador de entrada en el cuadro de búsqueda Filtro
4. Haga clic en la casilla de verificación a la izquierda de prueba analizador de resultados y haga clic en el Instalar sin necesidad de reiniciar el botón

Uso :

1. Vaya al proyecto y haga clic en Configurar
2. Ir a la sección Acciones posteriores a la compilación y seleccionar Publicar informe de resultados de la prueba JUnit del menú desplegable Agregar acción posterior a la compilación
3. En el campo XML de informe de prueba, proporcione la ruta del TestNg / JUnit xml en el proyecto. Por ejemplo, **/target/test-results/*.xmlen mi caso
4. Guardar la configuración
5. Luego, después de una compilación exitosa, vaya a su proyecto y haga clic en el Analizador de resultados de prueba en el menú del lado izquierdo