Retour aux projets

Stage — Renault Digital · 2026

Renault Digital — Agents LLM & RAG pour la QA

Rédiger les tickets Jira et les scénarios Gherkin à partir des exigences prenait 10 à 20 minutes par exigence à l'équipe QA.

Contexte
Stage — Renault Digital (interne, confidentiel)
Année
2026
Technologies
Microsoft Copilot API · pgvector · unstructured.io · Pydantic
Rôle
Stagiaire Ingénieur IA — Quality Engineering

Projet interne : aucune capture ni donnée métier publiée, par confidentialité.

01

Le défi

L'équipe QA rédigeait à la main les tickets Jira et les scénarios Gherkin à partir des exigences : 10 à 20 minutes par exigence.

Les sources utiles (pages Confluence, anciennes user stories, tickets) étaient dispersées dans des PDF, et contenaient des données à protéger avant tout appel à un LLM.

02

La solution

Un système à deux agents LLM — analyse des exigences, puis conception des tests — alimenté par un RAG sur plus de 400 PDF. Les sorties sont validées par schéma puis rendues en Gherkin de façon déterministe, avec une validation humaine à chaque étape. Un premier POC sur Copilot Studio a précédé une reconstruction en FastAPI et React/TypeScript.

03

Architecture

Vue synthétique construite uniquement à partir des éléments déjà décrits dans l'expérience. Aucun schéma interne n'est reproduit.

04

Ce qui a été construit

  1. 01Agents et génération

    Deux agents spécialisés transforment une exigence en tickets Jira et en scénarios Gherkin ; un humain valide à chaque étape.

  2. 02RAG documentaire

    RAG sur l'API Microsoft Copilot (similarité cosinus, top-5) ; seuil de similarité calibré empiriquement à 0,72.

  3. 03Fiabilité des sorties

    Le LLM produit du JSON validé par schémas Pydantic ; le Gherkin est rendu en code et contrôlé par le parseur officiel Cucumber, ce qui élimine les erreurs de syntaxe du LLM.

  4. 04Qualité logicielle

    296 tests automatisés (pytest) et documentation technique des 9 modules.

  5. 05Automatisation QA

    Fichiers Smoke/TNR générés sur SharePoint et reporting Teams via Power Automate.

Contributions détaillées

Renault Digital · Juin 2026 — Septembre 2026

  • Agents IA & Génération de tests — conception et mise en production d'un système multi-agents LLM (Requirement Analyzer Agent, Test Design Agent) transformant des exigences en tickets Jira et scénarios Gherkin, avec validation humaine à chaque étape (human-in-the-loop). POC sur Copilot Studio et Power Platform, puis reconstruction full-stack (FastAPI, React/TypeScript). Plus de 100 tickets Jira et 50 scénarios Gherkin générés, rédaction passée de 10–20 min à 1–2 min par exigence, adopté par une équipe QA de 6 personnes.
  • RAG & Ingestion documentaire — mise en place sur l'API Microsoft Copilot d'un RAG (similarité cosinus, top-5) alimenté par une chaîne d'ingestion de plus de 400 PDF (Confluence, anciennes user stories et tickets Jira) : OCR des tableaux et images (unstructured.io), découpage par structure de document et retrieval MMR sur pgvector. Masquage DLP (Presidio, spaCy) avant chaque appel LLM.
  • Évaluation & monitoring — génération en JSON validé par schémas Pydantic, puis rendu Gherkin déterministe contrôlé par le parseur officiel Cucumber, éliminant les erreurs de syntaxe du LLM. Calibration du seuil de similarité (0,72), optimisation de la consommation de tokens et tableau de bord qualité (85% des générations acceptées sans modification) ; 296 tests automatisés (pytest) et documentation technique des 9 modules.
  • Automatisation QA — génération des fichiers Smoke/TNR et reporting Teams (Power Automate), formation de l'ingénieur à la reprise manuelle.
Voir l’expérience complète

05

Décisions techniques

Le LLM ne rédige pas le Gherkin

Générer du JSON contraint puis rendre le Gherkin en code rend la syntaxe vérifiable et déterministe.

Masquage avant le LLM

Les données sensibles sont masquées (Presidio, spaCy) avant chaque appel, pas après.

Humain dans la boucle

Chaque étape est validée par l'équipe QA : le système assiste, il ne publie pas seul.

06

Résultats

des générations acceptées sans modification
85 %
des générations acceptées sans modification
tableau de bord qualité interne[experience]
de rédaction par exigence
10–20 → 1–2 min
de rédaction par exigence
avant / après, déclaré par l’équipe[experience]
tickets Jira / scénarios Gherkin générés
100+ / 50
tickets Jira / scénarios Gherkin générés
pendant le stage, équipe QA de 6 personnes[experience]

Chiffres issus du stage ; aucune donnée interne n’est publiée.

07

Limites

  • Projet interne : ni code, ni captures, ni documents publiés.
  • Les gains de temps sont des mesures internes, non reproductibles hors de l’entreprise.