# Protocole d'éval comportementale — agents Fidulia

> Cadre méthodologique pour mesurer la performance réelle d'un agent (levier 4).
> Créé par l'Agent 81 — 2026-07-09.

---

## Principe

La revue statique note le **potentiel**. L'éval comportementale mesure le **résultat** : on fait tourner l'agent sur une entrée représentative, on note la sortie contre une rubrique, on obtient un score baseline. Après amélioration de l'agent, on rejoue la même entrée et on compare. Le gain prouvé décide de la généralisation.

## Règles

- **Fixtures synthétiques uniquement** — jamais de données client réelles dans un prompt de test (règle Agent 80). Un client fictif crédible, pas un vrai cabinet.
- **Même fixture avant/après** — la seule variable qui change entre baseline et re-mesure est l'amélioration de l'agent.
- **Rubrique fixée à l'avance** — pas de déplacement des critères après avoir vu la sortie.
- **Juge = LLM + relecture Fabien** sur les critères subjectifs (voix de marque). Le juge automatique note le mesurable (structure, marqueurs IA, format) ; Fabien tranche le qualitatif.

## Déroulé par agent

1. Charger la fixture synthétique + la rubrique
2. Exécuter l'agent **tel quel** (version actuelle) → sortie baseline
3. Noter la sortie contre la rubrique → **score baseline /100**
4. Appliquer le(s) levier(s) ciblé(s) sur l'agent (après validation Fabien)
5. Rejouer la même fixture → sortie améliorée
6. Noter → **score après**. Delta = gain prouvé.

## Les 3 pilotes

| Agent | Levier testé | Fixture | Rubrique |
|---|---|---|---|
| 30 Rédacteur | Levier 2 (few-shot) | `FIXTURE-REDACTEUR-CGP-SYNTH.md` | ci-dessous |
| 20 Stratège | Levier 1 (thinking) | à construire | cohérence diagnostic + positionnement testable |
| 60 Pilotage | Levier 1 (thinking) | à construire | justesse analyse causale + fait/interprétation |

---

## Rubrique — Agent 30 Rédacteur (/100)

> Source des critères : `Contexte/STYLE-EDITORIAL.md`, `CLAUDE.md` § Règles de production, mémoire (marqueurs IA à proscrire, posture Benedict Evans).

| Critère | Points | Mesure |
|---|---|---|
| Structure post (accroche non-générique → développement → chute → CTA léger) | 20 | Auto |
| Zéro marqueur IA (tiret em, anaphores, phrases-punch isolées, « concrètement ») | 20 | Auto (grep) |
| Voix de marque respectée (« on » inclusif, chiffres précis, champ lexical pilote) | 20 | Fabien |
| Posture Benedict Evans (1 signal + 1 lecture, zéro engagement farming) | 15 | Fabien |
| Angle conforme au pilier annoncé + niche CGP | 15 | Fabien |
| Pas de superlatif vide ni jargon anglais pompeux | 10 | Auto |

Seuil de succès d'une amélioration : **+8 points** minimum sur le total, sans régression sur les critères « Auto ».

---

## Rubrique — Agent 20 Stratège (/100)

> Source des critères : `Agent-Stratege.md` (méthode 4 phases, règles anti-hallucination), `UKP-STRATEGIE-EDITORIALE.md`, `CLAUDE.md` § piliers.

| Critère | Points | Mesure |
|---|---|---|
| Diagnostic croisé réel (confronte dit/montre/laisse-libre, repère les écarts = leviers) | 25 | Fabien |
| Positionnement testable (pour qui / seul qui / parce que), ancré verbatims client, conformité intégrée comme différenciant | 25 | Fabien |
| 4 piliers au bon mix (35/30/20/15) et adaptés au métier CGP cession | 20 | Auto + Fabien |
| Non-hallucination : rien hors inputs, distinction fait / interprétation / hypothèse | 20 | Auto + Fabien |
| Exploitation des territoires vides de l'audit concurrentiel (cession dirigeant, réemploi, conformité) | 10 | Fabien |

Seuil de succès d'une amélioration (levier 1 thinking) : **+8 points** minimum, sans régression.

---

## Statut

- [x] Protocole défini
- [x] Rubrique Rédacteur définie
- [ ] Fixture Rédacteur validée par Fabien (représentativité)
- [ ] Baseline Rédacteur mesurée
- [ ] Fixtures + rubriques 20 / 60