impairment-eval (type de scénario)

Type de scénario du moteur v0.40.0, famille Brouillage, leurrage et spectre. À titre consultatif : résultat d'analyse issu d'un outil de recherche et d'ingénierie, et non un équipement de navigation homologué ni un service de sauvegarde de la vie humaine. Chaque étiquette ici est celle du moteur ou de la matrice de vérification ; un type de scénario est MODELLED sauf indication contraire de la matrice (comment une étiquette s'obtient : section Evidence du README).

Ce qu'il fait#

Banc d'évaluation de la détection par apprentissage automatique des altérations RF (13494) : générer un corpus SYNTHÉTIQUE étiqueté et fondé sur des paramètres (nominal/brouillage/leurrage en temps/leurrage en position/trajets multiples), noter un détecteur (energy|agc|sqm|parity|fused) avec le banc indépendant du détecteur, et rapporter AUC/ROC/matrice de confusion + Pd par classe à un Pfa cible, ainsi que l'écart d'optimisme entre dans la distribution et hors de la distribution. Caractéristiques de fonctionnement MODELLED seulement — jamais de données de terrain/IQ, aucun verdict bon/mauvais.

Une exécution de scenarios/impairment-eval.toml se résume ainsi : impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Entrées#

D'après le schéma (kshana kinds --json) :

• Champs requis : aucun
• Champs facultatifs : seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

L'exemple scenarios/impairment-eval.toml définit, entre autres :

L'exécuter#

kshana scenarios/impairment-eval.toml

Ce qu'il donne#

Les résultats scalaires de cette exécution, avec les unités que le moteur indique :

Étiquette du résultat (celle du moteur) : MODELLED — corpus synthétique fondé sur des paramètres (jamais de données de terrain/IQ) ; caractéristiques de fonctionnement seulement, aucun verdict bon/mauvais

Preuves#

MODELLED 1 · VALIDATED 2 : les lignes de la matrice de vérification qui nomment ce type de scénario.

• VALIDATED AUC (Mann-Whitney, égalités ½), matrice de confusion au seuil, P_d/P_md/P_fa/précision/exactitude/F1 Tests : eval_metrics_reference.rs.
• VALIDATED AUC de la ROC + intervalle de confiance par bootstrap séparant de vraies anomalies étiquetées ; détecteur transparent (reproduit les étiquettes) Tests : opssat_ad_reference.rs.
• MODELLED Corpus synthétique étiqueté d'altérations + banc ROC/AUC/confusion/Pfa-Pmd indépendant du détecteur ; garde-fou contre les fuites, découpage stratifié, rapport d'optimisme sur le décalage de distribution (dans le régime et hors du régime).

Les lignes que l'exécution elle-même a exercées, avec la référence indépendante que la matrice donne pour chacune (les sources publiques y sont nommées) :

• VALIDATED AUC (Mann-Whitney, égalités ½), matrice de confusion au seuil, P_d/P_md/P_fa/précision/exactitude/F1. Référence indépendante (ExternalDataset) : scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — bibliothèque indépendante, concordance exacte
• MODELLED Déterministe, hachée par scénario, avec des barrières SBOM + références d'or multiplateformes. Référence indépendante (ExternalDataset) : respect du schéma JSON officiel CycloneDX 1,5 par la SBOM (+ identifiants SPDX valides) — une norme publiée externe, zéro erreur de validation sur tout le graphe de dépendances ; la partie déterminisme du FoM / reproductibilité à l'octet près reste un contrôle d'autocohérence figé, de sorte que la ligne reste MODELLED
• MODELLED Corpus synthétique étiqueté d'altérations + banc ROC/AUC/confusion/Pfa-Pmd indépendant du détecteur ; garde-fou contre les fuites, découpage stratifié, décalage de distribution (dans le régime et hors du r. Référence indépendante (InternalConsistency) : bornes d'AUC en forme fermée (Mann–Whitney) + un détecteur à référence parfaite ; le corpus est SYNTHÉTIQUE (fondé sur des paramètres, pas de données de terrain/IQ)

Limites#

Ce que le rapport propre à l'exécution dit n'être pas modélisé ou pas validé :

• MODELLED — corpus synthétique fondé sur des paramètres (jamais de données de terrain/IQ) ; caractéristiques de fonctionnement seulement, aucun verdict bon/mauvais (résultat label)
• Caractéristiques de fonctionnement MODELLED seulement — jamais de données de terrain/IQ, aucun verdict bon/mauvais. (catalogue des types de scénario (kshana kinds --json))
• PÉRIMÈTRE HONNÊTE : caractéristiques de fonctionnement MODELLED seulement. Le corpus est synthétique et fondé sur des paramètres (composé à partir des modèles de brouillage/AGC/SQM/parité de Kshana) — jamais de captures de terrain ni d'IQ brut. Le banc est un arbitre ; il rapporte des caractéristiques, il ne prononce pas de verdict bon/mauvais. Exécution : kshana scenarios/impairment-eval.toml (commentaire du fichier de scénario, lignes 9 à 12)
• La reproductibilité et l'assurance logicielle sont MODELLED, et non validées : une sous-affirmation est vérifiée de l'extérieur, mais la capacité entière compose des éléments modélisés, de sorte qu'elle reste modélisée. (matrice de vérification (docs/MODELLED-RATIONALE.md))
• L'évaluation par apprentissage automatique de la détection des altérations RF (13494) est MODELLED, et non validée : vérifiée par rapport à sa propre identité analytique / en forme fermée — elle détecte les erreurs de transcription et de coefficients, mais ce n'est pas une référence indépendante externe. (matrice de vérification (docs/MODELLED-RATIONALE.md))

Voir aussi#

• Page de famille : Brouillage, leurrage et spectre
• Tous les types de scénario : KINDS.md
• Page thématique : BENCH.md