Traduction automatique, non relue par un locuteur natif. L'anglais fait foi.
Mêmes journaux, mêmes règles. Des scores à découvert.
kshana-bench est un ensemble fixe de tâches, de partitions et de métriques pour la détection d'interférences GNSS et la prédiction de holdover de synchronisation temporelle, afin que des méthodes différentes puissent être comparées sur les mêmes données. Une soumission est un fichier ; rien ne s'exécute pour le compte de l'auteur de la soumission. Les références de base sont les propres moniteurs du moteur, avec des seuils consignés avant la première exécution notée.
Fichiers de résultats, notés par le moteur.
Classement kshana-bench
Fichiers de résultats notés selon kshana-bench/2.0.0. Une ligne indique que ce fichier a obtenu ce score sur cette partition. Cela ne signifie pas qu'un produit a été évalué ou approuvé par qui que ce soit, et aucune organisation n'est citée comme garante.
À titre consultatif : modélisé ou mesuré par rapport à des références indiquées, et non une approbation, une certification ou une déclaration de conformité. Une note décrit un journal ou un corpus, jamais un produit.
Tâche (a) : détection sur les journaux de récepteur
| Système | AUC | P_d au plafond de P_fa (borne supérieure) | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.981 | 0.875 | noté | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.952 | 0.904 | noté | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.909 | 0.147 | noté | 334946332bb0 |
| Système | AUC | P_d au plafond de P_fa (borne supérieure) | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 1.000 | 0.000 | noté | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.610 | 0.148 | noté | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.564 | 0.562 | noté | 38b7d5e8b158 |
| Système | AUC | P_d au plafond de P_fa (borne supérieure) | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.864 | 0.522 | noté | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.766 | 0.000 | noté | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (statistique de moniteur par défaut 0,35) kshana-bench/2.0.0 | 0.556 | 0.104 | noté | ee721e0bf7dc |
Tâche (b) : détection sur IQ
| Système | AUC | P_d au plafond de P_fa (borne supérieure) | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|
| moniteurs kshana iq : cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | reporté : docs/design/DETECTION-ROC.md section 3 : la campagne R1 de tests/iq_campaign_roc.rs, exécutée le 2026-10-13 ; non réexécutée pour bench v1. Le seuil R1 (AUC >= 0,95) n'a PAS été atteint : NOT MET. | 000000000000 |
Tâche (c) : prédiction de holdover de synchronisation temporelle
| Système | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|---|
| référence de base kshana-bench : linéaire kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | noté | 2b71fa325bff |
| référence de base kshana-bench : quadratique kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | noté | 2b71fa325bff |
| référence de base kshana-bench : maintien kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | noté | 2b71fa325bff |
| Système | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|---|
| référence de base kshana-bench : linéaire kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | noté | b2ed58864e98 |
| référence de base kshana-bench : quadratique kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | noté | b2ed58864e98 |
| référence de base kshana-bench : maintien kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | noté | b2ed58864e98 |
Tâche (d) : écart d'optimisme hors distribution
| Système | AUC dans la distribution | AUC hors distribution | Écart d'optimisme | Indicateur | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|---|---|
| référence de base impairment-eval : fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | dans la tolérance | noté | f69917c70201 |
| référence de base impairment-eval : sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | dans la tolérance | noté | f69917c70201 |
| référence de base impairment-eval : agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | dans la tolérance | noté | f69917c70201 |
| référence de base impairment-eval : raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | dans la tolérance | noté | f69917c70201 |
| référence de base impairment-eval : energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | dans la tolérance | noté | f69917c70201 |
| Système | AUC dans la distribution | AUC hors distribution | Écart d'optimisme | Indicateur | Provenance | SHA-256 de la vérité terrain |
|---|---|---|---|---|---|---|
| référence de base impairment-eval : fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | dans la tolérance | noté | 1dddb8f6f0d5 |
| référence de base impairment-eval : sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | dans la tolérance | noté | 1dddb8f6f0d5 |
| référence de base impairment-eval : agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | dans la tolérance | noté | 1dddb8f6f0d5 |
| référence de base impairment-eval : raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | dans la tolérance | noté | 1dddb8f6f0d5 |
| référence de base impairment-eval : energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | dans la tolérance | noté | 1dddb8f6f0d5 |
Chaque score est modélisé, sauf si une ligne indique qu'une référence indépendante externe l'a confirmé. Licence de la spécification et des manifestes : CC-BY-4.0 / CC0 proposée, décision du propriétaire en attente. Le jeu réservé de données réelles n'est pas secret : voir la spécification, section 4.
Un score décrit un journal, pas un produit.
- Une ligne dit : ce fichier a obtenu X sur la partition S selon la version V de la spécification. Elle ne dit pas qu'un produit est certifié, conforme, approuvé ou cautionné, et aucune organisation n'est citée comme garante.
- Les données sont enregistrées ou synthétiques et nommées dans la spécification. Les données de tiers ne sont jamais copiées dans le dépôt : des manifestes et des scripts de récupération identifient chaque fichier par son SHA-256, et chaque licence est consignée avant l'utilisation des données.
- La vérité terrain d'un journal enregistré correspond aux créneaux programmés du plan d'essai, et non aux heures d'émission effectivement enregistrées ; une probabilité de détection est donc une borne inférieure. La spécification le précise à côté de chaque tâche.
- Un jeu réservé scellé n'est noté que lors d'une session de classement, et sa graine est révélée après celle-ci. Les seuils de toute référence de base qui revendique un chiffre sont fixés avant l'exécution notée et ne sont jamais assouplis par la suite ; un échec est consigné comme NOT MET.
- Verdicts tels que consignés dans le fichier de résultats : les seuils du noteur, C1 à C3 et D2, sont atteints ; A2 est NOT MET (AUC de agc_k_sigma 0,766 contre au moins 0,80 sur la partition test), D1 est NOT MET (écart maximal 0,0301) et le R1 de la tâche (b) est NOT MET (reporté, non réexécuté). Aucun seuil n'est assoupli.
- À titre consultatif seulement : les résultats de Kshana sont modélisés ou mesurés par rapport à des références indiquées, et ne constituent ni une approbation ni une déclaration de respect de la norme.
Exécutez-le vous-même : kshana bench score transforme une soumission et la vérité terrain d'une partition en fichier de résultats ; kshana bench leaderboard met en page les fichiers de résultats pour produire cette page.