Maschinelle Übersetzung, nicht von einem Muttersprachler geprüft. Englisch ist die maßgebliche Fassung.

Benchmark

Gleiche Logs, gleiche Regeln. Ergebnisse offen einsehbar.

kshana-bench ist ein fester Satz von Aufgaben, Aufteilungen und Metriken für die Erkennung von GNSS-Störungen und für Timing-Holdover, damit sich verschiedene Methoden auf denselben Daten vergleichen lassen. Eine Einreichung ist eine Datei; im Auftrag des Einreichenden wird nichts ausgeführt. Basislinien sind die eigenen Monitore der Engine, mit Zielwerten, die vor dem ersten gewerteten Lauf festgehalten wurden.

01Die Rangliste

Ergebnisdateien, von der Engine gewertet.

kshana-bench-Rangliste

Ergebnisdateien, gewertet nach kshana-bench/2.0.0. Eine Zeile besagt, dass diese Datei auf dieser Aufteilung diesen Wert erzielt hat. Sie bedeutet nicht, dass irgendein Produkt von irgendjemandem bewertet oder genehmigt wurde, und keine Organisation wird als Befürworter genannt.

Hinweis: aus einem Modell berechnet oder gegen angegebene Referenzen gemessen, keine Genehmigung, Zertifizierung oder Konformitätsaussage. Ein Wert beschreibt ein Log oder einen Korpus, nie ein Produkt.

Aufgabe (a): Erkennung auf Empfänger-Logs

Aufteilung: dev
SystemAUCP_d bei P_fa-Obergrenze (obere Schranke)HerkunftTruth-SHA-256
kshana receiver-trust agc_k_sigma (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.9810.875gewertet334946332bb0
kshana receiver-trust cn0_drop_db (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.9520.904gewertet334946332bb0
kshana receiver-trust jam_ind_threshold (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.9090.147gewertet334946332bb0
Aufteilung: zurückgehaltener Datensatz
SystemAUCP_d bei P_fa-Obergrenze (obere Schranke)HerkunftTruth-SHA-256
kshana receiver-trust agc_k_sigma (0,35 Standard-Monitorstatistik) kshana-bench/2.0.01.0000.000gewertet38b7d5e8b158
kshana receiver-trust jam_ind_threshold (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.6100.148gewertet38b7d5e8b158
kshana receiver-trust cn0_drop_db (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.5640.562gewertet38b7d5e8b158
Aufteilung: test
SystemAUCP_d bei P_fa-Obergrenze (obere Schranke)HerkunftTruth-SHA-256
kshana receiver-trust cn0_drop_db (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.8640.522gewertetee721e0bf7dc
kshana receiver-trust agc_k_sigma (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.7660.000gewertetee721e0bf7dc
kshana receiver-trust jam_ind_threshold (0,35 Standard-Monitorstatistik) kshana-bench/2.0.00.5560.104gewertetee721e0bf7dc

Aufgabe (b): Erkennung auf IQ

Aufteilung: test
SystemAUCP_d bei P_fa-Obergrenze (obere Schranke)HerkunftTruth-SHA-256
kshana iq monitors: cn0_drop (CUSUM) kshana-bench/2.0.00.785n/aübernommen: docs/design/DETECTION-ROC.md Abschnitt 3: die R1-Kampagne von tests/iq_campaign_roc.rs, ausgeführt am 2026-10-13; für Bench v1 nicht erneut ausgeführt. Der Zielwert R1 (AUC >= 0,95) wurde NOT MET.000000000000

Aufgabe (c): Vorhersage des Timing-Holdover

Aufteilung: dev
SystemRMSE 3600 s (ns)RMSE 300 s (ns)RMSE 7200 s (ns)HerkunftTruth-SHA-256
kshana-bench-Basislinie: linear kshana-bench/2.0.00.1280.0190.198gewertet2b71fa325bff
kshana-bench-Basislinie: quadratisch kshana-bench/2.0.00.1350.0190.235gewertet2b71fa325bff
kshana-bench-Basislinie: hold kshana-bench/2.0.026.8762.23853.778gewertet2b71fa325bff
Aufteilung: test
SystemRMSE 3600 s (ns)RMSE 300 s (ns)RMSE 7200 s (ns)HerkunftTruth-SHA-256
kshana-bench-Basislinie: linear kshana-bench/2.0.00.1620.0230.243gewertetb2ed58864e98
kshana-bench-Basislinie: quadratisch kshana-bench/2.0.00.1830.0240.290gewertetb2ed58864e98
kshana-bench-Basislinie: hold kshana-bench/2.0.024.6122.05049.314gewertetb2ed58864e98

Aufgabe (d): Optimismuslücke außerhalb der Verteilung

Aufteilung: dev
SystemAUC innerhalbAUC außerhalbOptimismuslückeMarkierungHerkunftTruth-SHA-256
impairment-eval-Basislinie: fused(max-z) kshana-bench/2.0.00.9980.9820.015innerhalb der Toleranzgewertetf69917c70201
impairment-eval-Basislinie: sqm-imbalance kshana-bench/2.0.00.8670.8660.001innerhalb der Toleranzgewertetf69917c70201
impairment-eval-Basislinie: agc-excess kshana-bench/2.0.00.8540.8280.026innerhalb der Toleranzgewertetf69917c70201
impairment-eval-Basislinie: raim-parity kshana-bench/2.0.00.6550.6420.013innerhalb der Toleranzgewertetf69917c70201
impairment-eval-Basislinie: energy(cn0-drop) kshana-bench/2.0.00.6100.5720.038innerhalb der Toleranzgewertetf69917c70201
Aufteilung: test
SystemAUC innerhalbAUC außerhalbOptimismuslückeMarkierungHerkunftTruth-SHA-256
impairment-eval-Basislinie: fused(max-z) kshana-bench/2.0.00.9980.9830.015innerhalb der Toleranzgewertet1dddb8f6f0d5
impairment-eval-Basislinie: sqm-imbalance kshana-bench/2.0.00.8820.8820.001innerhalb der Toleranzgewertet1dddb8f6f0d5
impairment-eval-Basislinie: agc-excess kshana-bench/2.0.00.8480.8190.030innerhalb der Toleranzgewertet1dddb8f6f0d5
impairment-eval-Basislinie: raim-parity kshana-bench/2.0.00.6820.6720.010innerhalb der Toleranzgewertet1dddb8f6f0d5
impairment-eval-Basislinie: energy(cn0-drop) kshana-bench/2.0.00.5950.5650.030innerhalb der Toleranzgewertet1dddb8f6f0d5

Jeder Wert ist modelliert, sofern eine Zeile nicht angibt, dass eine externe unabhängige Referenz zugestimmt hat. Lizenz der Spezifikation und der Manifeste: CC-BY-4.0 / CC0 vorgeschlagen, Entscheidung des Eigentümers steht aus. Der zurückgehaltene Datensatz mit Realdaten ist nicht geheim: siehe die Spezifikation, Abschnitt 4.

02Was eine Zeile bedeutet

Ein Wert beschreibt ein Log, kein Produkt.

  • Eine Zeile besagt: Diese Datei hat auf der Aufteilung S unter der Spezifikationsversion V den Wert X erzielt. Sie besagt nicht, dass ein Produkt zertifiziert, konform, zugelassen oder befürwortet ist, und keine Organisation wird als Befürworter genannt.
  • Die Daten sind aufgezeichnet oder synthetisch und in der Spezifikation benannt. Daten Dritter werden nie in das Repository kopiert: Manifeste und Abrufskripte legen jede Datei per SHA-256 fest, und jede Lizenz wird vor der Verwendung der Daten festgehalten.
  • Die Truth für ein aufgezeichnetes Log sind die geplanten Zeitfenster des Testplans, nicht die aufgezeichneten Sendezeiten; eine Detektionswahrscheinlichkeit ist daher eine untere Schranke. Die Spezifikation weist bei jeder Aufgabe darauf hin.
  • Ein versiegelter zurückgehaltener Datensatz wird nur in einer Ranglistenrunde gewertet, und sein Seed wird danach offengelegt. Zielwerte für jede Basislinie, die eine Zahl beansprucht, werden vor dem gewerteten Lauf festgeschrieben und danach nie gelockert; ein Verfehlen wird als NOT MET festgehalten.
  • Urteile wie in der Ergebnisdatei festgehalten: Die Zielwerte des Scorers, C1 bis C3 und D2 sind erreicht; A2 ist NOT MET (agc_k_sigma AUC 0,766 gegenüber mindestens 0,80 auf der Test-Aufteilung), D1 ist NOT MET (größte Lücke 0,0301) und Aufgabe (b) R1 ist NOT MET (übernommen, nicht erneut ausgeführt). Kein Zielwert wird gelockert.
  • Nur beratend: Die Ergebnisse von Kshana sind modelliert oder gegen genannte Referenzen gemessen, keine Genehmigung und keine Konformitätserklärung.

Selbst ausführen: kshana bench score macht aus einer Einreichung und der Truth einer Aufteilung eine Ergebnisdatei; kshana bench leaderboard stellt Ergebnisdateien auf dieser Seite dar.