Tłumaczenie maszynowe, niezweryfikowane przez osobę, dla której polski jest językiem ojczystym. Wzorcem jest wersja angielska.

Benchmark

Te same logi, te same reguły. Wyniki na widoku.

kshana-bench to ustalony zestaw zadań, podziałów i metryk dla detekcji zakłóceń GNSS i holdover synchronizacji czasu, dzięki któremu różne metody można porównywać na tych samych danych. Zgłoszeniem jest plik; nic nie jest uruchamiane w imieniu zgłaszającego. Punktami odniesienia są własne monitory silnika, z progami zapisanymi przed pierwszym punktowanym przebiegiem.

Zobacz tabelę wyników Przeczytaj specyfikację

01Tabela wyników

Pliki wyników, punktowane przez silnik.

tabela wyników kshana-bench

Pliki wyników punktowane według kshana-bench/2.0.0. Wiersz mówi, że ten plik uzyskał tę wartość na tym podziale. Nie oznacza, że jakikolwiek produkt został przez kogokolwiek oceniony lub zatwierdzony, i żadna organizacja nie jest wskazana jako popierająca.

Wyłącznie doradczo: modelowane lub mierzone względem podanych wzorców; nie jest to zatwierdzenie, certyfikacja ani oświadczenie o zgodności. Wynik opisuje log lub korpus, nigdy produkt.

Zadanie (a): detekcja na logach odbiornika

Podział: dev
System	AUC	P_d przy limicie P_fa (górne ograniczenie)	Pochodzenie	SHA-256 wzorca prawdy
kshana receiver-trust agc_k_sigma (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.981	0.875	punktowane	`334946332bb0`
kshana receiver-trust cn0_drop_db (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.952	0.904	punktowane	`334946332bb0`
kshana receiver-trust jam_ind_threshold (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.909	0.147	punktowane	`334946332bb0`

Podział: holdout
System	AUC	P_d przy limicie P_fa (górne ograniczenie)	Pochodzenie	SHA-256 wzorca prawdy
kshana receiver-trust agc_k_sigma (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	1.000	0.000	punktowane	`38b7d5e8b158`
kshana receiver-trust jam_ind_threshold (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.610	0.148	punktowane	`38b7d5e8b158`
kshana receiver-trust cn0_drop_db (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.564	0.562	punktowane	`38b7d5e8b158`

Podział: test
System	AUC	P_d przy limicie P_fa (górne ograniczenie)	Pochodzenie	SHA-256 wzorca prawdy
kshana receiver-trust cn0_drop_db (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.864	0.522	punktowane	`ee721e0bf7dc`
kshana receiver-trust agc_k_sigma (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.766	0.000	punktowane	`ee721e0bf7dc`
kshana receiver-trust jam_ind_threshold (0,35 domyślna statystyka monitora) kshana-bench/2.0.0	0.556	0.104	punktowane	`ee721e0bf7dc`

Zadanie (b): detekcja na IQ

Podział: test
System	AUC	P_d przy limicie P_fa (górne ograniczenie)	Pochodzenie	SHA-256 wzorca prawdy
monitory kshana iq: cn0_drop (CUSUM) kshana-bench/2.0.0	0.785	n/a	przeniesione: docs/design/DETECTION-ROC.md section 3: kampania R1 z tests/iq_campaign_roc.rs, uruchomiona 2026-10-13; nie uruchomiono ponownie dla bench v1. Próg R1 (AUC >= 0,95) był NOT MET.	`000000000000`

Zadanie (c): predykcja holdover synchronizacji czasu

Podział: dev
System	RMSE 3600 s (ns)	RMSE 300 s (ns)	RMSE 7200 s (ns)	Pochodzenie	SHA-256 wzorca prawdy
punkt odniesienia kshana-bench: liniowy kshana-bench/2.0.0	0.128	0.019	0.198	punktowane	`2b71fa325bff`
punkt odniesienia kshana-bench: kwadratowy kshana-bench/2.0.0	0.135	0.019	0.235	punktowane	`2b71fa325bff`
punkt odniesienia kshana-bench: utrzymanie kshana-bench/2.0.0	26.876	2.238	53.778	punktowane	`2b71fa325bff`

Podział: test
System	RMSE 3600 s (ns)	RMSE 300 s (ns)	RMSE 7200 s (ns)	Pochodzenie	SHA-256 wzorca prawdy
punkt odniesienia kshana-bench: liniowy kshana-bench/2.0.0	0.162	0.023	0.243	punktowane	`b2ed58864e98`
punkt odniesienia kshana-bench: kwadratowy kshana-bench/2.0.0	0.183	0.024	0.290	punktowane	`b2ed58864e98`
punkt odniesienia kshana-bench: utrzymanie kshana-bench/2.0.0	24.612	2.050	49.314	punktowane	`b2ed58864e98`

Zadanie (d): luka optymizmu poza rozkładem

Podział: dev
System	AUC wewnątrz	AUC poza	Luka optymizmu	Flaga	Pochodzenie	SHA-256 wzorca prawdy
punkt odniesienia impairment-eval: fused(max-z) kshana-bench/2.0.0	0.998	0.982	0.015	w granicach tolerancji	punktowane	`f69917c70201`
punkt odniesienia impairment-eval: sqm-imbalance kshana-bench/2.0.0	0.867	0.866	0.001	w granicach tolerancji	punktowane	`f69917c70201`
punkt odniesienia impairment-eval: agc-excess kshana-bench/2.0.0	0.854	0.828	0.026	w granicach tolerancji	punktowane	`f69917c70201`
punkt odniesienia impairment-eval: raim-parity kshana-bench/2.0.0	0.655	0.642	0.013	w granicach tolerancji	punktowane	`f69917c70201`
punkt odniesienia impairment-eval: energy(cn0-drop) kshana-bench/2.0.0	0.610	0.572	0.038	w granicach tolerancji	punktowane	`f69917c70201`

Podział: test
System	AUC wewnątrz	AUC poza	Luka optymizmu	Flaga	Pochodzenie	SHA-256 wzorca prawdy
punkt odniesienia impairment-eval: fused(max-z) kshana-bench/2.0.0	0.998	0.983	0.015	w granicach tolerancji	punktowane	`1dddb8f6f0d5`
punkt odniesienia impairment-eval: sqm-imbalance kshana-bench/2.0.0	0.882	0.882	0.001	w granicach tolerancji	punktowane	`1dddb8f6f0d5`
punkt odniesienia impairment-eval: agc-excess kshana-bench/2.0.0	0.848	0.819	0.030	w granicach tolerancji	punktowane	`1dddb8f6f0d5`
punkt odniesienia impairment-eval: raim-parity kshana-bench/2.0.0	0.682	0.672	0.010	w granicach tolerancji	punktowane	`1dddb8f6f0d5`
punkt odniesienia impairment-eval: energy(cn0-drop) kshana-bench/2.0.0	0.595	0.565	0.030	w granicach tolerancji	punktowane	`1dddb8f6f0d5`

Każdy wynik jest obliczony z modelu, chyba że wiersz mówi, iż zgodziła się niezależna wyrocznia zewnętrzna. Licencja specyfikacji i manifestów: proponowane CC-BY-4.0 / CC0, decyzja właściciela w toku. Rzeczywisty zbiór holdout nie jest tajny: zob. specyfikacja, sekcja 4.

02Co oznacza wiersz

Wynik opisuje log, nie produkt.

Wiersz mówi: ten plik uzyskał wartość X na podziale S według wersji specyfikacji V. Nie mówi, że produkt jest certyfikowany, zgodny, zatwierdzony lub popierany, i żadna organizacja nie jest wskazana jako popierająca.
Dane są zarejestrowane lub syntetyczne i wymienione w specyfikacji. Dane stron trzecich nigdy nie są kopiowane do repozytorium: manifesty i skrypty pobierania przypinają każdy plik przez SHA-256, a każda licencja jest odnotowana przed użyciem danych.
Wzorcem prawdy dla zarejestrowanego logu są zaplanowane sloty planu testu, a nie zarejestrowane czasy emisji, więc prawdopodobieństwo detekcji jest dolnym ograniczeniem. Specyfikacja mówi o tym przy każdym zadaniu.
Zapieczętowany holdout jest punktowany tylko w rundzie tabeli wyników, a jego ziarno (seed) jest ujawniane po niej. Progi dla każdego punktu odniesienia, który deklaruje jakąś wartość, są zatwierdzane przed punktowanym przebiegiem i nigdy nie są później luzowane; niespełnienie jest zapisywane jako NOT MET.
Werdykty zapisane w pliku wyników: progi punktujące, C1 do C3 oraz D2 są spełnione; A2 jest NOT MET (AUC dla agc_k_sigma 0,766 wobec co najmniej 0,80 na podziale test), D1 jest NOT MET (największa luka 0,0301), a zadanie (b) R1 jest NOT MET (przeniesione, nie uruchomione ponownie). Żaden próg nie został poluzowany.
Wyłącznie doradczo: wyniki Kshana są obliczone z modelu lub zmierzone względem podanych wzorców; nie jest to zatwierdzenie ani oświadczenie o zgodności.

Uruchom samodzielnie: kshana bench score zamienia zgłoszenie i wzorzec prawdy podziału w plik wyników; kshana bench leaderboard renderuje pliki wyników na tej stronie.