Strojový překlad, nekontrolovaný rodilým mluvčím. Referenční je anglická verze.
Benchmark
Stejné záznamy, stejná pravidla. Skóre veřejně.
kshana-bench je pevná sada úloh, rozdělení dat a metrik pro detekci interference GNSS a pro holdover času, aby bylo možné různé metody porovnávat na stejných datech. Příspěvek je soubor; nic se nespouští jménem odesílatele. Základní hodnoty (baselines) dávají vlastní monitory enginu, s prahy zapsanými před prvním hodnoceným během.
01Žebříček
Soubory s výsledky, vyhodnocené enginem.
žebříček kshana-bench
Soubory s výsledky vyhodnocené podle kshana-bench/2.0.0. Řádek říká, že tento soubor dosáhl tohoto skóre na tomto rozdělení dat. Neznamená to, že by kdokoli ohodnotil nebo schválil jakýkoli produkt, a žádná organizace není uvedena jako podporovatel.
Pouze poradní charakter: modelováno nebo měřeno vůči uvedeným referencím; nejde o schválení, certifikaci ani prohlášení o shodě. Skóre popisuje záznam nebo korpus, nikdy produkt.
Úloha (a): detekce v záznamech přijímače
| Systém | AUC | P_d při stropu P_fa (horní mez) | Původ | SHA-256 pravdy |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.981 | 0.875 | vyhodnoceno | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.952 | 0.904 | vyhodnoceno | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.909 | 0.147 | vyhodnoceno | 334946332bb0 |
| Systém | AUC | P_d při stropu P_fa (horní mez) | Původ | SHA-256 pravdy |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 1.000 | 0.000 | vyhodnoceno | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.610 | 0.148 | vyhodnoceno | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.564 | 0.562 | vyhodnoceno | 38b7d5e8b158 |
| Systém | AUC | P_d při stropu P_fa (horní mez) | Původ | SHA-256 pravdy |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.864 | 0.522 | vyhodnoceno | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.766 | 0.000 | vyhodnoceno | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (0,35 výchozí statistika monitoru) kshana-bench/2.0.0 | 0.556 | 0.104 | vyhodnoceno | ee721e0bf7dc |
Úloha (b): detekce v IQ
| Systém | AUC | P_d při stropu P_fa (horní mez) | Původ | SHA-256 pravdy |
|---|---|---|---|---|
| kshana iq monitors: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | převzato: docs/design/DETECTION-ROC.md, oddíl 3: kampaň R1 z tests/iq_campaign_roc.rs, spuštěná 2026-10-13; pro bench v1 znovu nespuštěno. Práh R1 (AUC >= 0,95) byl NOT MET. | 000000000000 |
Úloha (c): predikce holdoveru času
| Systém | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Původ | SHA-256 pravdy |
|---|---|---|---|---|---|
| základní hodnota kshana-bench: lineární kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | vyhodnoceno | 2b71fa325bff |
| základní hodnota kshana-bench: kvadratická kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | vyhodnoceno | 2b71fa325bff |
| základní hodnota kshana-bench: hold kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | vyhodnoceno | 2b71fa325bff |
| Systém | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Původ | SHA-256 pravdy |
|---|---|---|---|---|---|
| základní hodnota kshana-bench: lineární kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | vyhodnoceno | b2ed58864e98 |
| základní hodnota kshana-bench: kvadratická kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | vyhodnoceno | b2ed58864e98 |
| základní hodnota kshana-bench: hold kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | vyhodnoceno | b2ed58864e98 |
Úloha (d): rozdíl v optimismu mimo rozdělení dat
| Systém | AUC uvnitř | AUC vně | Rozdíl v optimismu | Příznak | Původ | SHA-256 pravdy |
|---|---|---|---|---|---|---|
| základní hodnota impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | v toleranci | vyhodnoceno | f69917c70201 |
| základní hodnota impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | v toleranci | vyhodnoceno | f69917c70201 |
| základní hodnota impairment-eval: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | v toleranci | vyhodnoceno | f69917c70201 |
| základní hodnota impairment-eval: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | v toleranci | vyhodnoceno | f69917c70201 |
| základní hodnota impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | v toleranci | vyhodnoceno | f69917c70201 |
| Systém | AUC uvnitř | AUC vně | Rozdíl v optimismu | Příznak | Původ | SHA-256 pravdy |
|---|---|---|---|---|---|---|
| základní hodnota impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | v toleranci | vyhodnoceno | 1dddb8f6f0d5 |
| základní hodnota impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | v toleranci | vyhodnoceno | 1dddb8f6f0d5 |
| základní hodnota impairment-eval: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | v toleranci | vyhodnoceno | 1dddb8f6f0d5 |
| základní hodnota impairment-eval: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | v toleranci | vyhodnoceno | 1dddb8f6f0d5 |
| základní hodnota impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | v toleranci | vyhodnoceno | 1dddb8f6f0d5 |
Každé skóre je vypočteno z modelu, pokud řádek neuvádí, že souhlasilo externí orákulum. Licence specifikace a manifestů: navrženo CC-BY-4.0 / CC0, rozhodnutí vlastníka čeká. Reálný holdout není tajný: viz specifikace, oddíl 4.
02Co řádek znamená
Skóre popisuje záznam, ne produkt.
- Řádek říká: tento soubor dosáhl skóre X na rozdělení S podle verze specifikace V. Neříká, že je produkt certifikovaný, vyhovující, schválený nebo podporovaný, a žádná organizace není uvedena jako podporovatel.
- Data jsou zaznamenaná nebo syntetická a jsou uvedena ve specifikaci. Data třetích stran se nikdy nekopírují do repozitáře: manifesty a skripty pro stažení určují každý soubor podle SHA-256 a licence každého z nich se zaznamená před použitím dat.
- Pravdou pro zaznamenaný log jsou plánované sloty zkušebního plánu, nikoli zaznamenané časy vysílání, takže pravděpodobnost detekce je dolní mez. Specifikace to uvádí u každé úlohy.
- Zapečetěný holdout se hodnotí pouze v kole žebříčku a jeho seed se odhalí až po něm. Prahy pro každou základní hodnotu, která uvádí číslo, se zapisují před hodnoceným během a nikdy se následně nezmírňují; nesplnění se zaznamená jako NOT MET.
- Verdikty zaznamenané v souboru s výsledky: prahy hodnotitele, C1 až C3 a D2 jsou splněny; A2 je NOT MET (AUC agc_k_sigma 0,766 proti požadovaným alespoň 0,80 na rozdělení test), D1 je NOT MET (největší rozdíl 0,0301) a úloha (b) R1 je NOT MET (převzato, znovu nespuštěno). Žádný práh není zmírněn.
- Pouze poradní charakter: výsledky Kshana jsou modelovány nebo měřeny vůči uvedeným referencím, nejde o schválení ani prohlášení o shodě.
Spusťte si to sami: kshana bench score převede příspěvek a pravdu rozdělení dat na soubor s výsledky; kshana bench leaderboard vykreslí soubory s výsledky na tuto stránku.