Машинний переклад, не перевірений носієм мови. Еталоном є англійська версія.
Бенчмарк
Ті самі журнали, ті самі правила. Результати — відкрито.
kshana-bench — це фіксований набір завдань, розбиттів і метрик для виявлення завад ГНСС (GNSS) та holdover (утримання часу), щоб різні методи можна було порівнювати на одних і тих самих даних. Подання — це файл; ніщо не виконується від імені того, хто його подав. Базові рівні — це власні монітори рушія, а пороги (критерії відповідності) записано до першого оцінюваного прогону.
01Таблиця
Файли результатів, оцінені рушієм.
Таблиця лідерів kshana-bench
Файли результатів, оцінені за kshana-bench/2.0.0. Рядок означає: цей файл отримав це значення на цьому розбитті. Це не означає, що будь-який продукт будь-ким оцінено чи затверджено, і жодну організацію не названо як таку, що його підтримує.
Лише консультативно: змодельовано або виміряно відносно зазначених еталонів; це не схвалення, не сертифікація і не заява про відповідність. Оцінка описує журнал або корпус, ніколи не продукт.
Завдання (a): виявлення в журналах приймача
| Система | AUC | P_d при обмеженні P_fa (верхня межа) | Походження | Істина SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.981 | 0.875 | оцінено | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.952 | 0.904 | оцінено | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.909 | 0.147 | оцінено | 334946332bb0 |
| Система | AUC | P_d при обмеженні P_fa (верхня межа) | Походження | Істина SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (типова статистика монітора 0,35) kshana-bench/2.0.0 | 1.000 | 0.000 | оцінено | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.610 | 0.148 | оцінено | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.564 | 0.562 | оцінено | 38b7d5e8b158 |
| Система | AUC | P_d при обмеженні P_fa (верхня межа) | Походження | Істина SHA-256 |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.864 | 0.522 | оцінено | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.766 | 0.000 | оцінено | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (типова статистика монітора 0,35) kshana-bench/2.0.0 | 0.556 | 0.104 | оцінено | ee721e0bf7dc |
Завдання (b): виявлення в IQ
| Система | AUC | P_d при обмеженні P_fa (верхня межа) | Походження | Істина SHA-256 |
|---|---|---|---|---|
| монітори kshana iq: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | перенесено: docs/design/DETECTION-ROC.md, розділ 3: кампанія R1 з tests/iq_campaign_roc.rs, виконана 2026-10-13; для bench v1 повторно не запускалася. Поріг R1 (AUC >= 0,95) NOT MET. | 000000000000 |
Завдання (c): прогнозування holdover часу
| Система | RMSE 3600 с (нс) | RMSE 300 с (нс) | RMSE 7200 с (нс) | Походження | Істина SHA-256 |
|---|---|---|---|---|---|
| базовий рівень kshana-bench: лінійний kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | оцінено | 2b71fa325bff |
| базовий рівень kshana-bench: квадратичний kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | оцінено | 2b71fa325bff |
| базовий рівень kshana-bench: hold kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | оцінено | 2b71fa325bff |
| Система | RMSE 3600 с (нс) | RMSE 300 с (нс) | RMSE 7200 с (нс) | Походження | Істина SHA-256 |
|---|---|---|---|---|---|
| базовий рівень kshana-bench: лінійний kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | оцінено | b2ed58864e98 |
| базовий рівень kshana-bench: квадратичний kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | оцінено | b2ed58864e98 |
| базовий рівень kshana-bench: hold kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | оцінено | b2ed58864e98 |
Завдання (d): розрив оптимізму поза розподілом
| Система | AUC всередині | AUC ззовні | Розрив оптимізму | Прапорець | Походження | Істина SHA-256 |
|---|---|---|---|---|---|---|
| базовий рівень impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | у межах допуску | оцінено | f69917c70201 |
| базовий рівень impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | у межах допуску | оцінено | f69917c70201 |
| базовий рівень impairment-eval: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | у межах допуску | оцінено | f69917c70201 |
| базовий рівень impairment-eval: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | у межах допуску | оцінено | f69917c70201 |
| базовий рівень impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | у межах допуску | оцінено | f69917c70201 |
| Система | AUC всередині | AUC ззовні | Розрив оптимізму | Прапорець | Походження | Істина SHA-256 |
|---|---|---|---|---|---|---|
| базовий рівень impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | у межах допуску | оцінено | 1dddb8f6f0d5 |
| базовий рівень impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | у межах допуску | оцінено | 1dddb8f6f0d5 |
| базовий рівень impairment-eval: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | у межах допуску | оцінено | 1dddb8f6f0d5 |
| базовий рівень impairment-eval: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | у межах допуску | оцінено | 1dddb8f6f0d5 |
| базовий рівень impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | у межах допуску | оцінено | 1dddb8f6f0d5 |
Кожна оцінка є модельною, якщо рядок не вказує, що зовнішній оракул погодився. Ліцензія специфікації та маніфестів: запропоновано CC-BY-4.0 / CC0, рішення власника очікується. Holdout на реальних даних не є секретним: див. специфікацію, розділ 4.
02Що означає рядок
Оцінка описує журнал, а не продукт.
- Рядок стверджує: цей файл отримав значення X на розбитті S за версією специфікації V. Він не стверджує, що продукт сертифіковано, що він відповідає вимогам, затверджений чи схвалений, і жодну організацію не названо як таку, що його підтримує.
- Дані є записаними або синтетичними й названі в специфікації. Дані третіх сторін ніколи не копіюються до репозиторію: маніфести та скрипти завантаження фіксують кожен файл за SHA-256, а кожну ліцензію записано до використання даних.
- Істиною для записаного журналу є заплановані слоти тестового плану, а не записані часи в ефірі, тому ймовірність виявлення є нижньою межею. Специфікація зазначає це поруч із кожним завданням.
- Запечатаний holdout оцінюється лише в раунді таблиці лідерів, а його зерно (seed) розкривається після нього. Пороги для будь-якого базового рівня, що заявляє числове значення, фіксуються до оцінюваного прогону й ніколи не послаблюються; промах записується як NOT MET.
- Вердикти, записані у файлі результатів: пороги оцінювача, C1–C3 і D2 виконано; A2 — NOT MET (agc_k_sigma AUC 0,766 проти щонайменше 0,80 на розбитті test), D1 — NOT MET (найбільший розрив 0,0301), а R1 завдання (b) — NOT MET (перенесено, повторно не запускалося). Жоден поріг не послаблено.
- Лише консультативно: результати Kshana змодельовано або виміряно за вказаними еталонами; це не затвердження і не заява про відповідність.
Запустіть самі: kshana bench score перетворює подання та істину розбиття на файл результатів; kshana bench leaderboard відображає файли результатів на цій сторінці.