Tradução automática, não revista por um falante nativo. O inglês é a referência.
Benchmark
Os mesmos registos, as mesmas regras. Pontuações à vista de todos.
O kshana-bench é um conjunto fixo de tarefas, partições e métricas para a deteção de interferência GNSS e o holdover de temporização, para que métodos diferentes possam ser comparados sobre os mesmos dados. Uma submissão é um ficheiro; nada é executado em nome de quem a submete. As linhas de base são os monitores do próprio motor, com limiares escritos antes da primeira execução pontuada.
01A tabela
Ficheiros de resultados, pontuados pelo motor.
Tabela de classificação do kshana-bench
Ficheiros de resultados pontuados segundo kshana-bench/2.0.0. Uma linha diz que este ficheiro obteve esta pontuação nesta partição. Não significa que algum produto tenha sido classificado ou aprovado por quem quer que seja, e nenhuma organização é indicada como avalista.
Consultivo: modelado ou medido face a referências indicadas, não uma aprovação, certificação nem declaração de conformidade. Uma pontuação descreve um registo ou um corpus, nunca um produto.
Tarefa (a): deteção em registos do recetor
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da referência |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.981 | 0.875 | pontuado | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.952 | 0.904 | pontuado | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.909 | 0.147 | pontuado | 334946332bb0 |
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da referência |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 1.000 | 0.000 | pontuado | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.610 | 0.148 | pontuado | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.564 | 0.562 | pontuado | 38b7d5e8b158 |
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da referência |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.864 | 0.522 | pontuado | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.766 | 0.000 | pontuado | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (estatística de monitor predefinida 0,35) kshana-bench/2.0.0 | 0.556 | 0.104 | pontuado | ee721e0bf7dc |
Tarefa (b): deteção em IQ
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da referência |
|---|---|---|---|---|
| monitores iq do kshana: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | transitado: docs/design/DETECTION-ROC.md secção 3: a campanha R1 de tests/iq_campaign_roc.rs, executada em 2026-10-13; não voltou a ser executada para o bench v1. O limiar R1 (AUC >= 0,95) foi NOT MET. | 000000000000 |
Tarefa (c): previsão de holdover de temporização
| Sistema | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Proveniência | SHA-256 da referência |
|---|---|---|---|---|---|
| linha de base do kshana-bench: linear kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | pontuado | 2b71fa325bff |
| linha de base do kshana-bench: quadrática kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | pontuado | 2b71fa325bff |
| linha de base do kshana-bench: manutenção kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | pontuado | 2b71fa325bff |
| Sistema | RMSE 3600 s (ns) | RMSE 300 s (ns) | RMSE 7200 s (ns) | Proveniência | SHA-256 da referência |
|---|---|---|---|---|---|
| linha de base do kshana-bench: linear kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | pontuado | b2ed58864e98 |
| linha de base do kshana-bench: quadrática kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | pontuado | b2ed58864e98 |
| linha de base do kshana-bench: manutenção kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | pontuado | b2ed58864e98 |
Tarefa (d): diferença de otimismo fora da distribuição
| Sistema | AUC dentro | AUC fora | Diferença de otimismo | Indicador | Proveniência | SHA-256 da referência |
|---|---|---|---|---|---|---|
| linha de base do impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | dentro da tolerância | pontuado | f69917c70201 |
| Sistema | AUC dentro | AUC fora | Diferença de otimismo | Indicador | Proveniência | SHA-256 da referência |
|---|---|---|---|---|---|---|
| linha de base do impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
Toda a pontuação é modelada, a menos que uma linha indique que uma referência independente externa concordou. Licença da especificação e dos manifestos: CC-BY-4.0 / CC0 propostas, decisão do titular pendente. O conjunto reservado de dados reais não é secreto: consulte a especificação, secção 4.
02O que significa uma linha
Uma pontuação descreve um registo, não um produto.
- Uma linha diz: este ficheiro obteve X na partição S segundo a versão V da especificação. Não diz que um produto é certificado, aderente à norma, aprovado ou avalizado, e nenhuma organização é indicada como avalista.
- Os dados são registados ou sintéticos e estão identificados na especificação. Os dados de terceiros nunca são copiados para o repositório: os manifestos e os scripts de obtenção fixam cada ficheiro por SHA-256, e cada licença é registada antes de os dados serem utilizados.
- A referência de um registo gravado são os intervalos agendados do plano de ensaio, não as horas de emissão efetivamente gravadas, pelo que uma probabilidade de deteção é um limite inferior. A especificação di-lo junto de cada tarefa.
- Um conjunto reservado selado só é pontuado numa ronda da tabela de classificação, e a sua semente é revelada depois dela. Os limiares de qualquer linha de base que reivindique um valor são fixados antes da execução pontuada e nunca são relaxados depois; uma falha é registada como NOT MET.
- Veredictos tal como registados no ficheiro de resultados: os limiares do pontuador, C1 a C3 e D2, são atingidos; A2 é NOT MET (AUC de agc_k_sigma 0,766 face a pelo menos 0,80 na partição de teste), D1 é NOT MET (maior diferença 0,0301) e a tarefa (b) R1 é NOT MET (transitado, não voltou a ser executado). Nenhum limiar é relaxado.
- Apenas consultivo: os resultados do Kshana são modelados ou medidos face a referências indicadas, não uma aprovação nem uma declaração de aderência à norma.
Execute-o por si: kshana bench score transforma uma submissão e a referência de uma partição num ficheiro de resultados; kshana bench leaderboard apresenta os ficheiros de resultados nesta página.