Tradução automática, não revista por um falante nativo. O inglês é a referência.
Benchmark
Mesmos registros, mesmas regras. Pontuações às claras.
O kshana-bench é um conjunto fixo de tarefas, divisões e métricas para detecção de interferência em GNSS e holdover de temporização, de modo que métodos diferentes possam ser comparados sobre os mesmos dados. Uma submissão é um arquivo; nada é executado em nome de quem a submete. As linhas de base são os próprios monitores do motor, com limiares escritos antes da primeira execução pontuada.
01O quadro
Arquivos de resultados, pontuados pelo motor.
Quadro de classificação do kshana-bench
Arquivos de resultados pontuados sob kshana-bench/2.0.0. Uma linha diz que este arquivo obteve esta pontuação nesta divisão. Isso não significa que algum produto tenha sido classificado ou aprovado por quem quer que seja, e nenhuma organização é citada como avalista.
Consultivo: modelado ou medido em relação a referências indicadas, não uma aprovação, certificação nem declaração de conformidade. Uma pontuação descreve um registro ou um corpus, nunca um produto.
Tarefa (a): detecção em registros de receptor
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.981 | 0.875 | pontuado | 334946332bb0 |
| kshana receiver-trust cn0_drop_db (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.952 | 0.904 | pontuado | 334946332bb0 |
| kshana receiver-trust jam_ind_threshold (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.909 | 0.147 | pontuado | 334946332bb0 |
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|
| kshana receiver-trust agc_k_sigma (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 1.000 | 0.000 | pontuado | 38b7d5e8b158 |
| kshana receiver-trust jam_ind_threshold (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.610 | 0.148 | pontuado | 38b7d5e8b158 |
| kshana receiver-trust cn0_drop_db (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.564 | 0.562 | pontuado | 38b7d5e8b158 |
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|
| kshana receiver-trust cn0_drop_db (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.864 | 0.522 | pontuado | ee721e0bf7dc |
| kshana receiver-trust agc_k_sigma (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.766 | 0.000 | pontuado | ee721e0bf7dc |
| kshana receiver-trust jam_ind_threshold (estatística padrão do monitor 0,35) kshana-bench/2.0.0 | 0.556 | 0.104 | pontuado | ee721e0bf7dc |
Tarefa (b): detecção em IQ
| Sistema | AUC | P_d no limite de P_fa (limite superior) | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|
| monitores de IQ do kshana: cn0_drop (CUSUM) kshana-bench/2.0.0 | 0.785 | n/a | herdado: docs/design/DETECTION-ROC.md seção 3: a campanha R1 de tests/iq_campaign_roc.rs, executada em 2026-10-13; não reexecutada para o bench v1. O limiar R1 (AUC >= 0,95) foi NOT MET. | 000000000000 |
Tarefa (c): predição de holdover de temporização
| Sistema | RMSE de 3600 s (ns) | RMSE de 300 s (ns) | RMSE de 7200 s (ns) | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|---|
| linha de base do kshana-bench: linear kshana-bench/2.0.0 | 0.128 | 0.019 | 0.198 | pontuado | 2b71fa325bff |
| linha de base do kshana-bench: quadrática kshana-bench/2.0.0 | 0.135 | 0.019 | 0.235 | pontuado | 2b71fa325bff |
| linha de base do kshana-bench: manutenção kshana-bench/2.0.0 | 26.876 | 2.238 | 53.778 | pontuado | 2b71fa325bff |
| Sistema | RMSE de 3600 s (ns) | RMSE de 300 s (ns) | RMSE de 7200 s (ns) | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|---|
| linha de base do kshana-bench: linear kshana-bench/2.0.0 | 0.162 | 0.023 | 0.243 | pontuado | b2ed58864e98 |
| linha de base do kshana-bench: quadrática kshana-bench/2.0.0 | 0.183 | 0.024 | 0.290 | pontuado | b2ed58864e98 |
| linha de base do kshana-bench: manutenção kshana-bench/2.0.0 | 24.612 | 2.050 | 49.314 | pontuado | b2ed58864e98 |
Tarefa (d): lacuna de otimismo fora da distribuição
| Sistema | AUC dentro | AUC fora | Lacuna de otimismo | Sinalização | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|---|---|
| linha de base do impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.982 | 0.015 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.867 | 0.866 | 0.001 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: agc-excess kshana-bench/2.0.0 | 0.854 | 0.828 | 0.026 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: raim-parity kshana-bench/2.0.0 | 0.655 | 0.642 | 0.013 | dentro da tolerância | pontuado | f69917c70201 |
| linha de base do impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.610 | 0.572 | 0.038 | dentro da tolerância | pontuado | f69917c70201 |
| Sistema | AUC dentro | AUC fora | Lacuna de otimismo | Sinalização | Proveniência | SHA-256 da verdade de referência |
|---|---|---|---|---|---|---|
| linha de base do impairment-eval: fused(max-z) kshana-bench/2.0.0 | 0.998 | 0.983 | 0.015 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: sqm-imbalance kshana-bench/2.0.0 | 0.882 | 0.882 | 0.001 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: agc-excess kshana-bench/2.0.0 | 0.848 | 0.819 | 0.030 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: raim-parity kshana-bench/2.0.0 | 0.682 | 0.672 | 0.010 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
| linha de base do impairment-eval: energy(cn0-drop) kshana-bench/2.0.0 | 0.595 | 0.565 | 0.030 | dentro da tolerância | pontuado | 1dddb8f6f0d5 |
Toda pontuação é modelada, a menos que uma linha diga que uma referência independente externa concordou. Licença da especificação e dos manifestos: CC-BY-4.0 / CC0 propostas, decisão do titular pendente. O conjunto reservado de dados reais não é secreto: veja a especificação, seção 4.
02O que uma linha significa
Uma pontuação descreve um registro, não um produto.
- Uma linha diz: este arquivo obteve X na divisão S sob a versão V da especificação. Ela não diz que um produto é certificado, aderente à norma, aprovado ou endossado, e nenhuma organização é citada como avalista.
- Os dados são registrados ou sintéticos e estão nomeados na especificação. Dados de terceiros nunca são copiados para o repositório: manifestos e scripts de obtenção fixam cada arquivo por SHA-256, e cada licença é registrada antes de os dados serem usados.
- A verdade de referência de um registro gravado são os intervalos programados do plano de teste, e não os horários de transmissão gravados, de modo que uma probabilidade de detecção é um limite inferior. A especificação diz isso junto a cada tarefa.
- Um conjunto reservado lacrado só é pontuado em uma rodada do quadro de classificação, e sua semente é revelada depois dela. Os limiares de qualquer linha de base que alegue um número são registrados antes da execução pontuada e nunca são afrouxados depois; um resultado aquém é registrado como NOT MET.
- Veredictos como registrados no arquivo de resultados: os limiares do pontuador, C1 a C3 e D2 foram atingidos; A2 é NOT MET (AUC de agc_k_sigma 0,766 contra pelo menos 0,80 na divisão de teste), D1 é NOT MET (maior lacuna 0,0301) e R1 da tarefa (b) é NOT MET (herdado, não reexecutado). Nenhum limiar foi afrouxado.
- Apenas consultivo: os resultados do Kshana são modelados ou medidos em relação a referências declaradas, não uma aprovação nem uma declaração de aderência à norma.
Execute você mesmo: kshana bench score transforma uma submissão e a verdade de referência de uma divisão em um arquivo de resultados; kshana bench leaderboard renderiza arquivos de resultados nesta página.