Traducción automática, no revisada por un hablante nativo. El inglés es la referencia.

Confianza del receptor y ámbito marítimoEditar en GitHubFuente: docs/BENCH.md

kshana-bench

Un conjunto abierto de tareas, particiones y métricas para la detección de interferencias GNSS y el holdover de temporización. La especificación es bench/SPEC.md (versión 2.0.0; licencia del texto y de los manifiestos: CC-BY-4.0 / CC0 propuestas, decisión del propietario pendiente). La revisión de las licencias de los conjuntos de datos está en bench/LICENCES.md. Los umbrales de las líneas base se fijaron antes de la primera ejecución puntuada en xval/bench/PREREGISTRATION.md y, para 2.0.0, en PREREGISTRATION-v2.md, y sus resultados están en xval/bench/RESULTS-v2.md.

Veredictos tal como constan allí: los umbrales del evaluador de puntuación, C1 a C3 y D2, se alcanzan; A2 es NOT MET (agc_k_sigma AUC 0,766 frente a un mínimo de 0,80 en la partición de prueba), D1 es NOT MET (mayor diferencia 0,0301) y la tarea (b) R1 es NOT MET (heredado, no se volvió a ejecutar). Ningún umbral se relaja.

Qué es: una forma de comparar métodos con los mismos datos y el mismo código de métrica. Qué no es: una clasificación de productos, una aprobación ni una prueba de que un método funcione en campo. Toda puntuación es MODELLED, y una puntuación describe un registro o un corpus, nunca un producto. Los resultados de Kshana son consultivos.

Las líneas base integradas de la tarea D de kshana-bench (la brecha de optimismo) en la partición de prueba, a partir de una ejecución real del motor v0.40.0 (`kshana bench baseline`). Cada par de barras es el área bajo la curva ROC en los casos dentro de la distribución y en los casos desplazados; la diferencia entre ambas es la brecha de optimismo, frente a una tolerancia de 0,05. fused-max-z: 0,998 y 0,983 (diferencia 0,015); sqm-imbalance: 0,882 y 0,882 (diferencia 0,001); agc-excess: 0,848 y 0,819 (diferencia 0,030); raim-parity: 0,682 y 0,672 (diferencia 0,010); energy-cn0-drop: 0,595 y 0,565 (diferencia 0,030). Las etiquetas son etiquetas de un modelo generativo de un corpus sintético, nunca datos de campo: MODELLED. Consultivo: modelado o medido frente a referencias declaradas, no una aprobación, una certificación ni una declaración de ajuste a la norma. Una puntuación describe un registro o un corpus, nunca un producto.Las líneas base integradas de la tarea D de kshana-bench (la brecha de optimismo) en la partición de prueba, a partir de una ejecución real del motor v0.40.0 (`kshana bench baseline`). Cada par de barras es el área bajo la curva ROC en los casos dentro de la distribución y en los casos desplazados; la diferencia entre ambas es la brecha de optimismo, frente a una tolerancia de 0,05. fused-max-z: 0,998 y 0,983 (diferencia 0,015); sqm-imbalance: 0,882 y 0,882 (diferencia 0,001); agc-excess: 0,848 y 0,819 (diferencia 0,030); raim-parity: 0,682 y 0,672 (diferencia 0,010); energy-cn0-drop: 0,595 y 0,565 (diferencia 0,030). Las etiquetas son etiquetas de un modelo generativo de un corpus sintético, nunca datos de campo: MODELLED. Consultivo: modelado o medido frente a referencias declaradas, no una aprobación, una certificación ni una declaración de ajuste a la norma. Una puntuación describe un registro o un corpus, nunca un producto.

Tareas#

Tarea Unidad Datos Métrica principal
(a) detección en registros de receptor una época de un registro de JammerTest 2024 obtenido mediante scripts/fetch_jammertest2024.sh (GPL-3.0+, nunca incorporado al repositorio) AUC
(b) detección en IQ una ventana puntuada de una escena receta de escena sintética de Kshana; TEXBAT solo como referencia AUC por tipo de alarma
(c) predicción de holdover de temporización (satélite, origen) relojes IGS a 300 s (extracto confirmado, hash fijado) RMSE a 3600 s
(d) brecha de optimismo fuera de distribución un caso sintético corpus impairment-eval, dentro y fuera de la distribución AUC fuera de la distribución y la diferencia

Comandos#

kshana bench spec
kshana bench cases --task d --split test --scale 0.5 --out cases/        # cases.json + truth.json
kshana bench cases --task c --split test --out cases/
kshana bench truth --task a --data <extracted JammerTest 2024> --split test --out truth.json
kshana bench score --truth truth.json --predictions my-scores.json --out my.result.json
kshana bench baseline --task d --split test --out results/               # the built-in baselines
kshana bench validate results/*.result.json
kshana bench leaderboard results/ --out bench/site/index.html
kshana bench seal --task d --seed-file secret.txt --new                  # owner: make a seed, print only its hash
kshana bench reveal-check --task d --seed-file secret.txt --commitment <hex>
kshana bench manifest --task a --data <extracted dir> --out manifest.json
kshana bench verify-manifest manifest.json --root <dir>

Un envío es un archivo (kshana-bench-predictions/1): scores (un número por identificador de caso; cuanto más alto, más probable es que esté afectado) para las tareas a, b y d, o predictions (el cambio de fase en ns en cada horizonte) para la tarea c. Un archivo de resultados (kshana-bench-result/1) nombra la versión de la especificación, la partición, el SHA-256 de la verdad y de las predicciones, y las métricas. Los resultados de versiones mayores distintas de la especificación nunca se ponen en una misma tabla.

Límites honestos#

  • Los conjuntos reservados de datos reales (a y c) son públicos, porque cualquiera puede descargar los datos. Protegen contra elegir una partición después de ver las puntuaciones, no contra el ajuste sobre esas carpetas. El conjunto reservado sellado de la tarea (d) es de compromiso y revelación: el propietario registra solo el hash en bench/holdout/COMMITMENTS.json y conserva la semilla (todavía no hay ninguno sellado).
  • La verdad de la tarea (a) son las franjas de ataque programadas de los registros de eventos con resolución de un minuto, de modo que una probabilidad de detección es una cota inferior; las métricas a nivel de evento (latencia, alarmas perdidas, falsas alarmas) llegarán con el evaluador de Jammertest de kshana jammertest score.
  • La línea base de IQ de la tarea (b) procede de docs/design/DETECTION-ROC.md, no se volvió a ejecutar para v1.
  • El corpus de la tarea (d) es una comprobación de separabilidad y de la canalización; un AUC sobre él es un AUC sobre etiquetas derivadas de un modelo.