impairment-eval (tipo de cenário)

Tipo de cenário do motor v0.40.0, família Jamming, spoofing e o espectro. Consultivo: saída de análise de uma ferramenta de pesquisa e engenharia, não um equipamento de navegação homologado e não um serviço de segurança da vida humana. Todo rótulo aqui é do motor ou da matriz de verificação; um tipo de cenário é MODELLED, a menos que a matriz diga outra coisa (como um rótulo é conquistado: a seção Evidence do README).

O que faz#

Bancada de avaliação de detecção de degradações de RF por aprendizado de máquina (13494): gerar um corpus SINTÉTICO rotulado e fundamentado em parâmetros (nominal/jamming/spoof de tempo/spoof de posição/multipercurso), pontuar um detector (energy|agc|sqm|parity|fused) com a estrutura de teste agnóstica ao detector, e informar AUC/ROC/confusão + Pd por classe em um Pfa-alvo, além da lacuna de otimismo dentro versus fora da distribuição. Apenas características operacionais MODELLED — nunca dados de campo/IQ, sem veredito bom/ruim.

Uma execução de scenarios/impairment-eval.toml resume-se assim: impairment-eval | detector fused(max-z) | AUC 0,998 dentro / 0,981 fora (lacuna 0,017) | Pd 0,99 Pfa 0,05 @ alvo 0,05 | 1000 casos | MODELLED sintético

Entradas#

A partir do esquema (kshana kinds --json):

• Campos obrigatórios: nenhum
• Campos opcionais: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

O exemplo scenarios/impairment-eval.toml define, entre outros:

Execute#

kshana scenarios/impairment-eval.toml

O que ele fornece#

Os resultados escalares dessa execução, com as unidades que o motor declara:

Rótulo do resultado (o do motor): MODELLED — corpus sintético fundamentado em parâmetros (nunca dados de campo/IQ); apenas características operacionais, sem veredito bom/ruim

Evidências#

MODELLED 1 · VALIDATED 2: as linhas da matriz de verificação que nomeiam este tipo de cenário.

• VALIDATED AUC (Mann-Whitney, empates ½), matriz de confusão no limiar, P_d/P_md/P_fa/precisão/acurácia/F1 Testes: eval_metrics_reference.rs.
• VALIDATED AUC da ROC + IC por bootstrap separando anomalias reais rotuladas; detector transparente (reproduz os rótulos) Testes: opssat_ad_reference.rs.
• MODELLED Corpus sintético rotulado de degradações + estrutura de teste ROC/AUC/confusão/Pfa-Pmd agnóstica ao detector; proteção contra vazamento, divisão estratificada, relatório de otimismo por mudança de distribuição (dentro versus fora do regime).

As linhas que a própria execução exercitou, com a referência independente que a matriz dá a cada uma (as fontes públicas são nomeadas ali):

• VALIDATED AUC (Mann-Whitney, empates ½), matriz de confusão no limiar, P_d/P_md/P_fa/precisão/acurácia/F1. Referência independente (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — biblioteca independente, coincidência exata
• MODELLED Portões determinísticos, com hash de cenário, de SBOM e de golden entre plataformas. Referência independente (ExternalDataset): aderência à norma do SBOM ao JSON Schema oficial do CycloneDX 1,5 (+ identificadores SPDX válidos) — um padrão externo publicado, zero erros de validação em todo o grafo de dependências; a parte de determinismo das FoMs / reprodutibilidade byte a byte continua sendo uma verificação de autoconsistência fixada, de modo que a linha permanece MODELLED
• MODELLED Corpus sintético rotulado de degradações + estrutura de teste ROC/AUC/confusão/Pfa-Pmd agnóstica ao detector; proteção contra vazamento, divisão estratificada, relatório de otimismo por mudança de distribuição (dentro versus fora do r. Referência independente (InternalConsistency): Limites de AUC em forma fechada (Mann–Whitney) + um detector de referência independente perfeito; o corpus é SINTÉTICO (fundamentado em parâmetros, não dados de campo/IQ)

Limitações#

O que o próprio relatório da execução diz que não é modelado ou não é validado:

• MODELLED — corpus sintético fundamentado em parâmetros (nunca dados de campo/IQ); apenas características operacionais, sem veredito bom/ruim (resultado label)
• Apenas características operacionais MODELLED — nunca dados de campo/IQ, sem veredito bom/ruim. (catálogo de tipos de cenário (kshana kinds --json))
• ESCOPO HONESTO: apenas características operacionais MODELLED. O corpus é sintético e fundamentado em parâmetros (composto a partir dos modelos de jamming/AGC/SQM/paridade do Kshana) — nunca capturas de campo ou IQ bruto. A estrutura de teste é um árbitro; ela informa características, não emite um veredito bom/ruim. Execução: kshana scenarios/impairment-eval.toml (comentário do arquivo de cenário, linhas 9 a 12)
• Reprodutibilidade e garantia de software é MODELLED, não validada: uma subafirmação é verificada externamente, mas a capacidade inteira compõe peças modeladas, de modo que a capacidade permanece modelada. (matriz de verificação (docs/MODELLED-RATIONALE.md))
• A avaliação de detecção de degradações de RF por aprendizado de máquina (13494) é MODELLED, não validada: conferida contra a sua própria identidade analítica / de forma fechada — detecta erros de transcrição e de coeficientes, mas não é uma referência independente externa. (matriz de verificação (docs/MODELLED-RATIONALE.md))

Veja também#

• Página da família: Jamming, spoofing e o espectro
• Todos os tipos de cenário: KINDS.md
• Página do tópico: BENCH.md