impairment-eval (tipo de cenário)

Tipo de cenário do motor v0.40.0, família Jamming, spoofing e o espetro. Consultivo: resultado de análise de uma ferramenta de investigação e engenharia, não um equipamento de navegação homologado e não um serviço de segurança da vida humana. Cada etiqueta aqui é do motor ou da matriz de verificação; um tipo de cenário é MODELLED salvo indicação em contrário da matriz (como se obtém um rótulo: a secção Evidence do README).

O que faz#

Bancada de avaliação de deteção de degradações de RF por aprendizagem automática (13494): gerar um corpus SINTÉTICO rotulado e fundamentado em parâmetros (nominal/jamming/spoof de tempo/spoof de posição/multipercurso), pontuar um detector (energy|agc|sqm|parity|fused) com a estrutura de teste agnóstica ao detector, e indicar AUC/ROC/confusão + Pd por classe num Pfa-alvo, além da lacuna de otimismo dentro versus fora da distribuição. Apenas características operacionais MODELLED — nunca dados de campo/IQ, sem veredito bom/mau.

Uma execução de scenarios/impairment-eval.toml resume-se assim: impairment-eval | detector fused(max-z) | AUC 0,998 dentro / 0,981 fora (lacuna 0,017) | Pd 0,99 Pfa 0,05 @ alvo 0,05 | 1000 casos | MODELLED sintético

Entradas#

A partir do esquema (kshana kinds --json):

• Campos obrigatórios: nenhum
• Campos opcionais: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

O exemplo scenarios/impairment-eval.toml define, entre outros:

Execute-o#

kshana scenarios/impairment-eval.toml

O que dá#

Os resultados escalares dessa execução, com as unidades que o motor indica:

Rótulo do resultado (o do motor): MODELLED — corpus sintético fundamentado em parâmetros (nunca dados de campo/IQ); apenas características operacionais, sem veredito bom/mau

Evidências#

MODELLED 1 · VALIDATED 2: as linhas da matriz de verificação que nomeiam este tipo de cenário.

• VALIDATED AUC (Mann-Whitney, empates ½), matriz de confusão no limiar, P_d/P_md/P_fa/precisão/exatidão/F1 Testes: eval_metrics_reference.rs.
• VALIDATED AUC da ROC + IC por bootstrap separando anomalias reais rotuladas; detector transparente (reproduz os rótulos) Testes: opssat_ad_reference.rs.
• MODELLED Corpus sintético rotulado de degradações + estrutura de teste ROC/AUC/confusão/Pfa-Pmd agnóstica ao detector; proteção contra fuga de informação, divisão estratificada, relatório de otimismo por mudança de distribuição (dentro versus fora do regime).

As linhas que a própria execução exercitou, com a referência independente que a matriz dá a cada uma (as fontes públicas estão aí nomeadas):

• VALIDATED AUC (Mann-Whitney, empates ½), matriz de confusão no limiar, P_d/P_md/P_fa/precisão/exatidão/F1. Referência independente (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — biblioteca independente, coincidência exata
• MODELLED Determinista, com hash do cenário, SBOM + portões de referência multiplataforma. Referência independente (ExternalDataset): aderência à norma do SBOM ao esquema JSON oficial CycloneDX 1,5 (+ identificadores SPDX válidos) — uma norma externa publicada, zero erros de validação em todo o grafo de dependências; a parte de determinismo das FoM / reprodutibilidade byte a byte permanece uma verificação de autoconsistência fixada, pelo que a linha permanece MODELLED
• MODELLED Corpus sintético rotulado de degradações + estrutura de teste ROC/AUC/confusão/Pfa-Pmd agnóstica ao detector; proteção contra fuga de informação, divisão estratificada, relatório de otimismo por mudança de distribuição (dentro versus fora do r. Referência independente (InternalConsistency): Limites de AUC em forma fechada (Mann–Whitney) + um detector de referência independente perfeito; o corpus é SINTÉTICO (fundamentado em parâmetros, não dados de campo/IQ)

Limitações#

O que o próprio relatório da execução diz que não está modelado ou não está validado:

• MODELLED — corpus sintético fundamentado em parâmetros (nunca dados de campo/IQ); apenas características operacionais, sem veredito bom/mau (resultado label)
• Apenas características operacionais MODELLED — nunca dados de campo/IQ, sem veredito bom/mau. (catálogo de tipos de cenário (kshana kinds --json))
• ÂMBITO HONESTO: apenas características operacionais MODELLED. O corpus é sintético e fundamentado em parâmetros (composto a partir dos modelos de jamming/AGC/SQM/paridade do Kshana) — nunca capturas de campo ou IQ bruto. A estrutura de teste é um árbitro; ela indica características, não emite um veredito bom/mau. Execução: kshana scenarios/impairment-eval.toml (comentário do ficheiro de cenário, linhas 9 a 12)
• A reprodutibilidade e a garantia de software são MODELLED, não validadas: uma subafirmação é verificada externamente, mas a capacidade no seu conjunto compõe partes modeladas, pelo que a capacidade permanece modelada. (matriz de verificação (docs/MODELLED-RATIONALE.md))
• A avaliação de deteção de degradações de RF por aprendizagem automática (13494) é MODELLED, não validada: conferida contra a sua própria identidade analítica / de forma fechada — deteta erros de transcrição e de coeficientes, mas não é uma referência independente externa. (matriz de verificação (docs/MODELLED-RATIONALE.md))

Ver também#

• Página da família: Jamming, spoofing e o espetro
• Todos os tipos: KINDS.md
• Página do tópico: BENCH.md