Maschinelle Übersetzung, nicht von einem Muttersprachler geprüft. Englisch ist die maßgebliche Fassung.

Seiten zu den SzenariotypenAuf GitHub bearbeitenQuelle: docs/kinds/by-kind/impairment-eval.md

impairment-eval (Szenarioart)

Szenarioart der Engine v0.40.0, Familie Jamming, spoofing and the spectrum. Hinweis (beratend): Analyseausgabe eines Forschungs- und Engineering-Werkzeugs, keine typzugelassene Navigationsausrüstung und kein Safety-of-Life-Dienst. Jede Bezeichnung hier stammt von der Engine oder der Verifikationsmatrix; eine Szenarioart ist MODELLED, sofern die Matrix nichts anderes sagt (wie eine Bezeichnung erworben wird: der Abschnitt Evidence der README).

Was es tut#

Testumgebung zur Bewertung maschinellen Lernens bei der Erkennung von HF-Beeinträchtigungen (13494): Erzeugen eines beschrifteten, parametergestützten SYNTHETISCHEN Korpus (nominal/jamming/spoof-time/spoof-position/multipath), Bewerten eines Detektors (energy|agc|sqm|parity|fused) mit dem detektorunabhängigen Harness und Ausgeben von AUC/ROC/Konfusion + Pd je Klasse bei einer Ziel-Pfa sowie der Optimismuslücke zwischen In- und Out-of-Distribution. Nur MODELLED Betriebskennlinien — nie Feld-/IQ-Daten, kein Urteil gut/schlecht.

Ein Lauf von scenarios/impairment-eval.toml fasst sich so zusammen: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Eingaben#

Aus dem Schema (kshana kinds --json):

  • Pflichtfelder: keine
  • Optionale Felder: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Das Beispiel scenarios/impairment-eval.toml setzt unter anderem:

Feld Wert Einheit
detector fused Text
kind impairment-eval Text
meas_noise 0.6 nicht angegeben
n_per_class 200 Anzahl
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 nicht angegeben
seed 42 nicht angegeben
shift_severity_scale 0.5 1
target_pfa 0.05 1

Ausführen#

kshana scenarios/impairment-eval.toml

Was es liefert#

Die skalaren Ergebnisse dieses Laufs, mit den Einheiten, die die Engine angibt:

Ergebnis Wert Einheit
auc 0.997719 1
corpus.n_cases 1000 Anzahl
corpus.n_per_class 200 Anzahl
detector fused(max-z) Text
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out uses a subtler out-of-tuning-reg Text
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false Flag
distribution_shift.shift_severity_scale 0.5 1

Ergebnisbezeichnung (der Engine): MODELLED — synthetischer, parametergestützter Korpus (nie Feld-/IQ-Daten); nur Betriebskennlinien, kein Urteil gut/schlecht

Das Diagramm, das die Engine für scenarios/impairment-eval.toml schreibt, Szenarioart impairment-eval

Nachweise#

MODELLED 1 · VALIDATED 2: die Zeilen der Verifikationsmatrix, die diesen Typ nennen.

  • VALIDATED AUC (Mann-Whitney, Bindungen ½), Konfusionsmatrix an der Schwelle, P_d/P_md/P_fa/Präzision/Genauigkeit/F1 Tests: eval_metrics_reference.rs.
  • VALIDATED ROC-AUC + Bootstrap-Konfidenzintervall, das echte beschriftete Anomalien trennt; transparenter Detektor (reproduziert die Beschriftungen) Tests: opssat_ad_reference.rs.
  • MODELLED Beschrifteter synthetischer Beeinträchtigungskorpus + detektorunabhängiger ROC/AUC/Konfusion/Pfa-Pmd-Harness; Leakage-Schutz, stratifizierte Aufteilung, Optimismusbericht zur Verteilungsverschiebung (innerhalb vs. außerhalb des Regimes).

Die Zeilen, die der Lauf selbst ausgeübt hat, mit der unabhängigen Referenz, die die Matrix jeder gibt (die öffentlichen Quellen sind dort genannt):

  • VALIDATED AUC (Mann-Whitney, Bindungen ½), Konfusionsmatrix an der Schwelle, P_d/P_md/P_fa/Präzision/Genauigkeit/F1. Orakel (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — unabhängige Bibliothek, exakte Übereinstimmung
  • MODELLED Deterministisch, szenario-gehasht, SBOM- und plattformübergreifende Golden-Gates. Unabhängige Referenz (ExternalDataset): SBOM-Übereinstimmung mit dem offiziellen CycloneDX-1,5-JSON-Schema (+ gültige SPDX-Kennungen) — ein externer veröffentlichter Standard, null Validierungsfehler über den gesamten Abhängigkeitsgraphen; der Teil FoM-Determinismus / Byte-Reproduzierbarkeit bleibt eine festgelegte Selbstkonsistenzprüfung, daher bleibt die Zeile MODELLED
  • MODELLED Beschrifteter synthetischer Beeinträchtigungskorpus + detektorunabhängiger ROC/AUC/Konfusion/Pfa-Pmd-Harness; Leakage-Schutz, stratifizierte Aufteilung, Verteilungsverschiebung (innerhalb vs. außerhalb des Regimes. Orakel (InternalConsistency): AUC-Schranken in geschlossener Form (Mann–Whitney) + ein Detektor mit perfekter Referenz; der Korpus ist SYNTHETISCH (parametergestützt, keine Feld-/IQ-Daten)

Einschränkungen#

Was der eigene Bericht des Laufs als nicht modelliert oder nicht validiert nennt:

  • MODELLED — synthetischer, parametergestützter Korpus (nie Feld-/IQ-Daten); nur Betriebskennlinien, kein Urteil gut/schlecht (Ergebnis label)
  • MODELLED nur Betriebskennlinien — nie Feld-/IQ-Daten, kein Urteil gut/schlecht. (Szenarioarten-Katalog (kshana kinds --json))
  • EHRLICHER GELTUNGSBEREICH: nur MODELLED Betriebskennlinien. Der Korpus ist synthetisch und parametergestützt (zusammengesetzt aus den Jamming-/AGC-/SQM-/Parity-Modellen von Kshana) — nie Feldaufnahmen oder rohe IQ-Daten. Der Harness ist ein Schiedsrichter; er meldet Kennlinien, er fällt kein Urteil gut/schlecht. Ausführen: kshana scenarios/impairment-eval.toml (Kommentar in der Szenariodatei, Zeilen 9 bis 12)
  • Reproduzierbarkeit und Software-Assurance ist MODELLED, nicht validiert: Eine Teilbehauptung ist extern geprüft, aber die gesamte Fähigkeit setzt sich aus modellierten Teilen zusammen, daher bleibt die Fähigkeit modelliert. (Verifikationsmatrix (docs/MODELLED-RATIONALE.md))
  • Die Bewertung maschinellen Lernens bei der Erkennung von HF-Beeinträchtigungen (13494) ist MODELLED, nicht validiert: Sie wird gegen ihre eigene geschlossene bzw. analytische Identität geprüft - das fängt Übertragungs- und Koeffizientenfehler ab, ist aber keine externe unabhängige Referenz. (Verifikationsmatrix (docs/MODELLED-RATIONALE.md))

Siehe auch#