Tłumaczenie maszynowe, niezweryfikowane przez osobę, dla której polski jest językiem ojczystym. Wzorcem jest wersja angielska.

Strony rodzajów scenariuszyEdytuj na GitHubieŹródło: docs/kinds/by-kind/impairment-eval.md

impairment-eval (rodzaj scenariusza)

Rodzaj scenariusza silnika v0.40.0, rodzina Zagłuszanie (jamming), spoofing i widmo. Wyłącznie doradczo: wynik analizy z narzędzia badawczo-inżynieryjnego; nie jest to sprzęt nawigacyjny z zatwierdzeniem typu ani usługa bezpieczeństwa życia. Każda etykieta tutaj pochodzi z silnika lub z macierzy weryfikacji; rodzaj jest MODELLED, chyba że macierz stanowi inaczej (jak zdobywa się etykietę: sekcja Evidence w README).

Co robi#

Stanowisko oceny detekcji zakłóceń RF metodami uczenia maszynowego (13494): generuje oznaczony, oparty na parametrach korpus SYNTETYCZNY (nominalny/zagłuszanie/spoof-time/spoof-position/wielodrogowość), ocenia detektor (energy|agc|sqm|parity|fused) przy użyciu niezależnego od detektora zestawu testowego i podaje AUC/ROC/macierz pomyłek + Pd dla każdej klasy przy docelowym Pfa, a także lukę optymizmu między danymi z rozkładu a spoza rozkładu. Wyłącznie charakterystyki działania MODELLED — nigdy dane terenowe/IQ, żadnego werdyktu dobry/zły.

Jeden przebieg scenarios/impairment-eval.toml podsumowuje się tak: impairment-eval | detector fused(max-z) | AUC 0,998 in / 0,981 out (gap 0,017) | Pd 0,99 Pfa 0,05 @ target 0,05 | 1000 cases | MODELLED synthetic

Wejścia#

Ze schematu (kshana kinds --json):

  • Pola wymagane: brak
  • Pola opcjonalne: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Przykład scenarios/impairment-eval.toml ustawia między innymi:

Pole Wartość Jednostka
detector fused tekst
kind impairment-eval tekst
meas_noise 0.6 nie podano
n_per_class 200 liczba
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 nie podano
seed 42 nie podano
shift_severity_scale 0.5 1
target_pfa 0.05 1

Uruchom#

kshana scenarios/impairment-eval.toml

Co daje#

Wyniki skalarne tego przebiegu, z jednostkami podanymi przez silnik:

Wynik Wartość Jednostka
auc 0.997719 1
corpus.n_cases 1000 liczba
corpus.n_per_class 200 liczba
detector fused(max-z) tekst
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out używa subtelniejszego out-of-tuning-reg tekst
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false flaga
distribution_shift.shift_severity_scale 0.5 1

Etykieta wyniku (silnika): MODELLED — syntetyczny korpus oparty na parametrach (nigdy dane terenowe/IQ); wyłącznie charakterystyki działania, żadnego werdyktu dobry/zły

Wykres zapisany przez silnik dla scenarios/impairment-eval.toml, rodzaj impairment-eval

Dowody#

MODELLED 1 · VALIDATED 2: wiersze macierzy weryfikacji, które wymieniają ten rodzaj.

  • VALIDATED AUC (Mann-Whitney, remisy ½), macierz pomyłek przy progu, P_d/P_md/P_fa/precyzja/dokładność/F1 Testy: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + przedział ufności bootstrap rozdzielający rzeczywiste oznaczone anomalie; przejrzysty detektor (odtwarza etykiety) Testy: opssat_ad_reference.rs.
  • MODELLED Oznaczony syntetyczny korpus zakłóceń + niezależny od detektora zestaw ROC/AUC/macierz pomyłek/Pfa-Pmd; ochrona przed wyciekiem, podział warstwowy, raport optymizmu przy przesunięciu rozkładu (w reżimie a poza reżimem).

Wiersze, które sam przebieg wykorzystał, wraz z wyrocznią, jaką macierz podaje dla każdego (publiczne źródła są tam wymienione):

  • VALIDATED AUC (Mann-Whitney, remisy ½), macierz pomyłek przy progu, P_d/P_md/P_fa/precyzja/dokładność/F1. Wyrocznia (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — niezależna biblioteka, dokładne dopasowanie
  • MODELLED Deterministyczne, haszowane na poziomie scenariusza, bramki SBOM i złotych wyników między platformami. Wyrocznia (ExternalDataset): zgodność SBOM z oficjalnym schematem JSON CycloneDX 1,5 (+ prawidłowe identyfikatory SPDX): zewnętrzny opublikowany standard, zero błędów walidacji w całym grafie zależności; część dotycząca determinizmu wskaźników jakości i odtwarzalności bajt w bajt pozostaje przypiętą kontrolą samospójności, więc wiersz pozostaje MODELLED
  • MODELLED Oznaczony syntetyczny korpus zakłóceń + niezależny od detektora zestaw ROC/AUC/macierz pomyłek/Pfa-Pmd; ochrona przed wyciekiem, podział warstwowy, przesunięcie rozkładu (w reżimie a poza reżimem. Wyrocznia (InternalConsistency): zamknięte granice AUC (Mann–Whitney) + detektor będący doskonałą wyrocznią; korpus jest SYNTETYCZNY (oparty na parametrach, nie dane terenowe/IQ)

Ograniczenia#

Co raport samego przebiegu podaje jako niemodelowane lub niesprawdzone względem niezależnego wzorca:

  • MODELLED — syntetyczny korpus oparty na parametrach (nigdy dane terenowe/IQ); wyłącznie charakterystyki działania, żadnego werdyktu dobry/zły (wynik label)
  • Wyłącznie charakterystyki działania MODELLED — nigdy dane terenowe/IQ, żadnego werdyktu dobry/zły. (katalog rodzajów (kshana kinds --json))
  • UCZCIWY ZAKRES: wyłącznie charakterystyki działania MODELLED. Korpus jest syntetyczny i oparty na parametrach (złożony z modeli zagłuszania/AGC/SQM/parity Kshana) — nigdy zapisy terenowe ani surowe IQ. Zestaw testowy jest sędzią; podaje charakterystyki, nie wydaje werdyktu dobry/zły. Uruchom: kshana scenarios/impairment-eval.toml (komentarz w pliku scenariusza, wiersze 9 do 12)
  • Odtwarzalność i zapewnienie jakości oprogramowania jest MODELLED, nie jest sprawdzona względem niezależnego wzorca: jedno twierdzenie składowe jest sprawdzone zewnętrznie, ale cała możliwość składa się z elementów obliczonych na podstawie modelu, więc pozostaje obliczona na podstawie modelu. (macierz weryfikacji (docs/MODELLED-RATIONALE.md))
  • Ocena detekcji zakłóceń RF metodami uczenia maszynowego (13494) jest MODELLED, nie jest sprawdzona względem niezależnego wzorca: sprawdzona względem własnej tożsamości w postaci zamkniętej / analitycznej, wychwytuje błędy transkrypcji i współczynników, ale nie jest zewnętrzną wyrocznią. (macierz weryfikacji (docs/MODELLED-RATIONALE.md))

Zobacz też#