Машинный перевод, не проверенный носителем языка. Эталоном служит английская версия.

Страницы видов сценариевПравить на GitHubИсточник: docs/kinds/by-kind/impairment-eval.md

impairment-eval (вид сценария)

Вид сценария движка v0.40.0, семейство Подавление, спуфинг и спектр. Носит консультативный характер: результат анализа исследовательского и инженерного инструмента; это не навигационное оборудование с утверждённым типом и не служба обеспечения безопасности жизни. Все обозначения здесь принадлежат движку или матрице верификации; вид относится к уровню MODELLED, если матрица не указывает иное (как заслуживается обозначение: раздел Evidence в README).

Что делает#

Испытательный стенд оценки машинного обнаружения RF-нарушений (13494): генерирует размеченный, обоснованный параметрами СИНТЕТИЧЕСКИЙ корпус (nominal/jamming/spoof-time/spoof-position/multipath), оценивает детектор (energy|agc|sqm|parity|fused) универсальной по отношению к детектору обвязкой и сообщает AUC/ROC/матрицу ошибок + Pd по классам при целевом Pfa, а также разрыв оптимизма между данными внутри и вне распределения. Только рабочие характеристики MODELLED — никогда не полевые данные/IQ, без вердикта «хорошо/плохо».

Один прогон scenarios/impairment-eval.toml кратко выглядит так: impairment-eval | детектор fused(max-z) | AUC 0,998 внутри / 0,981 вне (разрыв 0,017) | Pd 0,99 Pfa 0,05 @ цель 0,05 | 1000 случаев | MODELLED синтетический

Входные параметры#

Из схемы (kshana kinds --json):

  • Обязательные поля: нет
  • Необязательные поля: seed, n_per_class, nominal_cn0_dbhz, meas_noise, detector, target_pfa, shift_severity_scale, optimism_tol

Пример scenarios/impairment-eval.toml задаёт, среди прочего:

Поле Значение Единица
detector fused текст
kind impairment-eval текст
meas_noise 0.6 не указано
n_per_class 200 число
nominal_cn0_dbhz 45 dB-Hz
optimism_tol 0.05 не указано
seed 42 не указано
shift_severity_scale 0.5 1
target_pfa 0.05 1

Запустите#

kshana scenarios/impairment-eval.toml

Что он даёт#

Скалярные результаты этого прогона с единицами, которые указывает движок:

Результат Значение Единица
auc 0.997719 1
corpus.n_cases 1000 число
corpus.n_per_class 200 число
detector fused(max-z) текст
distribution_shift.auc_in 0.997719 1
distribution_shift.auc_out 0.981131 1
distribution_shift.note auc_out использует более тонкое выходящее за пределы настройки reg текст
distribution_shift.optimism_gap 0.016587 1
distribution_shift.optimistic false флаг
distribution_shift.shift_severity_scale 0.5 1

Обозначение результата (от движка): MODELLED — синтетический корпус, обоснованный параметрами (никогда не полевые данные/IQ); только рабочие характеристики, без вердикта «хорошо/плохо»

График, который движок строит для scenarios/impairment-eval.toml, вид impairment-eval

Доказательства#

MODELLED 1 · VALIDATED 2: строки матрицы верификации, называющие этот вид.

  • VALIDATED AUC (Манна — Уитни, совпадения ½), матрица ошибок при пороге, P_d/P_md/P_fa/точность (precision)/доля верных (accuracy)/F1. Тесты: eval_metrics_reference.rs.
  • VALIDATED ROC AUC + бутстреп-ДИ, разделяющие реальные размеченные аномалии; прозрачный детектор (воспроизводит метки). Тесты: opssat_ad_reference.rs.
  • MODELLED Размеченный синтетический корпус нарушений + универсальная по отношению к детектору обвязка ROC/AUC/матрица ошибок/Pfa-Pmd; защита от утечек, стратифицированное разбиение, отчёт об оптимизме при сдвиге распределения (внутри и вне режима).

Строки, которые задействовал сам прогон, с оракулом, который указывает им матрица (публичные источники названы там):

  • VALIDATED AUC (Манна — Уитни, совпадения ½), матрица ошибок при пороге, P_d/P_md/P_fa/точность (precision)/доля верных (accuracy)/F1. Оракул (ExternalDataset): scikit-learn 1.9.0 (Pedregosa et al., JMLR 2011) — независимая библиотека, точное совпадение
  • MODELLED Детерминированные, хешируемые по сценарию, SBOM и кроссплатформенные эталонные проверки (golden). Оракул (ExternalDataset): соответствие SBOM официальной схеме JSON CycloneDX 1,5 (плюс допустимые идентификаторы SPDX) — внешний опубликованный стандарт, ноль ошибок валидации на всём графе зависимостей; часть о детерминизме FoM и побайтной воспроизводимости остаётся закреплённой проверкой внутренней согласованности, поэтому строка остаётся MODELLED
  • MODELLED Размеченный синтетический корпус нарушений + универсальная по отношению к детектору обвязка ROC/AUC/матрица ошибок/Pfa-Pmd; защита от утечек, стратифицированное разбиение, сдвиг распределения (внутри и вне режима. Оракул (InternalConsistency): замкнутые границы AUC (Манна — Уитни) + идеальный детектор-оракул; корпус СИНТЕТИЧЕСКИЙ (обоснован параметрами, не полевые данные/IQ)

Ограничения#

Что отчёт самого прогона называет не смоделированным или не проверенным:

  • MODELLED — синтетический корпус, обоснованный параметрами (никогда не полевые данные/IQ); только рабочие характеристики, без вердикта «хорошо/плохо» (результат label)
  • Только рабочие характеристики MODELLED — никогда не полевые данные/IQ, без вердикта «хорошо/плохо». (каталог видов (kshana kinds --json))
  • ЧЕСТНЫЕ РАМКИ: только рабочие характеристики MODELLED. Корпус синтетический и обоснован параметрами (составлен из моделей подавления/AGC/SQM/чётности Kshana) — никогда не полевые записи и не необработанные IQ. Обвязка — арбитр; она сообщает характеристики и не выносит вердикта «хорошо/плохо». Запуск: kshana scenarios/impairment-eval.toml (комментарий в файле сценария, строки 9–12)
  • Воспроизводимость и гарантии качества ПО — MODELLED, а не validated: одно из частных утверждений проверено извне, но вся возможность составлена из смоделированных частей, поэтому возможность остаётся Modelled. (матрица верификации (docs/MODELLED-RATIONALE.md))
  • Оценка машинного обнаружения RF-нарушений (13494) относится к уровню MODELLED и не проверена независимо: она проверена по собственному замкнутому / аналитическому тождеству — это выявляет ошибки переписывания и коэффициентов, но не является внешним оракулом. (матрица верификации (docs/MODELLED-RATIONALE.md))

См. также#