Кейс / Корпоративное обучение кибербезопасности
Разбор результатов симуляций и обучения
Администратор программы киберобучения проверяет реакции на тестовые письма и прохождение курсов. Я переработал отчёты, чтобы он различал события, находил нужные учебные записи и обоснованно выбирал дальнейшие действия.
01
Проблема
В компаниях сотрудникам отправляют тестовые фишинговые письма и назначают обучение. Администратор проверяет, кто перешёл по ссылке, кто сообщил о письме и кто ещё не закончил курс.
В прежних отчётах эти сведения приходилось сопоставлять по отдельности. Число получателей не объясняло их действий, а статус кампании не показывал, прошёл ли обучение конкретный человек.
Я руководил переработкой отчётности и спроектировал основные представления. Сосредоточился на одном эпизоде: помочь администратору проверить реакцию сотрудника и его обучение, прежде чем выбирать дальнейшие действия.
02
Исследование
Задача продукта
Понять, чьё обучение нужно проверить
Дать администратору сведения о реакции человека, назначенном обучении и сроках. Решение о дальнейшем обучении остаётся за специалистом.
Разобрал с администраторами работу после симуляции: как они находят участников, проверяют обучение и готовят отчёт. В заданиях просил объяснить события, выбрать условия отбора и определить кампанию, требующую внимания.
В первом раунде проверял ход рассуждений, во втором повторно смотрел понятность уточнённой структуры. Основным критерием был обоснованный следующий шаг, а не число открытых страниц.
- Администраторов
- 6
- Те же участники прошли два раунда; повторный просмотр не считался новой выборкой.
- Задания
- 3
- Разобрать реакцию, выбрать отбор обучения и проверить прогресс кампании.
- Интервью
- Разбор отчётов
- Карта пути
- Два раунда проверки
При чтении результатов я сверялся с исследованиями NIST. Они помогли отделить прохождение курса от поведения человека и не объяснять все изменения одной цифрой.
Результат зависит от самого письма
NIST Phish Scale учитывает сложность письма для его аудитории. Поэтому снижение переходов по тестовым ссылкам я описал как результат программы, не приравнивая его к снижению реальных атак.
Обучение и поведение измеряются отдельно
NIST SP 800-50r1 рассматривает прохождение обучения и поведенческие показатели отдельно. Я сохранил разные отчёты для завершения курсов и действий в симуляции, связав их задачей администратора.
03
Инсайты
Повторные клики не означают новых людей
Один сотрудник может перейти по ссылке несколько раз. Для дальнейшей проверки важно сначала найти человека, а число его действий разбирать отдельно.
ОснованиеВ карточке кампании есть Clicked, в раскрытой строке отдельно показан Number of Clicks.
Сообщение о письме не отменяет перехода
У одного сотрудника могут быть отмечены и переход по ссылке, и сообщение о подозрительном письме. Один итог «прошёл или не прошёл» скрывает одну из этих реакций.
ОснованиеВ строке участника Clicked и Reported могут быть отмечены одновременно.
Завершение кампании не равно завершению обучения
Состояние кампании и прогресс сотрудников отвечают на разные вопросы. Чтобы понять, кого проверить, администратору нужны записи об обучении конкретных людей.
ОснованиеВ списке кампаний разделены Status и Users progress; в учебном отчёте есть сотрудник, курс и статус.
04
Задачи и гипотезы
Сформулировал две задачи администратора и проверил, помогают ли отчёты подготовить следующий шаг.
Гипотеза бизнеса
От результата к дальнейшей проверке
Если администратор сможет сопоставить реакцию человека в симуляции с его обучением, то он обоснованно выберет, чьи записи проверить дальше, не назначая всем одинаковые действия.
- Основание
- Сводка кампании показывает масштаб, но не заменяет проверку реакции человека и его учебных записей.
- Как проверил
- Просил выбрать, чьи записи проверить, и объяснить причину. Решение засчитывалось при верном чтении события и выборе нужного учебного отчёта. Если выбор опирался только на общее число кликов, гипотеза не поддерживалась.
Поддержана в задаче
В повторном просмотре 5 из 6 администраторов объяснили, кого и по каким данным проверят дальше. Автоматическое назначение обучения в этот эпизод не входило.
Решение в интерфейсе
Разделил обзор, события человека и его обучение. Оставил выбор дальнейшего действия за администратором.
Гипотезы интерфейса
Считать людей отдельно от действий
Если реакции участников будут видны в строке, а повторные клики в её подробностях, то администратор отличит число людей от числа действий и учтёт обе реакции, когда отмечены Clicked и Reported.
- Основание
- Один участник может кликнуть несколько раз и одновременно попасть в число сообщивших о письме.
- Как проверил
- Просил назвать число перешедших людей, число кликов выбранного участника и его другие реакции. Ответ засчитывался только при различении этих величин; смешение требовало пересмотреть подписи.
Поддержана в проверке
Все 6 участников различили показатель Clicked, число повторных кликов и отметку Reported.
Решение в интерфейсе
В сводке и строке оставил реакции участников, а технические подробности и число кликов поместил в раскрытие.
Проверять обучение выбранного человека
Если в учебном отчёте будут фильтры по человеку и статусу рядом с курсом и кампанией, то администратор выберет условия для проверки незавершённого обучения нужного сотрудника.
- Основание
- Переход по тестовой ссылке сам по себе не показывает, был ли человеку назначен курс и закончил ли он его.
- Как проверил
- Просил указать поля для отбора нужного человека и незавершённого обучения. Проверял выбор фильтров, не считал простое открытие отчёта выполнением задачи. При пропуске одного условия пересматривал панель отбора.
Поддержана в выборе условий
5 из 6 участников без подсказки выбрали Users и Status. Один ограничился статусом и получил бы записи лишних людей.
Решение в интерфейсе
Собрал Campaign name, Groups, Users и Status в одной панели; рядом оставил применение и сброс условий.
Проверять прогресс до открытия кампании
Если в строке кампании показать её состояние, прогресс людей и дату окончания раздельно, то администратор определит, какую кампанию разобрать первой, не приняв её статус за результат обучения.
- Основание
- Статус кампании описывает её жизненный цикл. Сам факт завершения кампании не подтверждает завершение курсов каждым сотрудником.
- Как проверил
- Просил выбрать кампанию для проверки и объяснить роль статуса, прогресса и срока. Ответ без различения состояния кампании и обучения не засчитывался. Повторное смешение требовало уточнить термин.
Поддержана частично
5 из 6 участников различили состояние кампании и прогресс людей. Одному потребовалось пояснение слова Completed.
Решение в интерфейсе
Сохранил отдельные Status, Users progress и End Date. Для проверки конкретных людей использовал учебный отчёт, не общий статус кампании.
05
Путь пользователя
Карта показывает прежнюю работу администратора и мои решения для разбора симуляции и проверки обучения.
- Роль
- Администратор программы киберобучения
- Ситуация и цель
- Разобрать реакции на тестовое письмо и определить, чьё обучение проверить дальше.
-
Оценить общую картину
- Цель
- Выбрать, какие результаты разбирать.
- Действия и контакты
- Собирает числа из отдельных отчётов по обучению и симуляциям.Отдельные сводки
- Затруднение
- Отдельные числа не объясняют действия людей.
- Что нужно
- Обзор с переходом к предметному разбору.
- Моё решение
- Разделил общие сводки и подробные записи.
- Экраны
-
Найти реакции участников
- Цель
- Понять, кто отреагировал на письмо.
- Действия и контакты
- Ищет человека в списке адресатов и сопоставляет сведения из отчётов.Список адресатов / отчёты
- Затруднение
- Получателя письма можно принять за кликнувшего.
- Что нужно
- Разные события рядом с человеком.
- Моё решение
- Показал Delivered, Opened, Clicked и Reported отдельно.
- Экраны
-
Уточнить событие
- Цель
- Различить человека и повторные действия.
- Действия и контакты
- Уточняет события по выбранному участнику, сверяя отдельные записи.Записи событий / выгрузки
- Затруднение
- Несколько кликов могут выглядеть как несколько людей.
- Что нужно
- Подробности выбранной записи.
- Моё решение
- Поместил Number of Clicks и технические поля в раскрытие.
- Экраны
-
Сверить обучение
- Цель
- Понять, какие записи человека проверить.
- Действия и контакты
- Сопоставляет участника с записями в отдельном учебном отчёте.Участники / учебный отчёт
- Затруднение
- Реакция на письмо не описывает прохождение курса.
- Что нужно
- Отбор по человеку и обучению.
- Моё решение
- Собрал Users, Status, курс и кампанию в одном отчёте.
- Экраны
-
Проверить кампанию и срок
- Цель
- Определить приоритет дальнейшего разбора.
- Действия и контакты
- Открывает кампании по очереди и уточняет прогресс и сроки.Кампании / учебные записи
- Затруднение
- Завершение кампании можно спутать с обучением всех людей.
- Что нужно
- Отдельные показатели и срок.
- Моё решение
- Добавил Status, Users progress и End Date в строку.
- Экраны
-
Подготовить данные для обсуждения
- Цель
- Передать основание дальнейшей проверки.
- Действия и контакты
- Сводит нужные записи и убирает посторонние перед обсуждением.Выбранные записи / рабочая таблица
- Затруднение
- Общий отчёт захватывает посторонние записи.
- Что нужно
- Понятные условия отбора рядом с экспортом.
- Моё решение
- Оставил фильтры и выгрузку в одном представлении.
- Экраны
В новом пути администратор сам переходит между разделами и выбирает условия отбора. Карта заканчивается подготовкой проверки; автоматическое назначение курсов здесь не показано.
06
Решения в интерфейсе
Четыре представления отвечают на разные вопросы администратора. Он сам сопоставляет человека и учебные записи, переходя между разделами.
Обзор программы
На дашборде оставил динамику, сводку обучения и карту поведения по подразделениям. Общий показатель помогает выбрать направление разбора, но не заменяет события конкретных людей.
События выбранного человека
В строке разделил реакции на письмо. Устройство, браузер, местоположение и число кликов показываются при раскрытии, сохраняя основной список компактным. Clicked и Reported не объединяются в один итог.
Отбор учебных записей
Поставил Campaign name, Groups, Users и Status рядом с таблицей. В строке видны человек, курс, дата зачисления, кампания и состояние обучения. На макете показаны средства отбора, а не автоматически собранная группа.
Контроль учебных кампаний
Вынес в список состояние, прогресс и дату окончания. Меню строки даёт доступ к Preview и Edit, а создание новой кампании остаётся отдельным действием. Сам мастер назначения и запуска не входит в эти экраны.
Экраны по этапам
Выберите экран или листайте ряд. Каждый макет можно открыть целиком.
07
Проверка дизайна
Проверял три продуктовых различия: люди и повторные события, реакция на письмо и прохождение курса, состояние кампании и прогресс сотрудников. Просил объяснить выбор, а не просто найти кнопку.
Люди и повторные действия
- Затруднение
- По одному общему числу нельзя понять, сколько людей перешли по ссылке и сколько раз это сделал выбранный человек.
- Что изменил
- Я разделил реакции в сводке и строке, а Number of Clicks поместил в раскрытие. В повторном просмотре все 6 участников различили эти величины и отдельно учли Reported.
Реакция и обучение
- Затруднение
- Переход по ссылке не говорит, назначался ли сотруднику курс и завершил ли он его. Администратор мог выбрать слишком широкий отчёт.
- Что изменил
- Я собрал Users и Status рядом с человеком, курсом и кампанией. 5 из 6 участников выбрали человека и состояние обучения как отдельные условия; один оставил слишком широкий отбор.
Кампания и прогресс людей
- Затруднение
- Слово Completed можно прочитать как подтверждение, что все прошли обучение. Состояние кампании и прогресс людей требуют раздельного чтения.
- Что изменил
- Состояние кампании, прогресс людей и срок я показал раздельно. 5 из 6 участников объяснили различие, одному потребовалось пояснение. Для проверки завершения курса я оставил отдельный учебный отчёт с записями человека.
08
Результаты
Я связал разбор симуляции с проверкой обучения через понятные уровни: программа, кампания и человек. Администратор видит основания для следующего шага; решение о дальнейшем обучении остаётся за ним.
На первом дизайн-ревью обсуждали смысл событий и границы отчётов. Со второго показа согласовали структуру, поля и общие элементы, после чего я сопровождал реализацию и проверял состояния с командой.
За три квартала после запуска доля переходов по тестовым ссылкам снизилась с 27% до 6%, завершение обучения в срок выросло с 58% до 91%, а настройка и запуск кампании занимали 16 минут вместо 45.
- Люди, перешедшие по тестовой ссылке
- До изменений27%Три квартала после запуска6%На 21 п.п. меньше
- Участники одной симуляции, перешедшие по тестовой ссылке хотя бы раз, относительно всех её участников. Единица учёта: человек в конкретной симуляции; повторные клики не увеличивают число людей.
- Завершили обучение в срок
- До изменений58%Три квартала после запуска91%На 33 п.п. больше
- Сотрудники, завершившие назначенное обучение к сроку, относительно всех назначенных на него сотрудников, чей срок наступил в отчётном окне. Просроченные незавершённые записи остаются в знаменателе.
- Настроить и запустить кампанию
- До изменений45Три квартала после запуска16мин На 29 минут меньше
- От начала настройки до запуска одной кампании. Это время всего сценария подготовки, не время прохождения курса сотрудником.
Показатели описывают программу за три квартала после запуска. На реакции людей влияют также сложность писем, обучение и состав участников, поэтому сравнение не выделяет вклад интерфейса. Меньше переходов в симуляции не означает такое же снижение реальных атак. Время запуска относится ко всему сценарию подготовки кампании.
