Некоторые итоги закрытого бета-тестирования

Чем ЗБТ был нам полезен
1. Работа приложения в реальных условиях c реальными пользователями
  1. взаимодействие с боевыми сервисами 3х лиц
2. Понимание значимости функционала для достижения бизнес-целей клиента
  1. изначально часть таких сценариев считались не приоритетными
  2. понимание реальный пользовательский бизнес-сценариев
  3. обратная связь от клиентов, как улучшить наш продукт
3. Первые клиентские баги
  1. уникальные пользовательские конфигурации
  2. изначальное ориентирование на определенную клиентскую группу и платформу, связанную с обещаниями бизнеса
4. Проверка UX -гипотез
  1. Недоработки UX
    1. исправили / улучшили ряд сценариев/функций
  2. создание нового клиентского опыта
  3. изменение общепринятого
5. Построили процесс взаимодействия со службой тех. поддержки
  1. Регламент работы
  2. Обучение сотрудников
  3. Решение боевых задач
6. Моральная подготовка Команды к выходу в релиз
  1. ВАЖНО, когда над проектом работают команды профессионалов, объединенные единой целью и пониманием продукта
    1. продуктовая команда разработки
    2. менеджеры проекта
    3. команда продвиженцев
    4. команда тех поддержки
7. Понимание, что сейчас клиенты хотят от ЗБТ
  1. полностью рабочий продукт с частью нереализованного функционала, не влияющего на основные бизнес-сценарии
    1. несогласие в работой функций / частичная не реализация приводило отрицательной обратной связи, вплоть до решения отказа от продукта
8. Готовый продукт к релизу
Как мы смогли улучшить тестирование
1. Адаптация и улучшение сценариев регрессионного тестирования
2. Расширили набор тестовых данных
  1. учетки
    1. в соответствии с обновленными группами пользователей
  2. платформы
  3. новые типы данных
3. Доработка карточек для ТП
С какими основными проблемами мы столкнулись
1. Неожиданное использование системы
  1. новые сценарии
2. Сложная локализация клиентских багов, связанных с проблемами локальной криптоподписи
3. Устаревшие клиентские платформы
  1. маленькие разрешения, устаревшие ОС, странные криптопровайдеры
4. Несоответствие полученных бизнес требований и реальности
  1. несоответствие ожидаемых типов клиентов/ клиентских окружений реальности
5. Взаимодействие с менеджерами и продвиженцами продукта
6. Неготовность Команды одновременно вести разработку нового функционала и вести поддержку клиентов
  1. создание регламентов
7. Не все клиенты, участвующие в ЗБТ, были лояльными
Как ЗБТ сказалось на работе по итерациям
1. Увеличение t2m
  1. Требовалось выполнять работы как по поддержке продукта, решению проблем реальных клиентов, так и продолжать работы по созданию нового функционала по продукту
    1. Не был верно уменьшен объем итераций по разработке нового функционала
2. Высоконагруженные пререлизные/релизные дни
  1. Переработки
  2. Регресс системы + работа по багам клиентов,некоторые из которых требовали хотфиксов
3. Потеря фокуса у команды
Если мы сейчас бы выходили в ЗБТ, то
1. Рецепт подготовки к бета-тестированию: https://www.xmind.net/m/JvrB/
  1. система метрик
    1. создание сложных целей в Я.Метрике
  2. система алертинга
  3. форма обратной связи
  4. тестирование на боевых данных
  5. вопросы с безопасностью