Тестирование с ИИ: воспроизвести баг и назвать причину, а не только симптом
Браузерный агент для исследовательского тестирования: воспроизводит сбойный сценарий, читает консоль и сеть, и выдаёт ранжированный диагноз вместо скриншота.
ИИ-агент для тестирования проходит реальный пользовательский сценарий и, когда тот падает, сопоставляет состояние страницы с ошибками консоли, сетевыми запросами и данными о производительности, чтобы объяснить причину сбоя. Он дополняет детерминированные тесты, а не заменяет их: используй его для исследовательского покрытия и диагностики, а тесты с фиксированным сценарием оставь для регрессионных проверок.
Скриншот не даёт диагноза
Визуальное тестирование говорит, что кнопка не сработала. Но почти никогда не объясняет почему. Полезный ответ больше похож на «клик сработал, /api/checkout вернул 500 через 2,1 секунды, и вот этот стек в консоли указывает на неисправный обработчик», чем на «страница оформления заказа выглядит неправильно».
Для этого нужно объединить три вещи, которые человек обычно проверяет по отдельности: что сделала страница, что показала консоль и что видно в сети.
- Воспроизводит сценарий входа, оформления заказа, загрузки файла или формы от начала до конца
- Читает ошибки консоли и повторяющиеся предупреждения, не захламляя протокол
- Проверяет статус запросов, тайминги и заголовки, скрывая конфиденциальные значения
- Ранжирует вероятные причины проблем с производительностью, а не просто выгружает полную диаграмму запросов
Что он не заменяет
Агенты не заменяют детерминированные регрессионные тесты. Тест, который должен выдавать одинаковый результат при каждом коммите, должен быть зафиксирован в виде сценария. Используй агентов там, где важно разнообразие: для исследовательских прогонов, разовых воспроизведений сбоев и объяснения проблемы, которую потом исправляет человек.
Различия между браузерами не скрываются, а указываются явно
Браузеры на Chromium предоставляют протокол отладки, которого нет у Firefox, поэтому тела ответов и часть замеров производительности доступны в Chrome, Edge и других браузерах на Chromium, но не в Firefox. Melaya прямо указывает на это различие, а не выдаёт неполный отчёт за полный.
Часто задаваемые вопросы
Может ли он заменить мой набор тестов?
Нет. Сохраняй детерминированные тесты для регрессионных проверок. Агент добавляет исследовательское покрытие и, что полезнее, объяснение, когда что-то ломается.
Видит ли он данные консоли и сети?
Да, с сокрытием конфиденциальных значений. Chrome и Edge также предоставляют тела ответов и более полный отчёт о производительности, а Firefox открывает меньше данных, и это ограничение отмечается в результате.
Может ли он тестировать staging-сайт, защищённый логином?
Да, используя сессию в твоём собственном браузере, на вкладке, к которой ты подключился.
