E2E-тесты: мало, но надёжно
Обычная история с e2e-тестами заканчивается так: команда пишет больше десятка тестов, они работают медленно и время от времени падают без причины. Через несколько месяцев кто-то отключает их в CI. Ещё через несколько месяцев их не запускает никто.
Это следствие двух проблем — медленности и нестабильности — и обе решаемы.
В этой статье я расскажу, как подхожу к e2e-тестам. Главная идея одна: мало тестов, но таких, которым можно доверять.
Сколько нужно e2e-тестов
Ответ меньше, чем ожидает большинство. По-моему, около десяти.
Причина в том, что e2e-тест дорог. Он медленный, склонен ломаться и требует поддержки. Поэтому каждый тест обязан оправдывать свою стоимость.
Какие оправдывают? Только потоки, ведущие к потере денег или доверия:
- Регистрация и вход
- Оплата или оформление заказа
- Основной поток создания данных (что бы это ни было в вашем продукте)
- Права доступа: невозможность попасть к данным другого пользователя
Всё остальное — для тестов более низкого уровня. Проверять e2e-тестом, что в форме выводится правильное сообщение валидации, значит тратить дорогой инструмент на дешёвую работу.
Проверочный вопрос простой: если этот поток сломается, должен ли я узнать об этом в течение часа? Если нет — e2e не нужен.
Селектор — основа стабильности
Самая частая причина flaky-тестов — неверный селектор.
Худший вариант — опираться на CSS-классы:
await page.click('.btn-primary.mt-4')Это сломается сразу, как только изменится дизайн. Имя класса — это внешний вид, а не поведение.
Второй плохой вариант — жёсткая привязка к тексту, особенно на многоязычном сайте. Сменился язык — тест упал.
Я расставляю приоритеты так.
В первую очередь — по роли и имени, то есть так, как элемент видит пользователь:
await page.getByRole('button', { name: /kirish|войти|sign in/i }).click()Это удобно ещё и тем, что попутно проверяет доступность: если элемент не находится, значит, он неочевиден и для программы чтения с экрана.
Во вторую — специальный тестовый атрибут:
<button data-testid="checkout-submit">Оформить заказ</button>await page.getByTestId('checkout-submit').click()Это самый стабильный вариант. Единственное условие — сохранять атрибут при изменении дизайна. В команде должно быть одно правило: data-testid никто не удаляет во время «уборки».
Настоящая причина flaky-тестов
Нестабильные тесты обычно считают «случайными». На практике они почти всегда происходят из одного: тест ждёт не то, что нужно, либо не ждёт того, что нужно.
Самая частая ошибка — жёсткая пауза:
await page.waitForTimeout(2000) // никогдаЭто плохо с обеих сторон. На медленной машине двух секунд не хватит, и тест упадёт. На быстрой вы впустую прождёте две секунды.
Правильный путь — ждать состояния, а не времени:
await expect(page.getByText('Заказ принят')).toBeVisible()Playwright в таких проверках ждёт автоматически и продолжает сразу, как условие выполнено.
Вторая распространённая причина — общее состояние между тестами. Данные, созданные одним тестом, влияют на другой, и при смене порядка всё рушится.
Правило: каждый тест сам создаёт нужные ему данные и сам их убирает. Тесты должны быть независимы — тогда их можно гонять и параллельно.
Третья причина — внешние сервисы. Если тест обращается к платёжной системе, её стабильность от вас не зависит. Такие границы нужно перехватывать:
await page.route('**/api/payment/**', (route) =>
route.fulfill({ json: { status: 'ok' } })
)Что делать с данными
Самый времязатратный вопрос в e2e — с какими данными работает тест.
Худшее решение — использовать общую тестовую базу. Данные со временем меняются, а тесты незаметно превращаются в лжецов.
Мне пригодились два подхода.
Первый — каждый тест создаёт свои данные, со случайным идентификатором:
const email = `test-${crypto.randomUUID()}@example.com`Это разделяет тесты и позволяет запускать их параллельно.
Второй — выполнять аутентификацию один раз. Логиниться в каждом тесте медленно. Playwright позволяет сохранить состояние сессии:
// один раз в setup-файле
await page.context().storageState({ path: 'auth.json' })
// затем в каждом тесте
test.use({ storageState: 'auth.json' })Обычно это то единственное изменение, которое ускоряет набор тестов сильнее всего.
Запуск в CI
Первое правило — не гонять e2e на каждый коммит. Они медленные, а ожидание пяти минут на каждый push прививает людям ненависть к тестам.
Я распределяю так: юнит- и интеграционные тесты — на каждый коммит; e2e — при открытии pull request и перед вливанием в основную ветку.
Второе правило — сохранять артефакты. Когда тест падает в CI, а у вас есть только текст ошибки, причину найти трудно. Playwright умеет автоматически сохранять видео, скриншоты и trace:
export default defineConfig({
use: {
trace: 'retain-on-failure',
video: 'retain-on-failure',
},
})Особенно полезен trace — он позволяет пошагово пересмотреть тест. Это сокращает время разбора падений в CI в несколько раз.
Третье правило — осторожно с повторами. Один повтор в CI допустим: он гасит сетевые сбои. Но если тест стабильно проходит только со второй попытки — это проблема, которую нужно чинить, а не прятать.
Я ставлю для этого простое правило: тест, дважды за неделю прошедший только с повтора, должен быть либо починен, либо удалён. Тест, которому нельзя доверять, хуже отсутствия теста, потому что даёт ложную уверенность.
С чего начать
Если e2e-тестов у вас сейчас нет, начните так:
- Выберите один самый важный поток. Обычно это регистрация или оплата.
- Напишите его просто, с
data-testid. - Запускайте в CI на стадии pull request.
- Проживите с этим месяц. Если тест ни разу не упал — это хороший знак, он вас страхует.
- Добавьте второй поток.
Дойдя до десяти тестов, остановитесь и спросите: какие из них за последние полгода поймали реальную ошибку? Тесты, на которые ответа нет, удалите.
Цель набора e2e-тестов — не покрытие. Цель — сократить время ручной проверки перед релизом. Если набор не даёт вам уверенности, что основное работает, он не выполняет свою задачу — сколько бы тестов в нём ни было.