Архитектура загрузки файлов: убрать сервер из потока
Самая простая форма загрузки файлов выглядит так: пользователь отправляет форму, файл приходит на ваш сервер, вы перекладываете его в хранилище.
Это работает и на небольших проектах хватает надолго. Но здесь есть архитектурная проблема: каждый байт проходит через ваш сервер.
Если десять пользователей одновременно загрузят видео по 20 МБ, ваше приложение будет занято приёмом 200 МБ, удержанием их в памяти или на диске и последующей пересылкой. Всё это время оно не отвечает на другие запросы.
В этой статье — о том, как убрать сервер из этого потока.
Подписанный URL: основная идея
Решение простое: сервер не принимает файл, он только выдаёт разрешение.
Поток состоит из трёх шагов:
- Клиент спрашивает сервер: «я хочу загрузить вот такой файл».
- Сервер проверяет и возвращает временный подписанный адрес.
- Клиент отправляет файл напрямую в хранилище.
На стороне сервера это выглядит так:
app.post('/uploads/sign', async (c) => {
const user = await requireUser(c)
const { contentType, size } = await c.req.json()
if (!ALLOWED.has(contentType)) return c.json({ error: 'type' }, 400)
if (size > MAX_SIZE) return c.json({ error: 'size' }, 400)
const key = `uploads/${user.id}/${crypto.randomUUID()}`
const url = await storage.getSignedUploadUrl(key, {
contentType,
expiresIn: 300,
})
return c.json({ url, key })
})Сервер работает с JSON в несколько килобайт, а файл его вообще не касается. Как бы ни росла нагрузка, состояние сервера не меняется.
Две важные детали
Подпись должна быть короткоживущей. Пяти минут достаточно. Долгоживущий подписанный URL — это фактически открытая дверь: кто им завладеет, тот и загрузит.
Ключ формирует сервер. Не используйте пришедшее от клиента имя файла как ключ. Это порождает два риска: игры с путями (вроде ../) и перезапись чужого файла. Используйте случайный идентификатор, а исходное имя храните отдельным полем в базе.
Валидация: не доверяйте клиенту
В коде выше я проверяю тип и размер файла. Но это значения, которые сообщил клиент.
Настоящая проверка должна происходить после загрузки.
Для размера можно поставить ограничение на стороне хранилища — многие сервисы позволяют задать максимальный размер прямо в подписи. Это самый надёжный путь, потому что ограничение действует во время загрузки.
А типу нельзя доверять ни по расширению, ни по тому, что сказал клиент. И то и другое легко подделать. Правильный способ — прочитать несколько первых байт файла и определить настоящий формат:
const head = await storage.readRange(key, 0, 16)
const realType = detectType(head) // по «магическим» байтам
if (!ALLOWED.has(realType)) {
await storage.delete(key)
throw new Error('тип файла не совпадает')
}Это особенно важно, потому что файл с именем .jpg может оказаться чем-то другим, и если вы потом его используете — например, отдадите пользователю — это превращается в проблему безопасности.
Дополнительная защита: отдавайте загруженные файлы с отдельного домена. Тогда даже вредоносный файл не выполнится в контексте вашего основного сайта.
Проблема осиротевших файлов
Это самое частое забываемое следствие прямой загрузки.
Клиент получил подпись, загрузил файл — и закрыл браузер. Файл лежит в хранилище, но ссылки на него в вашей базе нет. Он никогда не будет использован и никогда не будет удалён.
Через несколько месяцев в хранилище накапливаются никому не нужные гигабайты.
Решение — состояние из двух этапов:
create table files (
id uuid primary key,
key text not null unique,
owner_id uuid not null,
status text not null default 'pending', -- pending | confirmed
created_at timestamptz not null default now()
);При выдаче подписи создаётся строка pending. Закончив загрузку, клиент сообщает серверу, и строка становится confirmed.
Дальше простой уборщик:
select key from files
where status = 'pending' and created_at < now() - interval '24 hours';Эти строки вы удаляете и из хранилища, и из базы. Достаточно запускать раз в сутки.
Этот этап нужно делать сразу. Добавить его потом трудно, потому что придётся перебирать всю базу, чтобы понять, какой файл нужен, а какой осиротел.
Изображения: где менять размер
Для картинок есть дополнительный вопрос: когда готовить разные размеры?
Вариантов три.
Сразу после загрузки — фоновая задача готовит все нужные размеры. Плюс: потом никакого ожидания. Минус: вы готовите и храните в том числе размеры, которые никогда не понадобятся.
По первому запросу — нужный размер готовится при обращении и кэшируется. Обычно это лучший баланс.
На каждый запрос — так не делайте никогда. Это впустую жжёт процессор.
На практике я выбираю второй вариант и решаю его на уровне CDN: сервис изображений готовит нужный размер и держит результат в кэше. В приложении при этом нет никакого кода обработки картинок.
Если делать самому, есть два правила: ставьте ограничение по размеру (слишком большая картинка забьёт память) и очищайте метаданные — в фотографиях могут быть координаты, и вы распространите их без ведома пользователя.
Сторона скачивания
О загрузке пишут много, а про скачивание забывают. Но и оно не должно идти через ваш сервер.
Если файлы публичные — отдавайте их напрямую через CDN.
Если файлы защищённые, работает тот же паттерн подписанного URL, только в обратную сторону: сервер проверяет права и возвращает короткоживущий адрес для чтения.
app.get('/files/:id', async (c) => {
const file = await getFile(c.req.param('id'))
await requireAccess(c, file)
const url = await storage.getSignedDownloadUrl(file.key, { expiresIn: 60 })
return c.redirect(url)
})Сервер проверяет только права, а байты через него не идут.
Итог
Правильно построенный файловый поток работает так:
- Сервер выдаёт подпись, а не принимает файл.
- Ключ формирует сервер, имя от клиента не используется.
- Подпись короткоживущая, ограничение размера — в подписи.
- Настоящий тип файла проверяется по байтам.
- Файл создаётся в состоянии
pendingи затем подтверждается. - Уборщик удаляет осиротевшие файлы.
- Скачивание тоже идёт через подписанный адрес.
Большую часть этого списка можно добавить позже, но два пункта нужны с самого начала: формирование ключа на сервере и состояния `pending`/`confirmed`. Остальное дополняется по ходу, а эти два потом потребуют миграции уже накопленных данных.