Локальный SDXL на 4 ГБ видеопамяти: проектирование под ограничение
У меня была идея небольшого интернет-магазина, и ему нужны были карточки товаров. Очевидное решение — снять на телефон. Проблема в том, что телефонный снимок годится для каталога, но не для маркетинга.
Облачные сервисы есть, но они требуют подписки и аккаунта. А я хотел процесс, который работает локально и без всякой регистрации.
И вот тут появилось главное ограничение: в видеокарте ноутбука всего 4 ГБ памяти.
Эта статья о проектировании под такое ограничение. По сути она не про генерацию изображений — она о том, как принимаются инженерные решения при жёстком пределе ресурсов.
Поставить ограничение на первое место
Обычный подход такой: вы выбираете лучший инструмент, а потом пытаетесь его запустить. Я пошёл наоборот — сначала записал ограничение в 4 ГБ и пропускал через этот фильтр каждое решение.
Эффект был виден сразу. Самые новые и мощные модели выбыли из списка: на этой машине они не запускаются вовсе. Обидно, но полезно — я не потратил время на их проверку.
Второй фильтр — требование аккаунта. Я хотел скачивать модели без аутентификации, поэтому источники, требующие токен, тоже отпали.
Два фильтра вместе сократили список до нескольких вариантов. Это не плохо — это сужение пространства решений, и оно полезно в любом проекте.
Почему именно этот инструмент
Практический способ запустить модели SDXL на 4 ГБ ровно один: подкачка весов между видеопамятью и системной памятью. То есть если модель не помещается в GPU целиком, её части перемещаются по мере надобности.
Это медленнее, но работает. А «работает медленно» бесконечно лучше, чем «не работает вовсе».
У выбранного мной интерфейса было две ветки. Более новую я сделал основной, старую оставил запасной. Модели разделяются между ними через symlink — хранить одни и те же файлы дважды не проблема для 4 ГБ, но на диске это десятки гигабайт разницы.
Причина была простая: нужное мне расширение для улучшения лиц официально поддерживается в новой ветке, а в старой существовал только форк без гарантий.
Что не сработало
Самая интересная часть.
Изначально я хотел добавить в процесс контроль позы — то есть дополнительную модель, сохраняющую положение тела с исходного снимка. Технически это выглядело правильным шагом.
Я убрал его полностью по двум причинам.
Первая — скорость. Он замедлял процесс в 2,7 раза. На 4 ГБ каждая дополнительная модель дорога, потому что увеличивает объём подкачки.
Вторая и более важная — он работал против цели. Мне не нужно было сохранять исходную позу. Наоборот, я хотел, чтобы поза менялась: та же одежда, другое положение, другой кадр. А контроль позы блокировал ровно это.
Это оказалось для меня самым полезным уроком. Техническая хорошесть инструмента не значит, что он вам нужен. Требование звучало как «поза должна меняться», а я пытался добавить инструмент, говорящий «поза должна сохраняться».
Перед добавлением любого компонента стоит спрашивать: он служит именно моему требованию — или я добавляю его просто потому, что так «правильно»?
Работающий процесс
Итоговый результат оказался двухэтапным и намеренно простым:
- Генерация — в среднем размере, с улучшением лица. Этот этап занимает около 77 секунд.
- Увеличение — отдельным шагом, в два раза. Это 21 секунда.
Итого около 99 секунд на одну карточку.
Почему два этапа? Потому что на 4 ГБ прямая генерация в большом размере не помещается в память. Сгенерировать меньше, а потом увеличить отдельным инструментом — правильный способ обойти ограничение.
Этот паттерн работает и в других местах: разбить большую работу на два маленьких шага часто обходится дешевле, чем один большой.
Лестница отступления
При работе с 4 ГБ нехватка памяти неизбежна. Поэтому я заранее записал лестницу отступления — по порядку, что делать, когда память закончилась.
Первый шаг: уменьшить размер. Второй: снизить до одного количество одновременно генерируемых изображений. Третий: отключить дополнительные расширения. Четвёртый: перейти на модель поменьше.
Поскольку это список, при ошибке я не размышляю — я иду вниз, начиная с первого шага.
Эта привычка полезна и в разработке. Если при проблеме есть упорядоченный план отступления, вы действуете по процедуре, а не в панике.
Проверочные ворота
Перед стартом проекта я записал пять «ворот» — конкретных проверок, которые нужно пройти. Например: загружается ли модель вообще, генерируется ли одно изображение, работает ли улучшение лица, помещается ли увеличение, приемлемо ли общее время процесса.
Этот список дал две выгоды.
Первая — я знал, где остановился. Если третьи ворота не пройдены, тратить время на четвёртые бессмысленно.
Вторая — фраза «проект готов» получила точный смысл. Пять ворот пройдено — готово. Это гораздо лучше расплывчатого «вроде неплохо выглядит».
Вывод: ограничение — не враг
4 ГБ видеопамяти — серьёзное ограничение. Но оно не сломало проект, а упростило его.
Без него я бы, вероятно, попробовал самые мощные модели, оставил контроль позы, усложнил процесс и в итоге тратил бы по три минуты на карточку.
Ограничение заставило меня задавать каждому компоненту вопрос «это действительно нужно?». И чаще всего ответ был «нет».
В этом, на мой взгляд, и есть самая ценная сторона ресурсных ограничений. Они подталкивают вас к простому решению — а простое решение обычно оказывается правильным.
Если у вас тоже слабая машина, не считайте её препятствием. Используйте её как проектный фильтр: запишите ограничение в первый же день и пропускайте через него каждое решение. Результат будет быстрее и понятнее.