Uzilishsiz migratsiya: ishlab turgan bazani qanday o'zgartirish kerak
Ustun nomini o'zgartirish bitta qator:
alter table users rename column phone to phone_number;Lokal mashinada bu bir soniyada bajariladi. Ishlab turgan tizimda esa u boshqacha ko'rinadi: deploy bir necha soniya davom etadi, va shu vaqt ichida eski kod hali phone ustunini so'raydi. Ustun esa endi yo'q.
Natija — xatolar to'plami va yiqilgan sahifalar.
Muammoning ildizi shu: siz kod va bazani bir vaqtda o'zgartira olmaysiz. Har doim ikkalasi bir-biriga mos kelmaydigan oyna bo'ladi.
Yechim — o'zgarishni shunday tuzishki, har bir oraliq holat ham to'g'ri ishlasin.
Expand/contract naqshi
Asosiy g'oya oddiy: bitta buzuvchi o'zgarish o'rniga bir nechta buzmaydigan qadam qilinadi.
Uch bosqich bor:
- Expand — yangisini qo'shasiz, eskisini qoldirasiz. Baza ikkalasini ham qo'llab-quvvatlaydi.
- Migrate — kodni yangisiga o'tkazasiz, ma'lumotni ko'chirasiz.
- Contract — eskisini olib tashlaysiz.
Har bosqich orasida deploy bo'ladi. Va muhimi shundaki, har bir bosqichda eski va yangi kod bir vaqtda ishlay oladi.
Endi buni aniq misollarda ko'ramiz.
Ustun nomini o'zgartirish
Yuqoridagi misolni to'g'ri qilaylik.
1-qadam. Yangi ustun qo'shish.
alter table users add column phone_number text;Yangi ustun bo'sh, hech narsa buzilmaydi. Eski kod phone bilan ishlayveradi.
2-qadam. Ikkalasiga yozish.
Kodni shunday o'zgartirasiz: yozganda ikkala ustunga ham yozadi, o'qiganda hali eskisidan o'qiydi.
await db.update(users).set({
phone: value,
phoneNumber: value,
})Deploy qilasiz. Endi yangi yozuvlar ikkala ustunda ham bor.
3-qadam. Eski ma'lumotni ko'chirish.
update users set phone_number = phone
where phone_number is null and phone is not null;Katta jadvalda buni bo'laklab qilish kerak — bu haqda quyida alohida yozaman.
4-qadam. O'qishni yangisiga o'tkazish.
Kod endi phone_number dan o'qiydi, lekin ikkalasiga yozishda davom etadi. Deploy. Bir necha kun kuzatasiz.
5-qadam. Eskisiga yozishni to'xtatish. Deploy.
6-qadam. Eski ustunni o'chirish.
alter table users drop column phone;Oltita qadam bitta qator o'rniga. Ko'p tuyuladi, lekin har bir qadam xavfsiz va istalgan nuqtada orqaga qaytish mumkin.
NOT NULL ustun qo'shish
Bu eng ko'p uchraydigan tuzoqlardan biri:
alter table orders add column status text not null;Bu so'rov darhol xato beradi, chunki mavjud qatorlarda qiymat yo'q. Standart qiymat qo'shsangiz ham ehtiyot bo'lish kerak — eski PostgreSQL versiyalarida bu butun jadvalni qayta yozardi va uzoq blokladi.
Zamonaviy versiyalarda oddiy standart qiymat tez bajariladi. Lekin qiymat o'zgaruvchan bo'lsa (masalan now() yoki tasodifiy son), jadval baribir qayta yoziladi.
Xavfsiz tartib shunday:
-- 1. Nullable qo'shish (tez)
alter table orders add column status text;
-- 2. Yangi qatorlar uchun standart qiymat
alter table orders alter column status set default 'pending';
-- 3. Eskilarni bo'laklab to'ldirish
-- 4. Cheklovni tekshirmasdan qo'shish
alter table orders add constraint orders_status_not_null
check (status is not null) not valid;
-- 5. Alohida tekshirish (bloklamaydi)
alter table orders validate constraint orders_status_not_null;Oxirgi ikki qadam muhim. not valid bilan qo'shilgan cheklov mavjud qatorlarni tekshirmaydi — u darhol bajariladi. validate esa alohida ishlaydi va jadvalni yozishdan bloklamaydi.
Indeksni bloklashsiz qurish
Oddiy create index jadvalni butun qurilish davomida yozishdan bloklaydi. Katta jadvalda bu daqiqalar demakdir.
To'g'ri shakl:
create index concurrently idx_orders_created_at
on orders (created_at);concurrently sekinroq ishlaydi, lekin yozuvni bloklamaydi.
Ikkita tuzoq bor. Birinchisi — u tranzaksiya ichida ishlamaydi, shuning uchun migratsiya vositangiz uni alohida bajarishi kerak. Ikkinchisi — u qulashi mumkin va o'zidan yaroqsiz indeks qoldiradi:
select indexrelid::regclass from pg_index where not indisvalid;Migratsiyadan keyin buni tekshirish odatini qiling. Yaroqsiz indeks so'rovlarda ishlatilmaydi, lekin joy egallaydi va yozuvni sekinlashtiradi.
Katta jadvalni bo'laklab yangilash
Million qatorli jadvalda bitta update — bu uzoq tranzaksiya, katta qulf va replikatsiya kechikishi.
To'g'ri yo'l — kichik bo'laklarga bo'lish:
update users
set phone_number = phone
where id in (
select id from users
where phone_number is null and phone is not null
limit 5000
);Buni tsiklda, ta'sirlangan qatorlar soni nolga tenglashguncha yurgizasiz. Har bo'lak orasida qisqa pauza qo'yish foydali — bu bazaga nafas oladi va replikaga yetib olishga imkon beradi.
Bo'lak hajmi 1000 dan 10000 gacha odatda yaxshi ishlaydi. Aniq son jadval kengligi va yuklamaga bog'liq — bir marta o'lchab ko'ring.
Qulf kutish vaqtini cheklang
Bu bitta qator sizni eng yomon stsenariydan saqlaydi:
set lock_timeout = '3s';Usiz shunday bo'lishi mumkin: alter table uzoq davom etayotgan so'rov tugashini kutadi. U kutayotgan paytda yangi so'rovlar ham navbatga turadi, chunki u qulf so'ragan. Natijada butun jadval bloklanadi va bu qulflar zanjiri butun ilovani to'xtatadi.
lock_timeout bilan migratsiya shunchaki xato beradi va siz uni keyinroq qayta urinib ko'rasiz. Xato — to'xtagan saytdan yaxshiroq.
Men buni har bir migratsiya faylining boshiga qo'yaman.
Orqaga qaytish rejasi
Har bir migratsiya uchun bitta savolga javob bo'lishi kerak: agar deploy'dan keyin muammo chiqsa, nima qilaman?
Expand/contract naqshining eng katta foydasi shundaki, u javobni oson qiladi. Birinchi bosqichlarda javob — shunchaki kodni orqaga qaytarish. Baza ikkala versiyani ham qo'llab-quvvatlaydi, shuning uchun eski kod ishlayveradi.
Faqat oxirgi qadamdan — eski ustunni o'chirgandan keyin — orqaga qaytish qiyinlashadi. Shuning uchun men bu qadamni har doim kechiktiraman: yangi versiya bir necha kun barqaror ishlagandan keyin bajaraman.
Bu qadam shoshilinch emas. Ortiqcha ustun sizga hech qanday zarar keltirmaydi, lekin uni erta o'chirish tunda uyg'onishga sabab bo'lishi mumkin.
Amaliy tekshiruv ro'yxati
Har bir migratsiyani yozgandan keyin quyidagilarni tekshiring:
- Bu o'zgarish eski kodni buzadimi? Buzsa — bosqichlarga bo'ling.
- Migratsiya faylida
lock_timeoutbormi? - Indeks
concurrentlybilan quriladimi? - Katta yangilash bo'laklarga bo'linganmi?
not nullcheklovnot valid+validateorqali qo'shiladimi?- Orqaga qaytish rejasi bormi va u sinalganmi?
Oxirgi savol eng muhimi. Migratsiyani prod'ga chiqarishdan oldin nusxa bazada bir marta yurgizib ko'ring — ma'lumot hajmi o'xshash bo'lgan nusxada. Lokal bo'sh bazada hamma narsa tez ishlaydi va bu sizni yolg'on ishonchga olib keladi.
Bu qadamlar zerikarli tuyuladi. Lekin ular birinchi marta ishlab turgan tizimni to'xtatib qo'ygandan keyin butunlay boshqacha ko'rina boshlaydi.