Fon vazifalari: navbatni ishonchli qilishning amaliy yo'li
Fon vazifasi yozish oson. Hisobot generatsiya qilish, xat yuborish, rasm siqish — bularning hammasi asosiy so'rovdan tashqarida bajariladi va kod bir necha qatordan iborat.
Qiyin qismi keyin boshlanadi: vazifa yarim yo'lda uzilib qolsa nima bo'ladi? Ikki marta bajarilsa? Tashqi xizmat javob bermasa? Server qayta yuklansa?
Bu maqola shu savollar haqida. Aniqroq aytganda — navbatni ishonchli qilish haqida.
Nima uchun setTimeout yetarli emas
Eng oddiy "fon vazifasi" shunday ko'rinadi:
app.post('/orders', async (c) => {
const order = await createOrder(...)
setTimeout(() => sendReceipt(order), 0) // fon
return c.json(order)
})Bu ishlaydi — server qayta yuklanmaguncha. Jarayon o'chsa, navbatdagi hamma narsa yo'q bo'ladi va hech kim buni bilmaydi.
Asosiy tamoyil shu: bajarilishi kerak bo'lgan ish xotirada emas, diskda turishi kerak. Ya'ni vazifa bir joyga yozilishi, keyin olinishi va tugagach belgilanishi kerak.
Bu shunchaki "navbat" degan so'zning ta'rifi.
Idempotentlik — birinchi qoida
Retry mavjud bo'lgan har qanday tizimda vazifa bir necha marta bajarilishi mumkin. Bu chekinish emas, bu tabiiy holat.
Sabab oddiy: ishchi vazifani bajardi, lekin uni "tugadi" deb belgilashdan oldin qulab tushdi. Navbat vazifani hali ochiq deb biladi va uni yana beradi.
Shuning uchun har bir vazifa ikki marta bajarilganda ham bir marta bajarilgandek natija berishi kerak. Buni idempotentlik deyiladi.
Amalda bu odatda bitta ustun bilan hal qilinadi:
create table receipts (
id uuid primary key,
order_id uuid not null,
idempotency_key text not null unique,
created_at timestamptz not null default now()
);Va vazifa ichida:
await db.insert(receipts)
.values({ orderId, idempotencyKey: `receipt:${orderId}` })
.onConflictDoNothing()Ikkinchi urinish jimgina hech narsa qilmaydi. Bu eng ishonchli shakl, chunki himoya ilova mantiqida emas, bazadagi cheklovda turadi.
Kalitni tanlashda muhim qoida bor: u ishning o'zidan kelib chiqishi kerak, tasodifiy bo'lmasligi kerak. receipt:${orderId} to'g'ri. crypto.randomUUID() noto'g'ri — u har urinishda boshqacha bo'ladi va hech narsadan himoya qilmaydi.
Retry: to'g'ri va noto'g'ri xatolar
Ikkinchi katta xato — hamma xatoni bir xil deb hisoblash.
Xatolar ikki turga bo'linadi.
Vaqtinchalik xatolar o'z-o'zidan o'tib ketishi mumkin: tarmoq uzilishi, tashqi API 503 qaytarishi, baza ulanish limiti. Bularni qayta urinib ko'rish kerak.
Doimiy xatolar hech qachon o'tmaydi: noto'g'ri ma'lumot, mavjud bo'lmagan foydalanuvchi, validatsiya xatosi. Bularni qayta urinish — resurs isrofi va log to'ldirish.
Kodda bu farq aniq bo'lishi kerak:
try {
await sendReceipt(order)
} catch (err) {
if (err.status >= 400 && err.status < 500) {
throw new PermanentError(err.message) // qayta urinmaymiz
}
throw err // vaqtinchalik — urinamiz
}Qayta urinish oralig'i esa eksponensial bo'lishi kerak: 1 soniya, 2, 4, 8, 16. Sababi amaliy — agar tashqi xizmat yiqilgan bo'lsa, uni har soniyada urib turish uni tiklanishga qo'ymaydi.
Tasodifiy qo'shimcha ham foydali. Yuzta vazifa bir vaqtda xato olsa va hammasi aynan 2 soniyadan keyin qayta ursa, siz o'zingiz hujum qilgan bo'lasiz.
O'lik xat navbati
Urinishlar tugagach vazifani nima qilish kerak?
Eng yomon variant — uni o'chirib yuborish. Vazifa yo'qoladi, hech kim bilmaydi.
Ikkinchi yomon variant — cheksiz urinish. Bitta buzuq vazifa navbatni to'sib qo'yadi va loglarni to'ldiradi.
To'g'ri yechim — o'lik xat navbati: bajarilmagan vazifalar alohida jadvalga o'tadi va u yerda qoladi.
create table jobs_dead (
id uuid primary key,
type text not null,
payload jsonb not null,
attempts int not null,
last_error text,
failed_at timestamptz not null default now()
);Bu jadvalning qiymati shundaki, u sizga muammo borligini aytadi. Men unga oddiy tekshiruv qo'shaman: har kuni ertalab qatorlar soni nolga teng emasligini tekshirish. Nol bo'lmasa — qarash kerak.
Unutmang: o'lik xat navbatiga hech kim qaramasa, u shunchaki sekinroq o'chirish bo'lib qoladi.
Postgres yoki Redis
Endi asosiy tanlov. Ko'p loyihalarda "navbat kerak" degan gap darhol "Redis o'rnatamiz" ga aylanadi. Men bu qadamni kechiktirishni tavsiya qilaman.
Postgres bilan navbat — agar sizda allaqachon Postgres bo'lsa (deyarli har doim shunday), qo'shimcha infra kerak emas. Asosiy sehr bitta so'rovda:
update jobs
set status = 'running', started_at = now()
where id = (
select id from jobs
where status = 'pending' and run_after <= now()
order by run_after
for update skip locked
limit 1
)
returning *;for update skip locked — bu qatorning kaliti. U bir nechta ishchi bir vaqtda so'rov yuborsa ham har biriga boshqa vazifa berilishini kafolatlaydi. Bloklanish yo'q, dublikat yo'q.
Bundan tashqari Postgres'da tranzaksiya bor: vazifani yaratish va biznes ma'lumotini yozishni bitta tranzaksiyada qilish mumkin. Bu katta afzallik — buyurtma yaratildi, lekin unga bog'liq vazifa yo'qoldi degan holat imkonsiz bo'ladi.
Redis bilan bu kafolat yo'q: baza va navbat ikki xil tizim, va ular orasida har doim kichik oyna bor.
Redis bilan navbat (BullMQ va shu kabilar) qachon kerak? Uch belgi bor:
- Vazifa hajmi katta — sekundiga minglab. Postgres bunda ham ishlaydi, lekin jadval o'sishi va vakuum masalasi paydo bo'ladi.
- Sizga tayyor infratuzilma kerak: rejalashtirish, ustuvorlik, tezlik cheklovi, progress kuzatuvi. Buni o'zingiz yozish bir necha kunlik ish.
- Vazifalarni ko'rish uchun tayyor panel kerak.
Agar bu uchtasi yo'q bo'lsa, Postgres bilan boshlang. Keyin ko'chish qiyin emas, chunki vazifa mantig'i o'zgarmaydi — faqat saqlash joyi almashadi.
Rejalashtirilgan vazifalar bilan bir tuzoq
Agar ilovangiz bir nechta nusxada ishlasa, oddiy cron yoki @Cron dekoratori har bir nusxada ishga tushadi. Kunlik hisobot uch marta yuboriladi.
Men bu muammoga bir necha marta duch kelganman va uni alohida maqolada batafsil yozgan edim. Qisqasi: rejalashtirish ham navbat orqali o'tishi kerak — bitta nusxa vazifani navbatga qo'yadi, ishchilardan biri uni oladi.
Postgres'da buni oddiy blokirovka bilan qilish mumkin:
select pg_try_advisory_lock(12345);Faqat bitta nusxa qulfni oladi, qolganlari o'tkazib yuboradi.
Kuzatish: uchta son yetarli
Navbat ko'rinmas bo'lsa, u buzilganini bilmaysiz. Men uchta sonni kuzataman:
- Navbat uzunligi — kutayotgan vazifalar soni. O'sib borsa, ishchilar yetishmayapti.
- Eng eski vazifa yoshi — necha daqiqadan beri kutyapti. Bu uzunlikdan foydaliroq, chunki u kechikishni to'g'ridan-to'g'ri ko'rsatadi.
- O'lik navbat hajmi — nolga teng bo'lishi kerak.
Uchalasi ham bitta SQL so'rovi bilan olinadi va oddiy alert bilan bog'lanadi. Bu murakkab kuzatuv tizimisiz ham ishlaydi.
Xulosa
Ishonchli navbat uchun kerakli minimum shu:
- Vazifa diskda saqlanadi, xotirada emas.
- Har vazifa idempotent, kaliti ishning o'zidan kelib chiqadi.
- Vaqtinchalik va doimiy xatolar ajratilgan.
- Retry eksponensial, tasodifiy qo'shimcha bilan.
- Bajarilmagan vazifalar o'lik navbatga o'tadi va kimdir ularga qaraydi.
- Uchta son kuzatiladi.
Bu ro'yxatda hech qanday murakkab texnologiya yo'q. Postgres, bitta jadval va for update skip locked — ko'p loyiha uchun shu yetadi. Redis'ga esa aniq belgi paydo bo'lganda o'tasiz, moda bo'lgani uchun emas.