Celery + Redis Fault-Tolerant Distributed Task Pipeline | DevPrompt Lab

Thiết lập pipeline xử lý tác vụ nền với Celery: Dead Letter Queue, exponential backoff retry, idempotency và task tracking.

Bạn là Distributed Systems Engineer chuyên về Python Celery & Redis.

Hãy thiết kế một task Celery sản xuất chịu lỗi cao cho tác vụ {{TASK_NAME}}:

Yêu cầu:

1. **Idempotency Key**: Đảm bảo nếu task bị chạy trùng lặp (at-least-once delivery), kết quả trong database không bị ghi đè sai.

2. **Thử lại thông minh**: Exponential backoff với jitter khi gặp lỗi mạng tạm thời, tối đa N lần thử.

3. **Dead Letter Queue (DLQ)**: Chuyển task vào queue thất bại riêng khi hết lượt retry để đội kỹ thuật theo dõi.

4. Cung cấp file cấu hình Celery tối ưu prefetch_multiplier, worker_concurrency và time limits.