Actions
Feature #1252
open[infra] Scaling GPU infer on Production
Start date:
12/05/2024
Due date:
12/15/2024 (34 days late)
% Done:
70%
Estimated time:
16:00 h
Spent time:
Description
- Scaling GPU bằng cách thuê Pod ở Provider vast.ai
Chạy trên Provider https://cloud.vast.ai/instances/ này:
Tuần suất hiện tại em set là:
[ALARM] Messages > 20 trong 2 phút: +2 GPU
[ALARM] Messages > 20 trong 5 phút: (Messages/30) + GPU (tối thiểu 2)
[ALARM] Messages > 20 trong 25 phút: (Messages/30) + GPU (tối thiểu 2)
[OK] Messages: Delete tất cả GPU đang tồn tại ở vast.ai
Sau khi GPU được tạo khoảng 5p -> 10p thì GPU sẽ avaiable nhận job giao thoa.
Updated by Phước Ngọc Trần 17 days ago
- Status changed from In Progress to Resolved - Dev
Actions