Actions
Feature #1278
open[infra] Scaling GPU training on Production use vast.ai
Start date:
01/16/2025
Due date:
01/19/2025 (Due in 1 day)
% Done:
0%
Estimated time:
8:00 h
Description
mình đang dùng vast ai, khởi động thêm gpu khi bị nghẽn giao thoa
giờ mình sẽ làm vast ai cho vc traning, khởi động để training voice mới ngay khi có job.
1. cho vast api khỏi động khi có job traning, và tiến hành traning,
2. bên tensor, cắt hết ko để con gpu nào làm nhiệm vụ traning nữa, ( chỉ còn infer, và infer+ retrying)
3. xoá bớt 1 con gpu traning trên tensor
làm cho dev bước 1 và 2, , OK thì làm cả 3 bước cho prod.
Lợi ích: tiết kiệm dc khoảng 100 đô 1 tháng, và khách hàng sẽ dc traning giọng mới ngay khi có job, tầm 15 phút là xong,
No data to display
Actions