Project

General

Profile

Actions

Feature #1278

open

[infra] Scaling GPU training on Production use vast.ai

Added by Phước Ngọc Trần 2 days ago.

Status:
New
Priority:
Normal
Category:
-
Start date:
01/16/2025
Due date:
01/19/2025 (Due in 1 day)
% Done:

0%

Estimated time:
8:00 h

Description

mình đang dùng vast ai, khởi động thêm gpu khi bị nghẽn giao thoa
giờ mình sẽ làm vast ai cho vc traning, khởi động để training voice mới ngay khi có job.
1. cho vast api khỏi động khi có job traning, và tiến hành traning,
2. bên tensor, cắt hết ko để con gpu nào làm nhiệm vụ traning nữa, ( chỉ còn infer, và infer+ retrying)
3. xoá bớt 1 con gpu traning trên tensor
làm cho dev bước 1 và 2, , OK thì làm cả 3 bước cho prod.
Lợi ích: tiết kiệm dc khoảng 100 đô 1 tháng, và khách hàng sẽ dc traning giọng mới ngay khi có job, tầm 15 phút là xong,

No data to display

Actions

Also available in: Atom PDF