API được lưu trữ so với thuê GPU cho mô hình 35B
Đã cập nhật · giá đã được kiểm tra vào ngày đó
Mô hình 35B-A3B 4-bit vừa trên một GPU 48 GB, vì vậy tự lưu trữ là khả thi. Việc có đáng giá hay không phụ thuộc vào số lượng token bạn sử dụng mỗi tháng.
Điểm chính
- Trọng lượng 4-bit của mô hình 35B-A3B chiếm khoảng 23 GiB, vì vậy một card 48 GB là đủ cho ngữ cảnh 64.000 token.
- Một GPU L40S thuê ngoài có giá $0,79–$1,09 mỗi giờ trên RunPod: khoảng $577–$796 mỗi tháng hoạt động liên tục.
- Với giá của Dolphin LLM, $577 có thể mua khoảng 2,6 tỷ token mỗi tháng với tỷ lệ đầu vào/đầu ra điển hình là 80/20.
- Tự lưu trữ hợp lý khi có khối lượng ổn định, rất cao; dưới mức đó, API được lưu trữ sẽ rẻ hơn và không cần bảo trì.
Phần cứng mà mô hình cần
Trọng lượng chính thức 4-bit (GPTQ-Int4) của Qwen3.5-35B-A3B tổng cộng khoảng 22.7 GiB. Trên một card 48 GB, điều này để lại khoảng 20 GB cho bộ nhớ đệm KV, đủ cho ngữ cảnh 64.000 token với một vài yêu cầu song song. Ngữ cảnh dài hơn hoặc nhiều người dùng song song hơn cần nhiều bộ nhớ hơn hoặc nhiều card hơn.
Giá thuê
| GPU | Ở đâu | Theo giờ | Theo tháng, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / Bảo mật | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (trung bình của 4 đề xuất) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / Bảo mật | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Số liệu hàng tháng bằng giá theo giờ × 730 giờ, chưa bao gồm lưu trữ, lưu lượng truy cập hoặc thời gian thẻ ở trạng thái chờ.
Xây dựng chatbot tự nhiên hơn và ít bị hạn chế hơn. Phát trực tiếp phản hồi để có luồng hội thoại tự nhiên.
Một hỗn hợp điển hình gồm 80% token đầu vào và 20% token đầu ra có giá $0,22 mỗi triệu token trên Dolphin LLM. Vì vậy, giá hàng tháng của một thẻ thuê ngoài có thể mua được:
| Ngân sách hàng tháng | Tương đương trên Dolphin LLM | Theo ngày |
|---|---|---|
| $241 (RTX A6000, Community) | khoảng 1,1 tỷ token | khoảng 36 triệu |
| $577 (L40S, Community) | khoảng 2,6 tỷ token | khoảng 87 triệu |
| $796 (L40S, Secure) | khoảng 3,6 tỷ token | khoảng 120 triệu |
Nếu bạn sử dụng ít token hơn mức này, API được lưu trữ sẽ rẻ hơn. Trên mức đó, một thẻ được thuê có thể rẻ hơn, miễn là nó hoạt động suốt phần lớn ngày.
Chi phí không có trong bảng giá
- Thiết lập và cập nhật: máy chủ suy luận, trình điều khiển, tải xuống mô hình, giám sát.
- Thời gian nhàn rỗi: một thẻ được thuê có giá như nhau vào ban đêm khi không có yêu cầu nào được gửi.
- Đỉnh điểm: một thẻ chỉ phục vụ một số lượng yêu cầu song song có hạn; nhiều người dùng hơn nghĩa là cần nhiều thẻ hơn.
Nên chọn cái nào
- Tự lưu trữ nếu bạn có khối lượng ổn định, rất cao, cần kiểm soát toàn bộ hệ thống hoặc ngữ cảnh dài hơn 64.000 token.
- Sử dụng Dolphin LLM nếu khối lượng công việc của bạn nằm dưới điểm hòa vốn, biến động từ ngày này sang ngày khác, hoặc bạn không muốn chạy máy chủ.
Nguồn
Giá cả thay đổi. Hãy kiểm tra trang của từng nhà cung cấp trước khi quyết định.
Câu hỏi và câu trả lời
Tôi có thể chạy cùng mô hình trên máy tính của mình không?
Có, với GPU có đủ bộ nhớ: trọng số 4-bit chiếm khoảng 23 GiB, vì vậy thẻ 48 GB là thoải mái và thẻ 24 GB là quá nhỏ cho ngữ cảnh hữu ích.
API được lưu trữ có chậm hơn GPU tại chỗ không?
Nó thêm độ trễ mạng vào thời gian tạo. Tốc độ tạo phụ thuộc vào tải trên các máy chủ chia sẻ; đối với trò chuyện và hầu hết các tác vụ hàng loạt, sự khác biệt là nhỏ.