Đào tạo các mô hình AI với Unsloth và Hugging Face Jobs MIỄN PHÍ
Đào tạo các mô hình AI với Unsloth và Hugging Face Jobs MIỄN PHÍ
- 5 min read
Huấn luyện mô hình AI với Unsloth và Hugging Face Jobs MIỄN PHÍ
Bài viết này hướng dẫn cách sử dụng Unsloth và Hugging Face Jobs để tinh chỉnh LLM nhanh chóng, đặc biệt là mô hình LiquidAI/LFM2.5-1.2B-Instruct, thông qua các tác nhân lập trình như Claude Code và Codex. Unsloth giúp tăng tốc độ huấn luyện lên gấp 2 lần và giảm 60% dung lượng VRAM so với các phương pháp tiêu chuẩn, giúp chi phí huấn luyện các mô hình nhỏ chỉ còn vài đô la.
Tại sao lại là mô hình nhỏ? Các mô hình ngôn ngữ nhỏ như LFM2.5-1.2B-Instruct là những ứng cử viên lý tưởng cho việc tinh chỉnh. Chúng có chi phí huấn luyện thấp, cho phép lặp lại nhanh chóng và ngày càng cạnh tranh với các mô hình lớn hơn nhiều trong các tác vụ chuyên biệt. LFM2.5-1.2B-Instruct chạy với dung lượng bộ nhớ dưới 1GB và được tối ưu hóa để triển khai trên thiết bị, vì vậy những gì bạn tinh chỉnh có thể được phục vụ trên CPU, điện thoại và máy tính xách tay.

Bạn sẽ cần
Chúng tôi đang tặng các khoản tín dụng miễn phí để tinh chỉnh mô hình trên Hugging Face Jobs. Hãy tham gia tổ chức Unsloth Jobs Explorers để nhận tín dụng miễn phí và đăng ký Pro trong một tháng.
- Một tài khoản Hugging Face (bắt buộc đối với HF Jobs)
- Thiết lập thanh toán (để xác minh, bạn có thể theo dõi mức sử dụng và quản lý thanh toán trên trang thanh toán của bạn).
- Một token Hugging Face với quyền ghi
- (tùy chọn) Một tác nhân lập trình (Open Code, Claude Code, hoặc Codex)
Chạy Job
Nếu bạn muốn huấn luyện mô hình bằng HF Jobs và Unsloth, bạn có thể đơn giản sử dụng CLI hf jobs để gửi một job.
Trước tiên, bạn cần cài đặt CLI hf. Bạn có thể làm điều này bằng cách chạy lệnh sau:
bash
mac hoặc linux
curl -LsSf https://hf.co/cli/install.sh | bash
Tiếp theo, bạn có thể chạy lệnh sau để gửi một job:
sh
hf jobs uv run https://huggingface.co/datasets/unsloth/jobs/resolve/main/sft-lfm2.5.py
–flavor a10g-small
–secrets HF_TOKEN
–timeout 4h
–dataset mlabonne/FineTome-100k
–num-epochs 1
–eval-split 0.2
–output-repo your-username/lfm-finetuned
Hãy xem script huấn luyện và tài liệu Hugging Face Jobs để biết thêm chi tiết.
Cài đặt Skill
Skill huấn luyện mô hình Hugging Face giúp giảm rào cản gia nhập vào việc huấn luyện mô hình chỉ bằng cách sử dụng lời nhắc. Đầu tiên, hãy cài đặt skill với tác nhân lập trình của bạn.
Claude Code
Claude Code khám phá các skill thông qua hệ thống plugin của nó, vì vậy chúng tôi cần cài đặt các skill Hugging Face trước. Để làm như vậy:
-
Thêm kho lưu trữ:
text /plugin marketplace add huggingface/skills
-
Duyệt các skill có sẵn trong tab Discover:
text /plugin
-
Cài đặt skill huấn luyện mô hình:
text /plugin install hugging-face-model-trainer@huggingface-skills
Để biết thêm chi tiết, hãy xem tài liệu về việc sử dụng hub với các skill hoặc tài liệu Skills của Claude Code.
Codex
Codex khám phá các skill thông qua các tệp AGENTS.md và các thư mục .agents/skills/.
Cài đặt các skill riêng lẻ bằng $skill-installer:
text $skill-installer install https://github.com/huggingface/skills/tree/main/skills/hugging-face-model-trainer
Để biết thêm chi tiết, hãy xem tài liệu Codex Skills và hướng dẫn AGENTS.md.
Bất cứ điều gì khác
Một phương pháp cài đặt chung là chỉ cần sao chép kho lưu trữ skills và sao chép skill vào thư mục skill của tác nhân của bạn.
text git clone https://github.com/huggingface/skills.git mkdir -p ~/.agents/skills && cp -R skills/skills/hugging-face-model-trainer ~/.agents/skills/
Bắt đầu nhanh
Sau khi skill được cài đặt, hãy yêu cầu tác nhân lập trình của bạn huấn luyện một mô hình:
text Train LiquidAI/LFM2.5-1.2B-Instruct on mlabonne/FineTome-100k using Unsloth on HF Jobs
Tác nhân sẽ tạo một script huấn luyện dựa trên ví dụ trong skill, gửi nó đến HF Jobs, và cung cấp một liên kết giám sát qua Trackio.
Hoạt động như thế nào
Các job huấn luyện chạy trên Hugging Face Jobs, các GPU đám mây được quản lý hoàn toàn. Tác nhân:
- Tạo một script UV với các phụ thuộc nội tuyến
- Gửi nó đến HF Jobs qua CLI hf
- Báo cáo ID job và URL giám sát
- Đẩy mô hình đã huấn luyện vào kho lưu trữ Hugging Face Hub của bạn
Script huấn luyện ví dụ
Skill tạo ra các script như thế này dựa trên ví dụ trong skill.
python
/// script
dependencies = [“unsloth”, “trl>=0.12.0”, “datasets”, “trackio”]
///
from unsloth import FastLanguageModel from trl import SFTTrainer, SFTConfig from datasets import load_dataset
model, tokenizer = FastLanguageModel.from_pretrained( “LiquidAI/LFM2.5-1.2B-Instruct”, load_in_4bit=True, max_seq_length=2048, )
model = FastLanguageModel.get_peft_model( model, r=16, lora_alpha=32, lora_dropout=0, target_modules=[ “q_proj”, “k_proj”, “v_proj”, “out_proj”, “in_proj”, “w1”, “w2”, “w3”, ], )
dataset = load_dataset(“trl-lib/Capybara”, split=“train”)
trainer = SFTTrainer( model=model, tokenizer=tokenizer, train_dataset=dataset, args=SFTConfig( output_dir="./output", push_to_hub=True, hub_model_id=“username/my-model”, per_device_train_batch_size=4, gradient_accumulation_steps=4, num_train_epochs=1, learning_rate=2e-4, report_to=“trackio”, ), )
trainer.train() trainer.push_to_hub()
| Kích thước mô hình | GPU được đề xuất | Chi phí xấp xỉ/giờ |
|---|---|---|
| <1B tham số | t4-small | ~$0.40 |
| 1-3B tham số | t4-medium | ~$0.60 |
| 3-7B tham số | a10g-small | ~$1.00 |
| 7-13B tham số | a10g-large | ~$3.00 |
Để có cái nhìn tổng quan đầy đủ về giá của Hugging Face Spaces, hãy xem hướng dẫn tại đây.
Mẹo làm việc với Tác nhân Lập trình
- Hãy cụ thể về mô hình và tập dữ liệu cần sử dụng, và bao gồm ID Hub (ví dụ: Qwen/Qwen2.5-0.5B và trl-lib/Capybara). Tác nhân sẽ tìm kiếm và xác thực các kết hợp đó.
- Đề cập rõ ràng đến Unsloth nếu bạn muốn nó được sử dụng. Nếu không, tác nhân sẽ chọn một framework dựa trên mô hình và ngân sách.
- Yêu cầu ước tính chi phí trước khi khởi chạy các job lớn.
- Yêu cầu giám sát Trackio để xem biểu đồ mất mát theo thời gian thực.
- Kiểm tra trạng thái job bằng cách yêu cầu tác nhân kiểm tra nhật ký sau khi gửi.
Tài nguyên
- Kho lưu trữ Hugging Face Skills
- Tín dụng miễn phí cho Unsloth Jobs Explorers
- Hướng dẫn Unsloth về Hugging Face Jobs
- Các script Unsloth Jobs ví dụ