LeRobot v0.6.0: Tưởng tượng, Đánh giá, Cải tiến

Bản phát hành mới này tập trung vào việc hoàn thiện vòng lặp học tập của robot: các chính sách (policy) có khả năng tưởng tượng tương lai trước khi hành động, các mô hình phần thưởng (reward models) thông báo khi nào robot thành công, một giao diện dòng lệnh (CLI) triển khai giúp biến các thất bại thành dữ liệu huấn luyện, và sáu điểm chuẩn (benchmark) mô phỏng mới để đo lường tất cả. Ngoài ra, bản cập nhật còn mang đến khả năng cảm biến độ sâu, chú thích tập dữ liệu bằng VLM, mã hóa video tùy chỉnh, huấn luyện đám mây trên HF Jobs và quy trình cài đặt tinh gọn hơn nhiều.

TL;DR

LeRobot v0.6.0 giới thiệu các chính sách mô hình thế giới (VLA-JEPA, FastWAM, LingBot-VA) học cách tưởng tượng tương lai, một loạt các VLA mới (GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT), và API mô hình phần thưởng mới (Robometer, TOPReward). Phiên bản này cung cấp sáu điểm chuẩn mô phỏng mới được thống nhất dưới lerobot-eval, CLI lerobot-rollout với các hiệu chỉnh con người trong vòng lặp (human-in-the-loop) kiểu DAgger, huấn luyện FSDP và huấn luyện đám mây trên HF Jobs. Các tập dữ liệu hiện hỗ trợ độ sâu, quy trình chú thích ngôn ngữ tự động, mã hóa video tùy chỉnh và tốc độ tải dữ liệu nhanh hơn tới 2 lần, tất cả trên một nền tảng cài đặt nhẹ hơn.

Mục lục

• Mô hình thế giới: Các chính sách biết tưởng tượng
  • VLA-JEPA
  • LingBot-VA
  • FastWAM
• VLA: Kho mô hình tiếp tục mở rộng
  • GR00T N1.7
  • MolmoAct2
  • EO-1
  • Multitask DiT
  • EVO1
• Mô hình phần thưởng: Biết khi nào robot thành công
  • Robometer
  • TOPReward
• Tập dữ liệu: Tải nhanh hơn, dữ liệu phong phú hơn
  • Codec của bạn, luật của bạn
  • Hỗ trợ độ sâu toàn diện
  • Chú thích ngôn ngữ quy mô lớn
  • Tốc độ tải dữ liệu nhanh hơn tới 2 lần
• Điểm chuẩn: Một CLI để đánh giá tất cả
• Huấn luyện & Suy luận
  • lerobot-rollout: CLI triển khai riêng biệt
  • FSDP: Huấn luyện mô hình lớn hơn GPU của bạn
  • Huấn luyện đám mây với HF Jobs
• Mã nguồn: Tinh gọn và sạch sẽ hơn
• Cộng đồng & Hệ sinh thái
• Lời kết

Mô hình thế giới: Các chính sách biết tưởng tượng

Thế giới robot đang đặt ra một câu hỏi lớn: liệu các mô hình thế giới (world models) có thực sự giúp ích cho các chính sách của robot? v0.6.0 mang đến ba chính sách cho LeRobot để trả lời câu hỏi đó. Mỗi chính sách đều học cách tưởng tượng tương lai như một phần của quá trình huấn luyện, và mỗi loại chọn một cách tiếp cận khác nhau để đảm bảo chi phí vận hành hợp lý.

VLA-JEPA

VLA-JEPA huấn luyện một VLA nhỏ gọn (xây dựng trên Qwen3-VL-2B) để dự đoán tương lai trong không gian tiềm ẩn (latent space) trong khi học cách hành động: trong quá trình huấn luyện, một mô hình thế giới JEPA phải dự đoán các khung hình sắp tới từ chính hành động của mô hình. Điểm mấu chốt là mô hình thế giới này sẽ biến mất khi suy luận (inference), vì vậy bạn có được sự giám sát của mô hình thế giới mà không tốn thêm chi phí suy luận. Ba checkpoint sẵn sàng sử dụng đã có trên Hub, bao gồm một bản base được huấn luyện trước trên DROID để tinh chỉnh:

lerobot-train \
  --policy.path=lerobot/VLA-JEPA-Pretrain \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_finetuned_policy

LingBot-VA

LingBot-VA tiến xa hơn một bước: một mô hình hành động-video tự hồi quy (autoregressive) dự đoán video và hành động trong tương lai cùng nhau, theo từng phân đoạn (chunk), và đưa các quan sát thực tế trở lại để giữ cho sự tưởng tượng luôn sát với thực tế. Bạn thậm chí có thể lưu lại những gì robot đã tưởng tượng (--policy.save_predicted_video=true) và so sánh với những gì thực sự xảy ra. Quá trình suy luận chạy trên một GPU 24–32 GB duy nhất.

FastWAM

FastWAM đặt ra câu hỏi: liệu các mô hình hành động thế giới có cần tưởng tượng tương lai trong thời gian kiểm tra? Nó kết hợp một chuyên gia tạo video ~5B với một chuyên gia hành động nhỏ gọn trong một mạng duy nhất, vì vậy mô hình thực sự học cách “mơ” về các quá trình triển khai của chính nó. Khi suy luận, nó bỏ qua bước mơ và trực tiếp khử nhiễu các phân đoạn hành động.

VLA: Kho mô hình tiếp tục mở rộng

GR00T N1.7

Chúng tôi đã nâng cấp tích hợp NVIDIA GR00T lên GR00T N1.7, thế hệ mô hình nền tảng đa hình thể (cross-embodiment) mới nhất của NVIDIA. N1.7 thay thế VLM trước đó bằng Cosmos-Reason2-2B (xây dựng trên Qwen3-VL) cấp dữ liệu cho một đầu ra hành động khớp luồng (flow-matching action head). Flash-attention hiện là tùy chọn, vì vậy chỉ cần pip install 'lerobot[groot]' là hoạt động.

Lưu ý: GR00T N1.7 thay thế N1.5 trong LeRobot. Nếu bạn cần N1.5, hãy cài đặt phiên bản lerobot==0.5.1.

MolmoAct2

MolmoAct2, mô hình hành động-ngôn ngữ-thị giác của Viện AI Allen, hiện đã được đưa vào LeRobot với đầy đủ vòng đời: tinh chỉnh (full hoặc LoRA), đánh giá và triển khai trên robot thực. Các checkpoint có sẵn với hiệu chỉnh calib tích hợp cho phép bạn chạy zero-shot trên SO-100/101:

lerobot-rollout \
  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \
  --task="pick up the red cube" --duration=30

EO-1

EO-1, một VLA được huấn luyện trước trên dữ liệu đan xen thị giác-văn bản-hành động, đã gia nhập LeRobot: sử dụng khung xương Qwen2.5-VL-3B với đầu ra hành động khớp luồng. Bạn có thể huấn luyện nó bằng quy trình lerobot-train tiêu chuẩn với --policy.type=eo1.

Multitask DiT

Chính sách Multitask Diffusion Transformer mang công thức Large Behavior Models của TRI đến LeRobot: một bộ biến đổi khuếch tán (diffusion transformer) khoảng 450M tham số, điều kiện hóa bởi nhúng CLIP thị giác và ngôn ngữ, cho phép một mô hình học nhiều tác vụ được chọn thông qua ngôn ngữ tự nhiên.

EVO1

VLA không nhất thiết phải khổng lồ. EVO1 gói gọn chính sách của mình trong 0,77B tham số, sử dụng khung xương InternVL3-1B, đủ nhỏ để tinh chỉnh và chạy trong thời gian thực trên các GPU khiêm tốn.

Mô hình phần thưởng: Biết khi nào robot thành công

Việc phát hiện thành công và ước tính tiến độ là những mảnh ghép còn thiếu trong vòng lặp học tập robot, và v0.6.0 đã giải quyết điều này. LeRobot hiện có API mô hình phần thưởng thống nhất (lerobot.rewards), bao gồm:

Robometer

Robometer là một mô hình phần thưởng đa năng được huấn luyện trước: chỉ cần trỏ lerobot/Robometer-4B vào bất kỳ tập dữ liệu LeRobot nào, nó sẽ chấm điểm tiến độ tác vụ và sự thành công từ video thô cộng với hướng dẫn ngôn ngữ mà không cần huấn luyện riêng cho từng tác vụ.

TOPReward

TOPReward hoạt động hoàn toàn zero-shot: không cần trọng số phần thưởng. Nó bao bọc một VLM có sẵn (Qwen3-VL) và đọc xác suất log của token “True” dựa trên video quỹ đạo và hướng dẫn tác vụ. Bất kỳ VLM đủ năng lực nào cũng có thể trở thành một hàm phần thưởng.

Tập dữ liệu: Tải nhanh hơn, dữ liệu phong phú hơn

Codec của bạn, luật của bạn

Việc ghi hình không còn bị gò bó trong một codec cố định. Các tùy chọn --dataset.rgb_encoder.* mới cho phép tùy chỉnh toàn diện (codec, chất lượng, định dạng pixel, GOP, presets), và vcodec=auto sẽ tự động tìm kiếm các bộ mã hóa phần cứng như NVENC, VideoToolbox, VAAPI và QSV trước khi quay về bộ mã hóa phần mềm AV1 mặc định.

Hỗ trợ độ sâu toàn diện

Kết nối Intel RealSense, đặt use_depth: true, và LeRobot sẽ ghi lại bản đồ độ sâu toàn diện: thu thập theo đơn vị milimet, nén thành luồng video độ sâu 12-bit nhỏ gọn cùng với camera RGB, và giải mã ngược lại đơn vị vật lý khi huấn luyện.

Chú thích ngôn ngữ quy mô lớn

Tập dữ liệu của bạn giờ đây không chỉ là một chuỗi văn bản cho mỗi tập phim (episode). Các tập dữ liệu LeRobot hiện lưu trữ các chú thích ngôn ngữ phong phú (các tác vụ con có mốc thời gian, kế hoạch, bộ nhớ, hiệu chỉnh, lời nói và các cặp VQA cho từng camera). CLI lerobot-annotate mới sẽ tự động điền các thông tin này bằng một VLM theo dõi các tập phim của bạn.

Tốc độ tải dữ liệu nhanh hơn tới 2 lần

Huấn luyện trên các tập dữ liệu video hiện nhanh hơn tới ~2 lần: khung hình từ nhiều camera được giải mã song song, các worker dataloader vận chuyển các khung hình uint8 nhỏ gọn, và các worker bền vững giữ cho bộ nhớ đệm giải mã tồn tại qua các epoch.

Điểm chuẩn: Một CLI để đánh giá tất cả

v0.6.0 biến LeRobot thành một trung tâm đánh giá thực thụ với sáu điểm chuẩn mô phỏng mới, tất cả đều chạy qua một CLI lerobot-eval duy nhất:

• LIBERO-plus: Kiểm tra sức bền của VLA với khoảng 10.000 biến thể bị nhiễu của LIBERO trên bảy trục (ánh sáng, góc nhìn camera, hướng dẫn viết lại).
• RoboTwin 2.0: Bao gồm 50 tác vụ thao tác hai tay trên SAPIEN với ngẫu nhiên hóa miền mạnh mẽ.
• RoboCasa365: Trải dài 365 tác vụ nhà bếp trong 2.500 nhà bếp được tạo theo quy trình.
• RoboCerebra: Đánh giá hành vi tầm xa với các tập phim chuỗi từ 3 đến 6 mục tiêu con.
• RoboMME: Một bài kiểm tra trí nhớ: liệu chính sách của bạn có thể đếm số lần lặp lại, theo dõi vật thể bị ẩn và bắt chước các quy trình đã trình diễn?
• VLABench: Kiểm tra kiến thức và lập luận trong thao tác, từ các câu hỏi vật lý đến các tác vụ phức hợp.

Huấn luyện & Suy luận

lerobot-rollout: CLI triển khai riêng biệt

Việc triển khai chính sách giờ đây là một quy trình riêng biệt với lerobot-rollout. Có nhiều chiến lược: base chỉ chạy chính sách; sentry ghi hình liên tục; highlight lưu N giây cuối cùng khi nhấn phím; episodic theo quy trình ghi hình tập phim cổ điển; và dagger biến việc triển khai thành thu thập dữ liệu.

Với chiến lược DAgger, bạn theo dõi chính sách chạy, nhấn phím ngay khi nó sai, giành quyền điều khiển bằng cánh tay dẫn đường (leader arm) để ghi lại hiệu chỉnh, rồi trả lại quyền điều khiển.

FSDP: Huấn luyện mô hình lớn hơn GPU của bạn

LeRobot hiện hỗ trợ FSDP (fully sharded data parallel) thông qua Accelerate: các tham số, gradient và trạng thái tối ưu hóa được phân mảnh trên nhiều GPU. Bạn thậm chí có thể tiếp tục một lần chạy FSDP trên một số lượng GPU khác.

Huấn luyện đám mây với HF Jobs

Không có GPU? Không vấn đề gì. Lệnh lerobot-train giờ đây có thể chạy trên đám mây chỉ bằng cách thêm một flag:

lerobot-train \
  --dataset.repo_id=${HF_USER}/so101_test \
  --policy.type=act \
  --policy.repo_id=${HF_USER}/my_policy \
  --job.target=a10g-small

Mã nguồn: Tinh gọn và sạch sẽ hơn

• pip install lerobot giờ đây thực sự nhẹ, giảm khoảng 40% các phụ thuộc cơ bản. Các tính năng bổ sung được chia thành các nhóm như [training], [core_scripts], [evaluation].
• Hỗ trợ PyTorch 2.7–2.11, với các bản wheel CUDA 12.8 được ghim sẵn cho cài đặt uv trên Linux.
• --display_mode=foxglove cho phép truyền trực tiếp quá trình điều khiển, ghi hình và triển khai đến Foxglove, công cụ trực quan hóa phổ biến trong giới robot.
• Hệ thống plugin hiện bao phủ tất cả năm loại thành phần: robot, camera, thiết bị điều khiển, chính sách và môi trường.

Cộng đồng & Hệ sinh thái

• LeLab: Đưa toàn bộ quy trình LeRobot (hiệu chỉnh, điều khiển, ghi hình, huấn luyện, triển khai) vào giao diện trình duyệt, không cần CLI.
• Isaac Teleop: Cho phép điều khiển SO-101 bằng tay cầm VR thông qua stack Isaac Teleop của NVIDIA.
• Hướng dẫn phần cứng: Giải đáp câu hỏi về loại GPU cần thiết và thời gian huấn luyện dự kiến cho từng loại chính sách.
• Hướng dẫn thêm chính sách: Chỉ dẫn cách đóng gói chính sách của riêng bạn dưới dạng plugin mà không cần gửi PR.

Lời kết

Ngoài những tính năng chính, v0.6.0 bao gồm hàng trăm bản sửa lỗi, cải thiện tài liệu và nâng cấp chất lượng trải nghiệm người dùng trên toàn bộ mã nguồn.

Chúng tôi xin gửi lời cảm ơn chân thành đến cộng đồng. Bản phát hành này bao gồm công sức từ các đội ngũ học thuật, công nghiệp và những người đam mê, những người đã chọn LeRobot làm ngôi nhà cho các mô hình và điểm chuẩn của họ.

Hãy cùng chờ đón những điều tiếp theo 🤗 Bắt đầu tại đây! – Đội ngũ LeRobot ❤️

Link bài viết gốc

• Tags:
• Ai
• July 7, 2026
• Huggingface.co