LeRobot v0.4.0- Siêu nạp cho học tập Robotics OSS

LeRobot v0.4.0 nhằm mục đích đơn giản hóa hơn nữa các thí nghiệm nghiên cứu trong lĩnh vực học tập robot nguồn mở.

October 27, 2025
14 min read

LeRobot v0.4.0- Siêu nạp cho học tập Robotics OSS — LeRobot v0.4.0 nhằm mục đích đơn giản hóa hơn nữa các thí nghiệm nghiên cứu trong lĩnh vực học tập robot nguồn mở.

LeRobot v0.4.0: Tăng cường Khả năng Học Robotics Nguồn Mở

Chúng tôi rất vui mừng thông báo một loạt các tiến bộ đáng kể trên LeRobot, được thiết kế để làm cho việc học robotics nguồn mở trở nên mạnh mẽ, có khả năng mở rộng và thân thiện với người dùng hơn bao giờ hết! Từ các bộ dữ liệu được cải tiến đến các công cụ chỉnh sửa linh hoạt, môi trường mô phỏng mới và hệ thống plugin đột phá cho phần cứng, LeRobot liên tục phát triển để đáp ứng nhu cầu của AI hiện thân tiên tiến.

TL;DR

LeRobot v0.4.0 cung cấp một bản nâng cấp lớn cho robotics nguồn mở, giới thiệu Datasets v3.0 có khả năng mở rộng, các mô hình VLA mới mạnh mẽ như PI0.5 và GR00T N1.5, và một hệ thống plugin mới để tích hợp phần cứng dễ dàng hơn. Bản phát hành cũng bổ sung hỗ trợ cho các mô phỏng LIBERO và Meta-World, đơn giản hóa việc đào tạo đa GPU và Khóa học Học Robotics Hugging Face mới.

Mục lục

LeRobot v0.4.0: Tăng cường Khả năng Học Robotics Nguồn Mở

Bộ dữ liệu: Sẵn sàng cho Làn sóng Học Robot Quy mô Lớn Tiếp theo

Chúng tôi đã đại tu hoàn toàn cơ sở hạ tầng bộ dữ liệu của mình với LeRobotDataset v3.0, có định dạng tập phim chia nhỏ mới và khả năng phát trực tuyến. Đây là một yếu tố thay đổi cuộc chơi để xử lý các bộ dữ liệu lớn như OXE (Open X Embodiment) và Droid, mang lại hiệu quả và khả năng mở rộng vô song.

Có gì Mới trong Datasets v3.0?

Các tập phim được chia nhỏ để có quy mô lớn: Định dạng mới của chúng tôi hỗ trợ các bộ dữ liệu ở cấp độ OXE (> 400GB), cho phép khả năng mở rộng chưa từng có.
Lưu trữ Video Hiệu quả + Phát trực tuyến: Tận hưởng thời gian tải nhanh hơn và phát trực tuyến liền mạch dữ liệu video.
Siêu dữ liệu Parquet Thống nhất: Nói lời tạm biệt với các JSON rải rác! Tất cả siêu dữ liệu tập phim hiện được lưu trữ trong các tệp Parquet có cấu trúc, thống nhất để dễ dàng quản lý và truy cập hơn.
Tải Nhanh hơn & Hiệu suất Tốt hơn: Trải nghiệm thời gian khởi tạo bộ dữ liệu giảm đáng kể và sử dụng bộ nhớ hiệu quả hơn.

Chúng tôi cũng đã cung cấp một tập lệnh chuyển đổi để dễ dàng di chuyển các bộ dữ liệu v2.1 hiện có của bạn sang định dạng v3.0 mới, đảm bảo quá trình chuyển đổi suôn sẻ. Đọc thêm về nó trong bài đăng trên blog trước đây của chúng tôi. Robotics nguồn mở tiếp tục được nâng cấp!

Tính năng Mới: Công cụ Chỉnh sửa Bộ dữ liệu!

Làm việc với các bộ dữ liệu LeRobot vừa trở nên dễ dàng hơn rất nhiều! Chúng tôi đã giới thiệu một bộ tiện ích mạnh mẽ để chỉnh sửa bộ dữ liệu linh hoạt.

Với CLI lerobot-edit-dataset mới của chúng tôi, giờ đây bạn có thể:

Xóa các tập phim cụ thể khỏi các bộ dữ liệu hiện có.
Chia bộ dữ liệu theo phân số hoặc chỉ mục tập phim.
Thêm hoặc xóa các tính năng một cách dễ dàng.
Hợp nhất nhiều bộ dữ liệu thành một tập hợp thống nhất.

bash

Hợp nhất nhiều bộ dữ liệu thành một bộ dữ liệu duy nhất.

lerobot-edit-dataset
–repo_id lerobot/pusht_merged
–operation.type merge
–operation.repo_ids “['lerobot/pusht_train', 'lerobot/pusht_val']”

Xóa các tập phim và lưu vào một bộ dữ liệu mới (giữ nguyên bộ dữ liệu ban đầu)

lerobot-edit-dataset
–repo_id lerobot/pusht
–new_repo_id lerobot/pusht_after_deletion
–operation.type delete_episodes
–operation.episode_indices “[0, 2, 5]”

Những công cụ này hợp lý hóa quy trình làm việc của bạn, cho phép bạn quản lý và tối ưu hóa các bộ dữ liệu robot của mình hơn bao giờ hết. Kiểm tra tài liệu để biết thêm chi tiết!

Môi trường Mô phỏng: Mở rộng Sân tập Huấn luyện của Bạn

Chúng tôi liên tục mở rộng khả năng mô phỏng của LeRobot để cung cấp các môi trường huấn luyện phong phú và đa dạng hơn cho các chính sách robot của bạn.

libero-demo

Hỗ trợ LIBERO

LeRobot hiện chính thức hỗ trợ LIBERO, một trong những tiêu chuẩn mở lớn nhất cho các chính sách Vision-Language-Action (VLA), tự hào với hơn 130 nhiệm vụ! Đây là một bước tiến lớn hướng tới việc xây dựng trung tâm đánh giá cần thiết cho VLA, cho phép tích hợp dễ dàng và thiết lập thống nhất để đánh giá bất kỳ chính sách VLA nào.

Kiểm tra bộ dữ liệu LIBERO và tài liệu của chúng tôi để bắt đầu!

Tích hợp Meta-World

Chúng tôi đã tích hợp Meta-World, một tiêu chuẩn hàng đầu để kiểm tra khả năng đa nhiệm và tổng quát hóa trong thao tác robot, có hơn 50 nhiệm vụ thao tác khác nhau. Sự tích hợp này, cùng với việc sử dụng tiêu chuẩn gymnasium ≥ 1.0.0 và mujoco ≥ 3.0.0 của chúng tôi, đảm bảo gieo hạt xác định và nền tảng mô phỏng mạnh mẽ.

Huấn luyện các chính sách của bạn với bộ dữ liệu Meta-World ngay hôm nay!

Cơ sở Mã: Các Công cụ Mạnh mẽ Dành cho Mọi Người

Chúng tôi đang làm cho việc điều khiển robot trở nên linh hoạt và dễ tiếp cận hơn, cho phép những khả năng mới để thu thập dữ liệu và huấn luyện mô hình.

Quy trình Mới để Xử lý Dữ liệu

Việc lấy dữ liệu từ robot đến mô hình (và ngược lại!) rất khó. Dữ liệu cảm biến thô, vị trí khớp và hướng dẫn ngôn ngữ không khớp với những gì các mô hình AI mong đợi. Các mô hình cần các tensor được chuẩn hóa, theo lô trên đúng thiết bị, trong khi phần cứng robot của bạn cần các lệnh hành động cụ thể.

Chúng tôi rất vui mừng giới thiệu Bộ xử lý: một quy trình mô-đun mới hoạt động như một trình dịch phổ quát cho dữ liệu của bạn. Hãy coi nó như một dây chuyền lắp ráp, nơi mỗi ProcessorStep xử lý một công việc cụ thể—như chuẩn hóa, mã hóa văn bản hoặc di chuyển dữ liệu sang GPU.

Bạn có thể xâu chuỗi các bước này lại với nhau thành một quy trình mạnh mẽ để quản lý hoàn hảo luồng dữ liệu của mình. Chúng tôi thậm chí đã tạo ra hai loại khác nhau để làm cho cuộc sống dễ dàng hơn:

PolicyProcessorPipeline: Được xây dựng cho các mô hình. Nó xử lý một cách chuyên nghiệp các tensor theo lô để đào tạo và suy luận hiệu suất cao.
RobotProcessorPipeline: Được xây dựng cho phần cứng. Nó xử lý các điểm dữ liệu riêng lẻ (như một quan sát hoặc hành động duy nhất) để điều khiển robot theo thời gian thực.

python

Lấy trạng thái môi trường

obs = robot.get_observation()

Đổi tên, Theo lô, Chuẩn hóa, Mã hóa, Di chuyển Thiết bị …

obs_processed = preprocess(obs)

Chạy suy luận

action = model.select_action(obs_processed)

Hủy chuẩn hóa, Di chuyển Thiết bị …

action_processed = postprocess(action)

Thực hiện hành động

robot.send_action(action_processed)

Hệ thống này giúp đơn giản hóa việc kết nối bất kỳ chính sách nào với bất kỳ robot nào, đảm bảo dữ liệu của bạn luôn ở định dạng hoàn hảo cho mọi bước trên đường đi. Tìm hiểu thêm về nó trong Giới thiệu về tài liệu Bộ xử lý của chúng tôi.

Đào tạo Đa GPU Trở nên Dễ dàng

Việc huấn luyện các chính sách robot lớn vừa trở nên nhanh hơn rất nhiều! Chúng tôi đã tích hợp Accelerate trực tiếp vào quy trình huấn luyện của mình, giúp bạn cực kỳ đơn giản để mở rộng quy mô các thử nghiệm của mình trên nhiều GPU chỉ với một lệnh:

bash accelerate launch
–multi_gpu
–num_processes=$NUM_GPUs
$(which lerobot-train)
–dataset.repo_id=${HF_USER}/my_dataset
–policy.repo_id=${HF_USER}/my_trained_policy
–policy.type=$POLICY_TYPE \

… Thêm các cờ cấu hình huấn luyện

Cho dù bạn đang tinh chỉnh một chính sách hay chạy các thử nghiệm quy mô lớn, LeRobot hiện xử lý tất cả các phức tạp của quá trình huấn luyện phân tán cho bạn. Điều này có nghĩa là bạn có thể giảm đáng kể thời gian đào tạo, giảm một nửa với 2 GPU, xuống một phần ba với 3 GPU và hơn thế nữa.

Kiểm tra tài liệu để tăng tốc quá trình học robot của bạn!

Chính sách: Giải phóng Khả năng Tổng quát hóa Thế giới Mở

groot-demo

PI0 và PI0.5

Trong một cột mốc quan trọng đối với robotics nguồn mở, chúng tôi đã tích hợp các chính sách pi0 và pi0.5 của Physical Intelligence vào LeRobot! Các mô hình Vision-Language-Action (VLA) này đại diện cho một bước tiến đáng kể hướng tới giải quyết khả năng tổng quát hóa thế giới mở trong robotics. Nhưng điều gì làm cho π₀.₅ mang tính cách mạng?

Tổng quát hóa Thế giới Mở: Được thiết kế để thích ứng với các môi trường và tình huống hoàn toàn mới, tổng quát hóa trên các cấp độ vật lý, ngữ nghĩa và môi trường.
Đồng huấn luyện trên Dữ liệu Dị thể: Học hỏi từ một hỗn hợp đa dạng gồm dữ liệu web đa phương thức, hướng dẫn bằng lời nói, lệnh tác vụ phụ và dữ liệu robot đa môi trường.
Hợp tác Trí tuệ Vật lý: Xin chân thành cảm ơn nhóm Physical Intelligence vì công trình đột phá của họ!

Bạn có thể tìm thấy các mô hình trên Hugging Face Hub: pi0.5_base, pi0_base và các đối tác được điều chỉnh Libero của chúng. Để biết thêm chi tiết, hãy xem Nghiên cứu Trí tuệ Vật lý

GR00T N1.5

Trong một phát triển thú vị khác, chúng tôi đã tích hợp GR00T N1.5 của NVIDIA vào LeRobot, nhờ sự hợp tác tuyệt vời với nhóm robotics NVIDIA! Mô hình nền tảng mở này là một sức mạnh cho lý luận và kỹ năng robot tổng quát hóa. Là một mô hình đa hiện thân, nó tiếp nhận đầu vào đa phương thức (như ngôn ngữ và hình ảnh) để thực hiện các nhiệm vụ thao tác phức tạp trong các môi trường đa dạng, đánh dấu một bước nhảy vọt lớn khác trong robotics tổng quát hóa. Nhưng điều gì làm cho GR00T N1.5 trở nên thay đổi cuộc chơi?

Lý luận & Kỹ năng Tổng quát hóa: Được thiết kế như một mô hình nền tảng đa hiện thân, GR00T N1.5 vượt trội trong các nhiệm vụ lý luận và thao tác tổng quát hóa, với khả năng tuân theo ngôn ngữ được cải thiện.
Huấn luyện Dị thể Mở rộng: Nó học hỏi từ một bộ dữ liệu khổng lồ kết hợp dữ liệu hình người được chụp thực tế, dữ liệu tổng hợp do NVIDIA Isaac GR00T Blueprint tạo ra và dữ liệu video quy mô internet.
Hợp tác NVIDIA: Chúng tôi rất vui mừng được hợp tác với nhóm NVIDIA để mang mô hình hiện đại này đến cộng đồng LeRobot nguồn mở!

Bạn có thể tìm thấy mô hình trên Hugging Face Hub: GR00T-N1.5-3B. Để biết thêm chi tiết, hãy xem trang nghiên cứu NVIDIA và kho lưu trữ GitHub chính thức.

Việc tích hợp gốc các chính sách này trong lerobot là một bước tiến lớn trong việc làm cho việc học robot trở nên mở và có thể tái tạo nhất có thể. Hãy dùng thử chúng ngay hôm nay, chia sẻ các lần chạy của bạn và hãy cùng nhau thúc đẩy giới hạn của AI hiện thân!

Robot: Một Kỷ nguyên Mới về Tích hợp Phần cứng với Hệ thống Plugin

Tin lớn cho những người đam mê phần cứng! Chúng tôi đã ra mắt một hệ thống plugin hoàn toàn mới để cách mạng hóa cách bạn tích hợp phần cứng của bên thứ ba với LeRobot. Giờ đây, việc kết nối bất kỳ robot, máy ảnh hoặc bộ điều khiển từ xa nào cũng đơn giản như pip install, loại bỏ sự cần thiết phải sửa đổi thư viện cốt lõi.

Các Lợi ích Chính

Khả năng mở rộng: Phát triển và tích hợp phần cứng tùy chỉnh trong các gói Python riêng biệt.
Khả năng mở rộng: Hỗ trợ một hệ sinh thái thiết bị đang phát triển mà không làm phình to thư viện cốt lõi.
Thân thiện với cộng đồng: Giảm rào cản gia nhập cho các đóng góp của cộng đồng, thúc đẩy một môi trường hợp tác hơn.

Tìm hiểu cách tạo plugin của riêng bạn trong tài liệu của chúng tôi.

bash pip install lerobot_teleoperator_my_awesome_teleop lerobot-teleoperate –teleop.type=my_awesome_teleop

Tích hợp Reachy 2

Nhờ hệ thống plugin mới của chúng tôi, chúng tôi cũng đã thêm Reachy 2 từ Pollen Robotics vào LeRobot! Reachy 2 có sẵn cho cả điều khiển robot thực và mô phỏng, cho phép bạn thử nghiệm với thao tác từ xa và các bản trình diễn tự trị ngay lập tức.

Tích hợp Điện thoại

Nhờ hệ thống quy trình mới mạnh mẽ của chúng tôi, giờ đây bạn có thể điều khiển cánh tay theo dõi của mình từ ngay trên điện thoại (iOS/Android). Điện thoại hoạt động như một thiết bị điều khiển từ xa và quy trình RobotProcessor của chúng tôi xử lý tất cả các chuyển đổi, cho phép bạn điều khiển robot trong các không gian hành động khác nhau (như không gian đầu cuối) một cách dễ dàng. Kiểm tra các ví dụ!

Khóa Học Học Robotics Hugging Face

Chúng tôi đang ra mắt một khóa học toàn diện, tự học và hoàn toàn nguồn mở được thiết kế để làm cho việc học robot trở nên dễ tiếp cận với mọi người! Nếu bạn tò mò về cách robot trong thế giới thực học hỏi, đây là nơi hoàn hảo để bắt đầu.

Trong khóa học này, bạn sẽ học cách:

Hiểu các nguyên tắc cơ bản của robotics cổ điển.
Sử dụng các mô hình tạo sinh để học bắt chước (VAE, khuếch tán, v.v.).
Áp dụng Học Tăng cường cho robot trong thế giới thực.
Khám phá các chính sách robot tổng quát mới nhất như PI0 và SmolVLA.

Tham gia tổ chức Hugging Face Robotics để theo dõi và bắt đầu hành trình của bạn!

Đi Sâu: Hướng dẫn Học Robotics Hiện đại

Đối với những người muốn đi sâu hơn, chúng tôi cũng đã xuất bản một hướng dẫn thực hành về những tiến bộ gần đây nhất trong robotics. Hướng dẫn này cung cấp các giải thích độc lập, tái suy ra các kỹ thuật hiện đại từ các nguyên tắc cơ bản và bao gồm các ví dụ mã sẵn sàng sử dụng bằng LeRobot và Hugging Face.

Bản thân hướng dẫn được lưu trữ trong Không gian và nó có các ví dụ thực tế sử dụng LeRobot, với tất cả các mô hình và bộ dữ liệu trên Hugging Hub. Bạn cũng có thể xem bài báo của chúng tôi để biết tổng quan chi tiết.

Những suy nghĩ Cuối cùng từ Nhóm

Ngoài những tính năng chính này, bản phát hành này còn được tích hợp nhiều bản sửa lỗi, cải tiến tài liệu, các phần phụ thuộc được cập nhật, nhiều ví dụ hơn và cơ sở hạ tầng tốt hơn để làm cho trải nghiệm của bạn với LeRobot trở nên mượt mà và đáng tin cậy hơn.

Chúng tôi muốn gửi lời cảm ơn chân thành đến mọi người trong cộng đồng vì những đóng góp, phản hồi và hỗ trợ vô giá của bạn. Chúng tôi vô cùng hào hứng về tương lai của robotics nguồn mở và rất nóng lòng được hợp tác với bạn trong những gì sắp tới!

Hãy theo dõi để biết thêm 🤗 Bắt đầu tại đây!

— Nhóm LeRobot ❤️

AI Today - SkyAI