AssetOpsBench: Thu hẹp khoảng cách giữa các bài kiểm tra hiệu năng AI Agent và thực tế công nghiệp

AssetOpsBench là một hệ thống đánh giá và kiểm tra toàn diện, với sáu khía cạnh định tính, giúp thu hẹp khoảng cách cho các AI Agent trong các lĩnh vực chuyên biệt, bắt đầu từ Quản lý Vòng đời Tài sản Công nghiệp.

Giới thiệu

Trong khi các bài kiểm tra hiệu năng AI hiện tại hoạt động tốt với các tác vụ riêng lẻ như lập trình hoặc điều hướng web, chúng thường không nắm bắt được sự phức tạp của các hoạt động công nghiệp trong thế giới thực. Để thu hẹp khoảng cách này, chúng tôi giới thiệu AssetOpsBench, một khuôn khổ được thiết kế đặc biệt để đánh giá hiệu suất của AI Agent trên sáu khía cạnh quan trọng của các ứng dụng công nghiệp. Khác với các bài kiểm tra truyền thống, AssetOpsBench nhấn mạnh sự cần thiết của sự phối hợp đa agent — vượt ra ngoài các mô hình “đơn độc” để xử lý các chế độ lỗi phức tạp, tích hợp nhiều luồng dữ liệu và quản lý các lệnh công việc phức tạp. Bằng cách tập trung vào các động lực đa agent có rủi ro cao này, bài kiểm tra đảm bảo rằng các AI Agent được đánh giá dựa trên khả năng điều hướng sự tinh tế và yêu cầu an toàn quan trọng trong môi trường công nghiệp thực sự.

AssetOpsBench được xây dựng cho các hoạt động tài sản như máy làm lạnh và bộ xử lý không khí. Nó bao gồm:

• 2.3 triệu điểm dữ liệu cảm biến
• 140+ kịch bản được tuyển chọn trên 4 agent
• 4.2K lệnh công việc cho các kịch bản đa dạng
• 53 chế độ lỗi có cấu trúc

Các chuyên gia đã giúp tuyển chọn hơn 150+ kịch bản. Mỗi kịch bản bao gồm siêu dữ liệu: loại tác vụ, định dạng đầu ra, danh mục và các agent phụ. Các tác vụ được thiết kế trải dài trên:

• Phát hiện bất thường trong luồng dữ liệu cảm biến
• Suy luận về chế độ lỗi và chẩn đoán
• Dự báo và phân tích KPI
• Tóm tắt và ưu tiên lệnh công việc

Khuôn khổ đánh giá và Phản hồi tổng thể

AssetOpsBench đánh giá các hệ thống agent trên sáu khía cạnh định tính được thiết kế để phản ánh các ràng buộc vận hành thực tế trong quản lý tài sản công nghiệp. Thay vì tối ưu hóa cho một chỉ số thành công duy nhất, bài kiểm tra nhấn mạnh chất lượng của chuỗi quyết định, cơ sở bằng chứng, nhận thức về lỗi và khả năng hành động dưới dữ liệu không đầy đủ và nhiễu.

Mỗi lần chạy agent được chấm điểm trên sáu tiêu chí:

1. Hoàn thành tác vụ
2. Độ chính xác truy xuất
3. Xác minh kết quả
4. Độ chính xác của chuỗi
5. Sự rõ ràng và giải thích
6. Tỷ lệ sai sót (hallucination)

Qua các đánh giá ban đầu, chúng tôi nhận thấy rằng nhiều agent đa năng hoạt động tốt ở mức độ suy luận bề mặt nhưng gặp khó khăn với sự phối hợp đa bước bền vững liên quan đến lệnh công việc, ngữ nghĩa lỗi và các phụ thuộc theo thời gian. Các agent rõ ràng mô hình hóa bối cảnh vận hành và sự không chắc chắn có xu hướng tạo ra các quỹ đạo ổn định và dễ hiểu hơn, ngay cả khi việc hoàn thành tác vụ cuối cùng chỉ là một phần.

Phản hồi này có chủ đích: trong môi trường công nghiệp, việc hiểu tại sao một agent thất bại thường có giá trị hơn một tín hiệu thành công nhị phân.

Các chế độ lỗi trong quy trình công việc Agent Công nghiệp

Một đóng góp trung tâm của AssetOpsBench là việc xử lý rõ ràng các chế độ lỗi như là các tín hiệu đánh giá hạng nhất trong các quy trình công việc Agent Công nghiệp. Thay vì coi lỗi là một kết quả nhị phân, AssetOpsBench phân tích toàn bộ chuỗi thực thi đa agent để xác định ở đâu, như thế nào và tại sao hành vi của agent bị phá vỡ dưới các ràng buộc vận hành thực tế.

Phân tích lỗi trong AssetOpsBench được thực hiện thông qua một quy trình xử lý cấp độ chuỗi chuyên dụng (TrajFM), kết hợp suy luận dựa trên LLM với phân cụm thống kê để làm nổi bật các mẫu lỗi có thể diễn giải từ các dấu vết thực thi của agent. Quy trình này hoạt động theo ba giai đoạn: (1) trích xuất lỗi cấp độ chuỗi bằng cách sử dụng một lời nhắc chẩn đoán được hướng dẫn bởi LLM, (2) phân cụm dựa trên nhúng để nhóm các mẫu lỗi lặp lại, và (3) phân tích và trực quan hóa để hỗ trợ phản hồi của nhà phát triển và lặp lại.

Trong các kịch bản công nghiệp, các chế độ lỗi lặp lại bao gồm:

• Sự không khớp giữa dữ liệu cảm biến, cảnh báo và các lệnh công việc lịch sử
• Kết luận quá tự tin được đưa ra trong điều kiện thiếu bằng chứng, bị trì hoãn hoặc không đủ
• Tổng hợp không nhất quán các phương thức dữ liệu không đồng nhất giữa các agent
• Lựa chọn hành động sớm mà không có các bước xác minh hoặc phê duyệt đầy đủ
• Sự cố trong phối hợp đa agent, chẳng hạn như bỏ qua đầu vào hoặc sự không khớp giữa hành động và lý do

Quan trọng là, AssetOpsBench không chỉ dựa vào một hệ thống phân loại lỗi cố định, được chế tạo thủ công. Mặc dù một tập hợp có cấu trúc các loại lỗi được xác định trước (ví dụ: lỗi xác minh, lặp lại bước, vi phạm vai trò) được sử dụng để đảm bảo tính nhất quán, hệ thống được thiết kế rõ ràng để khám phá các mẫu lỗi mới xuất hiện trong thực tế. Các chế độ lỗi bổ sung được LLM xác định được nhúng và phân cụm tự động, cho phép hệ thống phân loại phát triển khi các thiết kế và hành vi agent mới được đánh giá.

Để bảo vệ bí mật công nghiệp, các dấu vết thực thi thô không bao giờ được tiết lộ. Thay vào đó, các agent nhận được điểm số tổng hợp trên sáu khía cạnh đánh giá cùng với tóm tắt chế độ lỗi đã phân cụm làm nổi bật tại sao agent thất bại, mà không tiết lộ dữ liệu nhạy cảm hoặc các bước suy luận trung gian. Vòng lặp đánh giá dựa trên phản hồi này cho phép cải thiện lặp đi lặp lại: các nhà phát triển có thể chẩn đoán các mẫu lỗi, tinh chỉnh thiết kế agent hoặc cấu trúc quy trình công việc và gửi lại các agent đã cải tiến để đánh giá thêm.

	</thead><tbody><tr>

Cộng đồng

Link bài viết gốc

• Tags:
• Ai
• 17 January 2026
• Huggingface.co