Các tác nhân bảo vệ: Cách tiếp cận mới có thể giảm ảo giác AI xuống dưới 1%

Ảo giác là một rủi ro hạn chế việc triển khai AI doanh nghiệp trong thế giới thực.

Nhiều tổ chức đã cố gắng giải quyết thách thức giảm ảo giác bằng nhiều cách tiếp cận khác nhau, mỗi cách có mức độ thành công khác nhau. Trong số nhiều nhà cung cấp đã làm việc trong vài năm qua để giảm rủi ro, có Vectara. Công ty khởi đầu là một nhà tiên phong ban đầu trong việc truy xuất có căn cứ, ngày nay được biết đến nhiều hơn với từ viết tắt Retrieval Augmented Generation (RAG). Một lời hứa ban đầu của RAG là nó có thể giúp giảm ảo giác bằng cách lấy thông tin từ nội dung được cung cấp.

Mặc dù RAG hữu ích như một phương pháp giảm ảo giác, nhưng ảo giác vẫn xảy ra ngay cả với RAG. Trong số các giải pháp hiện có trong ngành, hầu hết các công nghệ tập trung vào việc phát hiện ảo giác hoặc triển khai các biện pháp bảo vệ phòng ngừa. Vectara đã công bố một cách tiếp cận hoàn toàn khác: tự động xác định, giải thích và sửa chữa các ảo giác AI thông qua các tác nhân bảo vệ bên trong một dịch vụ mới có tên là Vectara Hallucination Corrector.

Các tác nhân bảo vệ có chức năng là các thành phần phần mềm giám sát và thực hiện các hành động bảo vệ trong quy trình làm việc của AI. Thay vì chỉ áp dụng các quy tắc bên trong LLM, lời hứa của các tác nhân bảo vệ là áp dụng các biện pháp khắc phục trong một cách tiếp cận AI có tính tác nhân giúp cải thiện quy trình làm việc. Cách tiếp cận của Vectara thực hiện các chỉnh sửa phẫu thuật đồng thời bảo toàn nội dung tổng thể và cung cấp các giải thích chi tiết về những gì đã thay đổi và lý do tại sao.

Cách tiếp cận này dường như mang lại kết quả có ý nghĩa. Theo Vectara, hệ thống có thể giảm tỷ lệ ảo giác cho các mô hình ngôn ngữ nhỏ hơn dưới 7 tỷ tham số, xuống dưới 1%.

Eva Nahari, giám đốc sản phẩm tại Vectara cho biết trong một cuộc phỏng vấn độc quyền với VentureBeat: “Khi các doanh nghiệp đang triển khai nhiều quy trình làm việc có tính tác nhân hơn, tất cả chúng ta đều biết rằng ảo giác vẫn là một vấn đề với LLM và cách mà nó sẽ khuếch đại theo cấp số nhân tác động tiêu cực của việc mắc lỗi trong một quy trình làm việc có tính tác nhân là điều hơi đáng sợ đối với các doanh nghiệp. Vì vậy, những gì chúng tôi đã đặt ra như một sự tiếp nối sứ mệnh xây dựng AI đáng tin cậy và cho phép tiềm năng đầy đủ của gen AI cho doanh nghiệp… là hướng đi mới này về việc phát hành các tác nhân bảo vệ.”

Bối cảnh phát hiện ảo giác AI doanh nghiệp

Không có gì ngạc nhiên khi mọi doanh nghiệp đều muốn có AI chính xác. Cũng không có gì ngạc nhiên khi có nhiều lựa chọn khác nhau để giảm ảo giác.

Các phương pháp RAG giúp giảm ảo giác bằng cách cung cấp các phản hồi có căn cứ từ nội dung, nhưng chúng vẫn có thể mang lại kết quả không chính xác. Một trong những triển khai thú vị hơn của RAG là một triển khai từ Mayo Clinic, sử dụng phương pháp “RAG ngược” để hạn chế ảo giác.

Nâng cao chất lượng dữ liệu và cách tạo dữ liệu nhúng vector là một cách tiếp cận khác để cải thiện độ chính xác. Trong số nhiều nhà cung cấp làm việc trên phương pháp này, có nhà cung cấp cơ sở dữ liệu MongoDB, gần đây đã mua lại nhà cung cấp mô hình nhúng và truy xuất nâng cao Voyage AI.

Các biện pháp bảo vệ, có sẵn từ nhiều nhà cung cấp, bao gồm Nvidia và AWS, trong số những người khác, giúp phát hiện các đầu ra rủi ro và có thể giúp cải thiện độ chính xác trong một số trường hợp. IBM thực sự có một tập hợp các mô hình nguồn mở Gra từ Granite Guardian tích hợp trực tiếp các biện pháp bảo vệ như một loạt các hướng dẫn tinh chỉnh để giảm các đầu ra rủi ro.

Một giải pháp tiềm năng khác là sử dụng lý luận để xác thực đầu ra. AWS tuyên bố rằng phương pháp Lý luận tự động Bedrock của họ bắt được 100% ảo giác, mặc dù tuyên bố đó rất khó xác thực.

Startup Oumi cung cấp một phương pháp khác: xác thực các tuyên bố do AI đưa ra trên cơ sở từng câu bằng cách xác thực các tài liệu nguồn bằng một công nghệ nguồn mở có tên là HallOumi.

Cách tiếp cận tác nhân bảo vệ khác biệt như thế nào

Mặc dù tất cả các phương pháp khác để giảm ảo giác đều có giá trị, nhưng Vectara tuyên bố rằng phương pháp của họ là khác biệt.

Thay vì chỉ xác định xem có ảo giác hay không và sau đó gắn cờ hoặc từ chối nội dung, phương pháp tác nhân bảo vệ thực sự sửa chữa vấn đề. Nahari nhấn mạnh rằng tác nhân bảo vệ thực hiện hành động.

“Đó không chỉ là học hỏi điều gì đó,” cô nói. “Đó là thực hiện hành động thay mặt cho ai đó, và điều đó khiến nó trở thành một tác nhân.”

Cơ chế kỹ thuật của các tác nhân bảo vệ

Tác nhân bảo vệ là một quy trình nhiều giai đoạn thay vì một mô hình duy nhất.

Suleman Kazi, trưởng nhóm công nghệ máy học tại Vectara nói với VentureBeat rằng hệ thống bao gồm ba thành phần chính: một mô hình tạo, một mô hình phát hiện ảo giác và một mô hình sửa chữa ảo giác. Quy trình làm việc có tính tác nhân này cho phép bảo vệ động các ứng dụng AI, giải quyết một mối quan tâm quan trọng đối với các doanh nghiệp còn do dự trong việc chấp nhận hoàn toàn các công nghệ AI tổng hợp.

Thay vì loại bỏ hoàn toàn các đầu ra có khả năng có vấn đề, hệ thống có thể thực hiện các điều chỉnh tối thiểu, chính xác đối với các thuật ngữ hoặc cụm từ cụ thể. Đây là cách nó hoạt động:

1. Một LLM chính tạo ra một phản hồi
2. Mô hình phát hiện ảo giác của Vectara (Mô hình đánh giá ảo giác Hughes) xác định các ảo giác tiềm năng
3. Nếu ảo giác được phát hiện trên một ngưỡng nhất định, tác nhân sửa chữa sẽ kích hoạt
4. Tác nhân sửa chữa thực hiện các thay đổi tối thiểu, chính xác để khắc phục những điểm không chính xác đồng thời bảo toàn phần còn lại của nội dung
5. Hệ thống cung cấp các giải thích chi tiết về những gì đã bị ảo giác và lý do tại sao

Tại sao sắc thái lại quan trọng đối với việc phát hiện ảo giác

Các khả năng sửa chữa sắc thái là vô cùng quan trọng. Hiểu ngữ cảnh của truy vấn và các tài liệu nguồn có thể phân biệt giữa một câu trả lời chính xác và một ảo giác.

Khi thảo luận về các sắc thái của việc sửa chữa ảo giác, Kazi đã cung cấp một ví dụ cụ thể để minh họa lý do tại sao việc sửa chữa ảo giác một cách chung chung không phải lúc nào cũng phù hợp. Ông mô tả một kịch bản trong đó AI đang xử lý một cuốn sách khoa học viễn tưởng mô tả bầu trời có màu đỏ, thay vì màu xanh lam thông thường. Trong bối cảnh này, một hệ thống sửa chữa ảo giác cứng nhắc có thể tự động “sửa” bầu trời đỏ thành xanh lam, điều này sẽ không chính xác đối với bối cảnh sáng tạo của một câu chuyện khoa học viễn tưởng.

Ví dụ này được sử dụng để chứng minh rằng việc sửa chữa ảo giác cần có sự hiểu biết về ngữ cảnh. Không phải mọi sai lệch so với thông tin mong đợi đều là một ảo giác thực sự - một số là lựa chọn sáng tạo có chủ ý hoặc mô tả dành riêng cho miền. Điều này làm nổi bật sự phức tạp của việc phát triển một hệ thống AI có thể phân biệt giữa các lỗi thực sự và các biến thể có chủ đích trong ngôn ngữ và mô tả.

HCMBench: Một bộ công cụ đánh giá mới để sửa chữa ảo giác

Cùng với tác nhân bảo vệ của mình, Vectara đang phát hành HCMBench, một bộ công cụ đánh giá nguồn mở cho các mô hình sửa chữa ảo giác.

Điểm chuẩn này cung cấp các cách tiêu chuẩn hóa để đánh giá mức độ tốt của các phương pháp khác nhau trong việc sửa chữa ảo giác. Mục tiêu của điểm chuẩn là giúp đỡ cộng đồng nói chung và cho phép các doanh nghiệp đánh giá độ chính xác của các tuyên bố sửa chữa ảo giác, bao gồm cả những tuyên bố từ Vectara. Bộ công cụ hỗ trợ nhiều chỉ số, bao gồm HHEM, Minicheck, AXCEL và FACTSJudge, cung cấp một đánh giá toàn diện về hiệu quả sửa chữa ảo giác.

Kazi nói: “Nếu cộng đồng nói chung muốn phát triển các mô hình sửa chữa của riêng họ, họ có thể sử dụng điểm chuẩn đó làm bộ dữ liệu đánh giá để cải thiện các mô hình của họ.”

Điều này có ý nghĩa gì đối với các doanh nghiệp

Đối với các doanh nghiệp đang điều hướng các rủi ro của ảo giác AI, cách tiếp cận của Vectara thể hiện một sự thay đổi đáng kể trong chiến lược.

Thay vì chỉ triển khai các hệ thống phát hiện hoặc từ bỏ AI trong các trường hợp sử dụng có rủi ro cao, các công ty hiện có thể xem xét một con đường trung gian: triển khai các khả năng sửa chữa. Phương pháp tác nhân bảo vệ cũng phù hợp với xu hướng hướng tới các quy trình làm việc AI phức tạp hơn, nhiều bước hơn.

Các doanh nghiệp muốn triển khai các phương pháp này nên xem xét:

1. Đánh giá nơi rủi ro ảo giác là quan trọng nhất trong các triển khai AI của họ.
2. Xem xét các tác nhân bảo vệ cho các quy trình làm việc có giá trị cao, rủi ro cao, nơi độ chính xác là tối quan trọng.
3. Duy trì các khả năng giám sát của con người song song với việc sửa chữa tự động.
4. Tận dụng các điểm chuẩn như HCMBench để đánh giá các khả năng sửa chữa ảo giác.

Với công nghệ sửa chữa ảo giác đang trưởng thành, các doanh nghiệp có thể sớm có thể triển khai AI trong các trường hợp sử dụng bị hạn chế trước đây đồng thời duy trì các tiêu chuẩn chính xác cần thiết cho các hoạt động kinh doanh quan trọng.

Link bài viết gốc

• Tags:
• Ai
• 15 May 2025
• Venturebeat.com