AlphaEvolve: Một tác nhân mã hóa được hỗ trợ bởi Gemini để thiết kế các thuật toán tiên tiến - Google DeepMind

Tác nhân AI mới phát triển các thuật toán cho toán học và các ứng dụng thực tế trong điện toán bằng cách kết hợp khả năng sáng tạo của các mô hình ngôn ngữ lớn với các trình đánh giá tự động.

Các mô hình ngôn ngữ lớn (LLM) có tính linh hoạt đáng kể. Chúng có thể tóm tắt tài liệu, tạo mã hoặc thậm chí đưa ra các ý tưởng mới. Và bây giờ, chúng tôi đã mở rộng những khả năng này để nhắm mục tiêu các vấn đề cơ bản và rất phức tạp trong toán học và điện toán hiện đại.

Hôm nay, chúng tôi công bố AlphaEvolve, một tác nhân mã hóa tiến hóa được hỗ trợ bởi các mô hình ngôn ngữ lớn để khám phá và tối ưu hóa thuật toán đa năng. AlphaEvolve kết hợp khả năng giải quyết vấn đề sáng tạo của các mô hình Gemini với các trình đánh giá tự động để xác minh câu trả lời và sử dụng một khung tiến hóa để cải thiện những ý tưởng đầy hứa hẹn nhất.

AlphaEvolve đã tăng cường hiệu quả của các trung tâm dữ liệu, thiết kế chip và quy trình đào tạo AI của Google — bao gồm cả việc đào tạo các mô hình ngôn ngữ lớn làm nền tảng cho chính AlphaEvolve. Nó cũng đã giúp thiết kế các thuật toán nhân ma trận nhanh hơn và tìm ra các giải pháp mới cho các vấn đề toán học mở, cho thấy triển vọng đáng kinh ngạc để ứng dụng trong nhiều lĩnh vực.

Thiết kế các thuật toán tốt hơn với các mô hình ngôn ngữ lớn

Năm 2023, lần đầu tiên chúng tôi đã chứng minh rằng các mô hình ngôn ngữ lớn có thể tạo ra các hàm được viết bằng mã máy tính để giúp khám phá kiến thức mới và có thể chứng minh là đúng về một vấn đề khoa học mở. AlphaEvolve là một tác nhân có thể vượt ra ngoài việc khám phá một hàm duy nhất để phát triển toàn bộ cơ sở mã và phát triển các thuật toán phức tạp hơn nhiều.

AlphaEvolve tận dụng một tập hợp các mô hình ngôn ngữ lớn hiện đại: mô hình nhanh nhất và hiệu quả nhất của chúng tôi, Gemini Flash, tối đa hóa phạm vi ý tưởng được khám phá, trong khi mô hình mạnh mẽ nhất của chúng tôi, Gemini Pro, cung cấp chiều sâu quan trọng với các đề xuất sâu sắc. Cùng với nhau, các mô hình này đề xuất các chương trình máy tính triển khai các giải pháp thuật toán dưới dạng mã.

AlphaEvolve xác minh, chạy và chấm điểm các chương trình được đề xuất bằng cách sử dụng các chỉ số đánh giá tự động. Các chỉ số này cung cấp một đánh giá khách quan, định lượng về độ chính xác và chất lượng của từng giải pháp. Điều này làm cho AlphaEvolve đặc biệt hữu ích trong một loạt các lĩnh vực, nơi tiến độ có thể được đo lường một cách rõ ràng và có hệ thống, như trong toán học và khoa học máy tính.

Tối ưu hóa hệ sinh thái điện toán của chúng tôi

Trong năm qua, chúng tôi đã triển khai các thuật toán được AlphaEvolve khám phá trên toàn bộ hệ sinh thái điện toán của Google, bao gồm các trung tâm dữ liệu, phần cứng và phần mềm của chúng tôi. Tác động của mỗi cải tiến này được nhân lên trên cơ sở hạ tầng AI và điện toán của chúng tôi để xây dựng một hệ sinh thái kỹ thuật số mạnh mẽ và bền vững hơn cho tất cả người dùng của chúng tôi.

Cải thiện lập lịch trung tâm dữ liệu

AlphaEvolve đã khám phá ra một phương pháp phỏng đoán đơn giản nhưng hiệu quả đáng kể để giúp Borg điều phối các trung tâm dữ liệu rộng lớn của Google hiệu quả hơn. Giải pháp này, hiện đang được sản xuất trong hơn một năm, liên tục phục hồi trung bình 0,7% tài nguyên tính toán trên toàn thế giới của Google. Mức tăng hiệu quả bền vững này có nghĩa là tại bất kỳ thời điểm nào, có thể hoàn thành nhiều tác vụ hơn trên cùng một dấu chân tính toán. Giải pháp của AlphaEvolve không chỉ mang lại hiệu suất mạnh mẽ mà còn mang lại những lợi thế hoạt động đáng kể của mã có thể đọc được bởi con người: khả năng diễn giải, khả năng gỡ lỗi, khả năng dự đoán và dễ triển khai.

Hỗ trợ thiết kế phần cứng

AlphaEvolve đã đề xuất một Verilog viết lại để loại bỏ các bit không cần thiết trong một mạch số học quan trọng, được tối ưu hóa cao để nhân ma trận. Điều quan trọng là đề xuất phải vượt qua các phương pháp xác minh mạnh mẽ để xác nhận rằng mạch đã sửa đổi vẫn duy trì tính đúng đắn về chức năng. Đề xuất này đã được tích hợp vào Bộ xử lý Tensor (TPU) sắp tới, bộ tăng tốc AI tùy chỉnh của Google. Bằng cách đề xuất các sửa đổi bằng ngôn ngữ tiêu chuẩn của các nhà thiết kế chip, AlphaEvolve thúc đẩy một cách tiếp cận hợp tác giữa AI và các kỹ sư phần cứng để tăng tốc thiết kế các chip chuyên dụng trong tương lai.

Nâng cao khả năng đào tạo và suy luận AI

AlphaEvolve đang tăng tốc hiệu suất và tốc độ nghiên cứu AI. Bằng cách tìm ra những cách thông minh hơn để chia một phép nhân ma trận lớn thành các vấn đề con dễ quản lý hơn, nó đã tăng tốc kernel quan trọng này trong kiến trúc của Gemini lên 23%, dẫn đến giảm 1% thời gian đào tạo của Gemini. Vì việc phát triển các mô hình AI tổng quát đòi hỏi tài nguyên tính toán đáng kể, mọi hiệu quả đạt được đều chuyển thành khoản tiết kiệm đáng kể. Ngoài việc tăng hiệu suất, AlphaEvolve còn giảm đáng kể thời gian kỹ thuật cần thiết để tối ưu hóa kernel, từ hàng tuần nỗ lực của chuyên gia xuống còn vài ngày thí nghiệm tự động, cho phép các nhà nghiên cứu đổi mới nhanh hơn.

AlphaEvolve cũng có thể tối ưu hóa các hướng dẫn GPU cấp thấp. Lĩnh vực cực kỳ phức tạp này thường đã được trình biên dịch tối ưu hóa rất nhiều, vì vậy các kỹ sư con người thường không sửa đổi trực tiếp. AlphaEvolve đã đạt được tốc độ tăng lên tới 32,5% cho việc triển khai kernel FlashAttention trong kiến trúc học sâu dựa trên Transformer. Loại tối ưu hóa này giúp các chuyên gia xác định chính xác các tắc nghẽn hiệu suất và dễ dàng kết hợp các cải tiến vào cơ sở mã của họ, tăng năng suất của họ và cho phép tiết kiệm chi phí tính toán và năng lượng trong tương lai.

Thúc đẩy các giới hạn trong toán học và khám phá thuật toán

AlphaEvolve cũng có thể đề xuất các cách tiếp cận mới cho các vấn đề toán học phức tạp. Được cung cấp một bộ xương mã tối thiểu cho một chương trình máy tính, AlphaEvolve đã thiết kế nhiều thành phần của một quy trình tối ưu hóa dựa trên gradient mới, đã khám phá ra nhiều thuật toán mới để nhân ma trận, một vấn đề cơ bản trong khoa học máy tính.

Quy trình của AlphaEvolve đã tìm ra một thuật toán để nhân các ma trận có giá trị phức 4x4 bằng cách sử dụng 48 phép nhân vô hướng, cải thiện so với thuật toán năm 1969 của Strassen trước đây được biết đến là tốt nhất trong cài đặt này. Phát hiện này thể hiện một tiến bộ đáng kể so với công việc trước đây của chúng tôi, AlphaTensor, chuyên về các thuật toán nhân ma trận và đối với ma trận 4x4, chỉ tìm thấy những cải tiến cho số học nhị phân.

Để điều tra bề rộng của AlphaEvolve, chúng tôi đã áp dụng hệ thống này cho hơn 50 vấn đề mở trong phân tích toán học, hình học, tổ hợp và lý thuyết số. Tính linh hoạt của hệ thống cho phép chúng tôi thiết lập hầu hết các thí nghiệm chỉ trong vài giờ. Trong khoảng 75% trường hợp, nó đã tái khám phá các giải pháp hiện đại, theo hiểu biết tốt nhất của chúng tôi.

Và trong 20% trường hợp, AlphaEvolve đã cải thiện các giải pháp đã biết tốt nhất trước đây, tạo ra tiến bộ đối với các vấn đề mở tương ứng. Ví dụ, nó đã nâng cao bài toán số tiếp xúc. Thử thách hình học này đã thu hút các nhà toán học trong hơn 300 năm và liên quan đến số lượng tối đa các hình cầu không chồng chéo chạm vào một hình cầu đơn vị chung. AlphaEvolve đã khám phá ra một cấu hình gồm 593 hình cầu bên ngoài và thiết lập một giới hạn dưới mới trong 11 chiều.

Con đường phía trước

AlphaEvolve hiển thị sự tiến triển từ việc khám phá các thuật toán cho các lĩnh vực cụ thể đến việc phát triển các thuật toán phức tạp hơn cho một loạt các thách thức trong thế giới thực. Chúng tôi kỳ vọng AlphaEvolve sẽ tiếp tục cải thiện cùng với khả năng của các mô hình ngôn ngữ lớn, đặc biệt khi chúng trở nên mã hóa tốt hơn.

Cùng với Nhóm nghiên cứu về con người + AI, chúng tôi đã xây dựng một giao diện người dùng thân thiện để tương tác với AlphaEvolve. Chúng tôi đang lên kế hoạch cho Chương trình truy cập sớm cho người dùng học thuật được chọn và cũng đang khám phá các khả năng để làm cho AlphaEvolve có sẵn rộng rãi hơn. Để đăng ký sự quan tâm của bạn, vui lòng hoàn thành mẫu này.

Mặc dù AlphaEvolve hiện đang được áp dụng trong toán học và điện toán, nhưng bản chất chung của nó có nghĩa là nó có thể được áp dụng cho bất kỳ vấn đề nào mà giải pháp của nó có thể được mô tả như một thuật toán và được xác minh tự động. Chúng tôi tin rằng AlphaEvolve có thể mang tính chuyển đổi trên nhiều lĩnh vực khác như khoa học vật liệu, khám phá thuốc, tính bền vững và các ứng dụng công nghệ và kinh doanh rộng hơn.

Đọc thêm chi tiết trong báo cáo chính thức của chúng tôi

Đăng ký sự quan tâm của bạn khi sử dụng AlphaEvolve

Xem kết quả toán học của AlphaEvolve trong Google Colab của chúng tôi

Lời cảm ơn

AlphaEvolve được phát triển bởi Matej Balog, Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont, Po-Sen Huang, Adam Zsolt Wagner, Sergey Shirobokov, Borislav Kozlovskii, Francisco J. R. Ruiz, Abbas Mehrabian, M. Pawan Kumar, Abigail See, Swarat Chaudhuri, George Holland, Alex Davies, Sebastian Nowozin và Pushmeet Kohli. Nghiên cứu này được phát triển như một phần trong nỗ lực của chúng tôi tập trung vào việc sử dụng AI để khám phá thuật toán.

Chúng tôi xin ghi nhận sự đóng góp, lời khuyên và hỗ trợ từ Jean-Baptiste Alayrac, Ankit Anand, Natasha Antropova, Giorgio Arena, Mohammadamin Barekatain, Johannes Bausch, Henning Becker, Daniel Belov, Alexander Belyaev, Sebastian Bodenstein, Sebastian Borgeaud, Calin Cascaval, Indranil Chakraborty, Benjamin Chetioui, Justin Chiu, Christopher Clark, Marco Cornero, Jeff Dean, Gaurav Dhiman, Yanislav Donchev, Srikanth Dwarakanath, Jordan Ellenberg, Alhussein Fawzi, Michael Figurnov, Aaron Gentleman, Bogdan Georgiev, Sergio Guadarrama, Demis Hassabis, Patrick Heisel, Chase Hensel, Koray Kavukcuoglu, Sultan Kenjeyev, Aliia Khasanova, Sridhar Lakshmanamurthy, Sergei Lebedev, Dmitry Lepikhin, Daniel Mankowitz, Andrea Michi, Kieran Milan, Vinod Nair, Robert O’Callahan, Cosmin Paduraru, Stig Petersen, Federico Piccinini, Parthasarathy Ranganatha, Bernardino Romera-Paredes, Georges Rotival, Kirk Sanders, Javier Gomez Serrano, Oleg Shyshkov, Timur Sitdikov, Tammo Spalink, Kerry Takenaka, Richard Tanburn, Terence Tao, Amin Vahdat, JD Velasquez, Dimitrios Vytiniotis, Julian Walker và Pengming Wang. Để biết thêm chi tiết, vui lòng xem báo cáo chính thức của chúng tôi.

Chúng tôi xin cảm ơn Armin Senoner, Juanita Bawagan, Jane Park, Arielle Bier và Molly Beck vì những phản hồi về bài đăng trên blog và sự giúp đỡ cho thông báo này; William Hood, Irina Andronic, Victoria Johnston, Lucas Dixon, Adam Connors và Jimbo Wilson đã giúp đỡ các hình minh họa và hình ảnh.

Link bài viết gốc

• Tags:
• Ai
• 14 May 2025
• Deepmind.google