Google ra mắt mô hình AI mã nguồn mở siêu nhỏ và hiệu quả Gemma 3 270M có thể chạy trên điện thoại thông minh
Google ra mắt Gemma 3 270M, một mô hình AI mã nguồn mở siêu nhỏ và hiệu quả có thể chạy trên điện thoại thông minh.
- 8 min read
Google ra mắt mô hình AI mã nguồn mở siêu nhỏ và hiệu quả Gemma 3 270M có thể chạy trên điện thoại thông minh
Nhóm nghiên cứu AI DeepMind của Google đã công bố một mô hình AI mã nguồn mở mới ngày hôm nay, Gemma 3 270M.
Như tên gọi của nó cho thấy, đây là một mô hình với 270 triệu tham số — nhỏ hơn nhiều so với 70 tỷ hoặc nhiều hơn các tham số của nhiều LLM tiên tiến (các tham số là số lượng cài đặt nội bộ chi phối hành vi của mô hình).
Mặc dù nhiều tham số thường đồng nghĩa với một mô hình lớn hơn và mạnh mẽ hơn, trọng tâm của Google ở đây gần như ngược lại: hiệu quả cao, cung cấp cho các nhà phát triển một mô hình đủ nhỏ để chạy trực tiếp trên điện thoại thông minh và cục bộ, không cần kết nối internet, như đã thấy trong các thử nghiệm nội bộ trên Pixel 9 Pro SoC.
Tuy nhiên, mô hình này vẫn có khả năng xử lý các tác vụ phức tạp, dành riêng cho từng miền và có thể được tinh chỉnh nhanh chóng chỉ trong vài phút để phù hợp với nhu cầu của một doanh nghiệp hoặc nhà phát triển độc lập.
Trên mạng xã hội X, Kỹ sư quan hệ nhà phát triển AI nhân viên của Google DeepMind, Omar Sanseviero, nói thêm rằng Gemma 3 270M cũng có thể chạy trực tiếp trong trình duyệt web của người dùng, trên Raspberry Pi và “trong máy nướng bánh mì của bạn”, nhấn mạnh khả năng hoạt động trên phần cứng rất nhẹ.
Gemma 3 270M kết hợp 170 triệu tham số nhúng — nhờ vào vốn từ vựng lớn 256k có khả năng xử lý các mã thông báo hiếm và cụ thể — với 100 triệu tham số khối biến đổi.
Theo Google, kiến trúc hỗ trợ hiệu suất mạnh mẽ trên các tác vụ tuân theo hướng dẫn ngay khi xuất xưởng trong khi vẫn đủ nhỏ để tinh chỉnh và triển khai nhanh chóng trên các thiết bị có tài nguyên hạn chế, bao gồm cả phần cứng di động.
Gemma 3 270M kế thừa kiến trúc và tiền huấn luyện của các mô hình Gemma 3 lớn hơn, đảm bảo khả năng tương thích trên toàn hệ sinh thái Gemma. Với tài liệu, công thức tinh chỉnh và hướng dẫn triển khai có sẵn cho các công cụ như Hugging Face, UnSloth và JAX, các nhà phát triển có thể chuyển từ thử nghiệm sang triển khai một cách nhanh chóng.
Điểm số cao trên các điểm chuẩn cho kích thước của nó và hiệu quả cao
Trên điểm chuẩn IFEval, đo lường khả năng tuân theo hướng dẫn của một mô hình, Gemma 3 270M được điều chỉnh theo hướng dẫn đã đạt được 51,2%.
Điểm số này đặt nó cao hơn nhiều so với các mô hình nhỏ tương tự như SmolLM2 135M Instruct và Qwen 2.5 0.5B Instruct, và gần hơn với phạm vi hiệu suất của một số mô hình có hàng tỷ tham số, theo so sánh đã xuất bản của Google.
Tuy nhiên, như các nhà nghiên cứu và các nhà lãnh đạo tại startup AI đối thủ Liquid AI đã chỉ ra trong các phản hồi trên X, Google đã bỏ qua mô hình LFM2-350M đã phát hành của riêng Liquid vào tháng 7 năm nay, mô hình này đã đạt được con số khổng lồ 65,12% chỉ với một vài tham số nữa (mô hình ngôn ngữ có kích thước tương tự).
Một trong những điểm mạnh xác định của mô hình là hiệu quả năng lượng của nó. Trong các thử nghiệm nội bộ sử dụng mô hình định lượng INT4 trên Pixel 9 Pro SoC, 25 cuộc trò chuyện chỉ tiêu thụ 0,75% pin của thiết bị.
Điều này làm cho Gemma 3 270M trở thành một lựa chọn thiết thực cho AI trên thiết bị, đặc biệt trong các trường hợp quyền riêng tư và chức năng ngoại tuyến là quan trọng.
Bản phát hành bao gồm cả mô hình được huấn luyện trước và mô hình được điều chỉnh theo hướng dẫn, mang lại cho các nhà phát triển tiện ích ngay lập tức cho các tác vụ tuân theo hướng dẫn chung.
Các điểm kiểm tra được huấn luyện nhận biết định lượng (QAT) cũng có sẵn, cho phép độ chính xác INT4 với tổn thất hiệu suất tối thiểu và làm cho mô hình sẵn sàng sản xuất cho các môi trường bị hạn chế về tài nguyên.
Một phiên bản nhỏ, được tinh chỉnh của Gemma 3 270M có thể thực hiện nhiều chức năng của LLM lớn hơn
Google coi Gemma 3 270M là một phần của triết lý rộng hơn về việc chọn đúng công cụ cho công việc thay vì dựa vào kích thước mô hình thô.
Đối với các chức năng như phân tích tình cảm, trích xuất thực thể, định tuyến truy vấn, tạo văn bản có cấu trúc, kiểm tra tuân thủ và viết sáng tạo, công ty cho biết một mô hình nhỏ được tinh chỉnh có thể mang lại kết quả nhanh hơn, hiệu quả về chi phí hơn so với một mô hình đa năng lớn.
Lợi ích của việc chuyên môn hóa là rõ ràng trong các công việc trước đây, chẳng hạn như sự hợp tác của Adaptive ML với SK Telecom.
Bằng cách tinh chỉnh một mô hình Gemma 3 4B để kiểm duyệt nội dung đa ngôn ngữ, nhóm đã vượt trội hơn nhiều so với các hệ thống độc quyền lớn hơn.
Gemma 3 270M được thiết kế để cho phép thành công tương tự ở quy mô thậm chí còn nhỏ hơn, hỗ trợ các nhóm mô hình chuyên biệt phù hợp với từng tác vụ riêng lẻ.
Ứng dụng Demo Bedtime Story Generator cho thấy tiềm năng của Gemma 3 270M
Ngoài việc sử dụng trong doanh nghiệp, mô hình này còn phù hợp với các tình huống sáng tạo. Trong một video demo được đăng trên YouTube, Google giới thiệu một ứng dụng Bedtime Story Generator được xây dựng với Gemma 3 270M và Transformers.js chạy hoàn toàn ngoại tuyến trong một trình duyệt web, cho thấy tính linh hoạt của mô hình trong các ứng dụng nhẹ, dễ truy cập.
Video nêu bật khả năng tổng hợp nhiều đầu vào của mô hình bằng cách cho phép lựa chọn một nhân vật chính (ví dụ: “một con mèo kỳ diệu”), một bối cảnh (“trong một khu rừng mê hoặc”), một bước ngoặt trong cốt truyện (“khám phá một cánh cửa bí mật”), một chủ đề (“Phiêu lưu”) và độ dài mong muốn (“Ngắn”).
Sau khi các tham số được đặt, mô hình Gemma 3 270M sẽ tạo ra một câu chuyện mạch lạc và giàu trí tưởng tượng. Ứng dụng tiếp tục dệt nên một câu chuyện ngắn, đầy phiêu lưu dựa trên lựa chọn của người dùng, chứng minh khả năng tạo văn bản nhận biết ngữ cảnh và sáng tạo của mô hình.
Video này là một ví dụ mạnh mẽ về cách Gemma 3 270M nhẹ nhưng có khả năng có thể cung cấp năng lượng cho các ứng dụng nhanh chóng, hấp dẫn và tương tác mà không cần dựa vào đám mây, mở ra những khả năng mới cho trải nghiệm AI trên thiết bị.
Mã nguồn mở theo giấy phép tùy chỉnh của Gemma
Gemma 3 270M được phát hành theo Điều khoản sử dụng của Gemma, cho phép sử dụng, sao chép, sửa đổi và phân phối mô hình và các dẫn xuất, với điều kiện đáp ứng một số điều kiện nhất định.
Chúng bao gồm việc chuyển tiếp các hạn chế sử dụng được nêu trong Chính sách sử dụng bị cấm của Google, cung cấp Điều khoản sử dụng cho người nhận ở hạ nguồn và chỉ ra rõ ràng bất kỳ sửa đổi nào được thực hiện. Phân phối có thể trực tiếp hoặc thông qua các dịch vụ được lưu trữ như API hoặc ứng dụng web.
Đối với các nhóm doanh nghiệp và nhà phát triển thương mại, điều này có nghĩa là mô hình có thể được nhúng vào các sản phẩm, được triển khai như một phần của dịch vụ đám mây hoặc được tinh chỉnh thành các dẫn xuất chuyên biệt, miễn là các điều khoản cấp phép được tôn trọng. Google không yêu cầu quyền đối với các kết quả đầu ra do mô hình tạo ra, trao cho các doanh nghiệp toàn quyền đối với nội dung họ tạo.
Tuy nhiên, các nhà phát triển có trách nhiệm đảm bảo tuân thủ các luật hiện hành và tránh các hành vi sử dụng bị cấm, chẳng hạn như tạo nội dung có hại hoặc vi phạm các quy tắc về quyền riêng tư.
Giấy phép này không phải là mã nguồn mở theo nghĩa truyền thống, nhưng nó cho phép sử dụng thương mại rộng rãi mà không cần giấy phép trả phí riêng.
Đối với các công ty xây dựng các ứng dụng AI thương mại, các cân nhắc hoạt động chính là đảm bảo người dùng cuối bị ràng buộc bởi các hạn chế tương đương, ghi lại các sửa đổi của mô hình và thực hiện các biện pháp an toàn phù hợp với chính sách sử dụng bị cấm.
Với Gemmaverse vượt qua 200 triệu lượt tải xuống và dòng sản phẩm Gemma bao gồm các biến thể được tối ưu hóa cho đám mây, máy tính để bàn và thiết bị di động, Google AI Developers đang định vị Gemma 3 270M làm nền tảng để xây dựng các giải pháp AI nhanh chóng, hiệu quả về chi phí và tập trung vào quyền riêng tư, và có vẻ như nó đã có một khởi đầu tuyệt vời.