GGML và llama.cpp tham gia HF để đảm bảo sự tiến bộ lâu dài của AI cục bộ
GGML và llama.cpp đang tham gia HF để đảm bảo sự tiến bộ lâu dài của AI cục bộ
- 3 min read
GGML và llama.cpp gia nhập Hugging Face để đảm bảo sự phát triển lâu dài của AI cục bộ
Chúng tôi rất vui mừng thông báo rằng GGML, đội ngũ đứng sau Llama.cpp, đã gia nhập Hugging Face (HF) để cùng nhau phát triển AI nguồn mở. 🔥
Georgi Gerganov và đội ngũ của anh ấy đã gia nhập HF với mục tiêu mở rộng và hỗ trợ cộng đồng đằng sau ggml và llama.cpp khi AI cục bộ tiếp tục có những bước tiến vượt bậc trong những năm tới.
Chúng tôi đã làm việc với Georgi và đội ngũ của anh ấy trong một thời gian dài (thậm chí chúng tôi đã có những người đóng góp cốt lõi tuyệt vời cho llama.cpp như Son và Alek trong đội ngũ của chúng tôi) nên đây là một quá trình rất tự nhiên.
llama.cpp là khối xây dựng cơ bản cho suy luận cục bộ, và Transformers là khối xây dựng cơ bản để định nghĩa mô hình và kiến trúc, vì vậy đây thực sự là một sự kết hợp hoàn hảo. ❤️
Điều gì sẽ thay đổi đối với llama.cpp, dự án nguồn mở và cộng đồng?
Không có nhiều thay đổi – Georgi và đội ngũ vẫn dành 100% thời gian để duy trì llama.cpp và có toàn quyền tự chủ cũng như dẫn dắt định hướng kỹ thuật và cộng đồng. HF đang cung cấp cho dự án các nguồn lực bền vững dài hạn, cải thiện cơ hội để dự án phát triển và phát triển mạnh mẽ. Dự án sẽ tiếp tục là dự án nguồn mở 100% và do cộng đồng dẫn dắt như hiện tại.
Tập trung vào kỹ thuật
llama.cpp là khối xây dựng cơ bản cho suy luận cục bộ, và Transformers là khối xây dựng cơ bản để định nghĩa mô hình và kiến trúc, vì vậy chúng tôi sẽ làm việc để đảm bảo rằng trong tương lai việc triển khai các mô hình mới trong llama.cpp từ thư viện Transformers (nguồn chân lý cho định nghĩa mô hình) sẽ trở nên liền mạch nhất có thể (gần như “chỉ cần một lần nhấp”).
Ngoài ra, chúng tôi sẽ cải thiện việc đóng gói và trải nghiệm người dùng của các phần mềm dựa trên ggml. Khi chúng ta bước vào giai đoạn mà suy luận cục bộ trở thành một lựa chọn thay thế có ý nghĩa và cạnh tranh với suy luận trên đám mây, việc cải thiện và đơn giản hóa cách người dùng thông thường triển khai và truy cập các mô hình cục bộ là điều vô cùng quan trọng. Chúng tôi sẽ làm việc để llama.cpp trở nên phổ biến và sẵn có ở mọi nơi.
Tầm nhìn dài hạn của chúng tôi
Mục tiêu chung của chúng tôi là cung cấp cho cộng đồng các khối xây dựng để biến siêu trí tuệ nguồn mở trở nên dễ tiếp cận với thế giới trong những năm tới.
Chúng tôi sẽ đạt được điều này cùng với cộng đồng AI cục bộ ngày càng phát triển, khi chúng tôi tiếp tục xây dựng ngăn xếp suy luận tối ưu chạy hiệu quả nhất có thể trên các thiết bị của chúng ta.