Public AI trên Hugging Face Inference Providers 🔥
- 6 min read
Public AI trên Hugging Face Inference Providers 🔥
Chúng tôi rất vui mừng thông báo rằng Public AI hiện là Inference Provider được hỗ trợ trên Hugging Face Hub!
Public AI gia nhập hệ sinh thái đang phát triển của chúng tôi, tăng cường phạm vi và khả năng của suy luận không máy chủ trực tiếp trên các trang mô hình của Hub. Các Inference Provider cũng được tích hợp liền mạch vào các SDK ứng dụng khách của chúng tôi (cho cả JS và Python), giúp bạn cực kỳ dễ dàng sử dụng nhiều loại mô hình với các provider ưa thích của bạn.
Việc ra mắt này giúp bạn dễ dàng hơn bao giờ hết để truy cập các mô hình công cộng và độc lập từ các tổ chức như Swiss AI Initiative và AI Singapore — ngay từ Hugging Face. Bạn có thể duyệt tổ chức Public AI trên Hub tại https://huggingface.co/publicai và thử các mô hình được hỗ trợ đang thịnh hành tại https://huggingface.co/models?inference_provider=publicai&sort=trending.
Public AI Inference Utility là một dự án phi lợi nhuận, mã nguồn mở. Nhóm xây dựng các sản phẩm và tổ chức hoạt động hỗ trợ công việc của những người xây dựng mô hình AI công cộng như Swiss AI Initiative và AI Singapore, cùng nhiều tổ chức khác.
Public AI Inference Utility chạy trên một cơ sở hạ tầng phân tán kết hợp backend được hỗ trợ bởi vLLM với một lớp triển khai được thiết kế để có khả năng phục hồi trên nhiều đối tác. Đằng sau hậu trường, suy luận được xử lý bởi các máy chủ hiển thị các API tương thích với OpenAI trên vLLM, được triển khai trên các cụm máy chủ do các đối tác quốc gia và ngành công nghiệp tài trợ. Một lớp cân bằng tải toàn cầu đảm bảo các yêu cầu được định tuyến hiệu quả và minh bạch, bất kể quốc gia nào đang cung cấp truy vấn.
Quyền truy cập công khai miễn phí được hỗ trợ bởi thời gian GPU được tặng và trợ cấp quảng cáo, trong khi sự ổn định lâu dài được dự định neo đậu bởi các đóng góp của nhà nước và tổ chức. Bạn có thể tìm hiểu thêm về nền tảng và cơ sở hạ tầng của Public AI tại https://platform.publicai.co/.
Giờ đây, bạn có thể sử dụng Public AI Inference Utility làm Inference Provider trên Hugging Face. Chúng tôi rất vui khi thấy những gì bạn sẽ xây dựng với provider mới này.
Đọc thêm về cách sử dụng Public AI làm Inference Provider trong trang tài liệu chuyên dụng.
Xem danh sách các mô hình được hỗ trợ tại đây.
Cách thức hoạt động
Trong giao diện người dùng trang web
-
Trong cài đặt tài khoản người dùng của bạn, bạn có thể:
- Đặt khóa API của riêng bạn cho các provider bạn đã đăng ký. Nếu không có khóa tùy chỉnh nào được đặt, các yêu cầu của bạn sẽ được định tuyến qua HF.
- Sắp xếp các provider theo sở thích. Điều này áp dụng cho tiện ích và các đoạn mã trên các trang mô hình.
-
Như đã đề cập, có hai chế độ khi gọi Inference Provider:
- Khóa tùy chỉnh (các lệnh gọi đi trực tiếp đến inference provider, sử dụng khóa API của riêng bạn của inference provider tương ứng)
- Được định tuyến bởi HF (trong trường hợp đó, bạn không cần mã thông báo từ provider và các khoản phí được áp dụng trực tiếp vào tài khoản HF của bạn thay vì tài khoản của provider)
- Các trang mô hình giới thiệu các inference provider của bên thứ ba (những provider tương thích với mô hình hiện tại, được sắp xếp theo sở thích của người dùng)
Từ SDK ứng dụng khách
từ Python, sử dụng huggingface_hub
Ví dụ sau đây cho thấy cách sử dụng Apertus-70B của Swiss AI bằng Public AI làm inference provider. Bạn có thể sử dụng mã thông báo Hugging Face để tự động định tuyến qua Hugging Face hoặc khóa API Public AI của riêng bạn nếu bạn có.
Lưu ý: điều này yêu cầu sử dụng phiên bản huggingface_hub gần đây (>= 0.34.6).
python import os from huggingface_hub import InferenceClient
client = InferenceClient( provider=“publicai”, api_key=os.environ[“HF_TOKEN”], )
messages = [ { “role”: “user”, “content”: “What is the capital of France?” } ]
completion = client.chat.completions.create( model=“swiss-ai/Apertus-70B-Instruct-2509”, messages=messages, )
print(completion.choices[0].message)
từ JS sử dụng @huggingface/inference
js import { InferenceClient } from “@huggingface/inference”;
const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({ model: “swiss-ai/Apertus-70B-Instruct-2509”, messages: [ { role: “user”, content: “What is the capital of France?”, }, ], provider: “publicai”, });
console.log(chatCompletion.choices[0].message);
Thanh toán
Tại thời điểm viết bài, việc sử dụng Public AI Inference Utility thông qua Hugging Face Inference Provider là miễn phí. Giá cả và tính khả dụng có thể thay đổi.
Đây là cách thanh toán hoạt động đối với các provider khác trên nền tảng:
Đối với các yêu cầu trực tiếp, tức là khi bạn sử dụng khóa từ một inference provider, bạn sẽ bị tính phí bởi provider tương ứng. Ví dụ: nếu bạn sử dụng khóa API Public AI, bạn sẽ bị tính phí trên tài khoản Public AI của mình.
Đối với các yêu cầu được định tuyến, tức là khi bạn xác thực thông qua Hugging Face Hub, bạn sẽ chỉ trả các mức giá API provider tiêu chuẩn. Chúng tôi không tính thêm bất kỳ khoản phí nào; chúng tôi chỉ chuyển trực tiếp chi phí của provider. (Trong tương lai, chúng tôi có thể thiết lập các thỏa thuận chia sẻ doanh thu với các đối tác provider của mình.)
Lưu ý quan trọng ‼️ Người dùng PRO nhận được tín dụng suy luận trị giá $2 mỗi tháng. Bạn có thể sử dụng chúng trên các provider. 🔥
Đăng ký gói Hugging Face PRO để có quyền truy cập vào tín dụng suy luận, ZeroGPU, Chế độ phát triển Spaces, giới hạn cao hơn 20 lần và hơn thế nữa.
Chúng tôi cũng cung cấp suy luận miễn phí với một hạn ngạch nhỏ cho người dùng miễn phí đã đăng nhập của chúng tôi, nhưng vui lòng nâng cấp lên PRO nếu bạn có thể!
Phản hồi và các bước tiếp theo
Chúng tôi rất mong nhận được phản hồi của bạn! Chia sẻ suy nghĩ và/hoặc bình luận của bạn tại đây: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49