Scaleway trên Hugging Face Inference Providers 🔥
- 5 min read
Scaleway trên Hugging Face Inference Providers 🔥
Chúng tôi rất vui mừng thông báo rằng Scaleway hiện là Inference Provider được hỗ trợ trên Hugging Face Hub!
Scaleway gia nhập hệ sinh thái đang phát triển của chúng tôi, nâng cao phạm vi và khả năng của suy luận không máy chủ trực tiếp trên các trang mô hình của Hub. Inference Provider cũng được tích hợp liền mạch vào SDK máy khách của chúng tôi (cho cả JS và Python), giúp bạn cực kỳ dễ dàng sử dụng nhiều loại mô hình với các nhà cung cấp ưa thích của mình.
Việc ra mắt này giúp bạn dễ dàng hơn bao giờ hết để truy cập các mô hình mã nguồn mở phổ biến như gpt-oss, Qwen3, DeepSeek R1 và Gemma 3 — ngay từ Hugging Face. Bạn có thể duyệt qua tổ chức Scaleway trên Hub tại https://huggingface.co/scaleway và thử các mô hình được hỗ trợ thịnh hành tại https://huggingface.co/models?inference_provider=scaleway&sort=trending.
Scaleway Generative APIs là một dịch vụ hoàn toàn được quản lý, không máy chủ, cung cấp quyền truy cập vào các mô hình AI tiên tiến từ các phòng thí nghiệm nghiên cứu hàng đầu thông qua các lệnh gọi API đơn giản. Dịch vụ này cung cấp giá cả cạnh tranh trên mỗi mã thông báo bắt đầu từ €0,20 cho mỗi triệu mã thông báo.
Dịch vụ này chạy trên cơ sở hạ tầng an toàn nằm trong các trung tâm dữ liệu Châu Âu (Paris, Pháp), đảm bảo chủ quyền dữ liệu và độ trễ thấp cho người dùng Châu Âu. Nền tảng này hỗ trợ các tính năng nâng cao bao gồm đầu ra có cấu trúc, gọi hàm và khả năng đa phương thức cho cả xử lý văn bản và hình ảnh.
Được xây dựng để sử dụng trong sản xuất, cơ sở hạ tầng suy luận của Scaleway cung cấp thời gian phản hồi dưới 200ms cho các mã thông báo đầu tiên, khiến nó trở nên lý tưởng cho các ứng dụng tương tác và quy trình làm việc của tác nhân. Dịch vụ này hỗ trợ cả tạo văn bản và mô hình nhúng. Bạn có thể tìm hiểu thêm về nền tảng và cơ sở hạ tầng của Scaleway tại https://www.scaleway.com/en/generative-apis/.
Đọc thêm về cách sử dụng Scaleway làm Inference Provider trong trang tài liệu chuyên dụng.
Xem danh sách các mô hình được hỗ trợ tại đây.
Cách thức hoạt động
Trong giao diện người dùng trang web
- Trong cài đặt tài khoản người dùng của bạn, bạn có thể:
- Đặt khóa API của riêng bạn cho các nhà cung cấp mà bạn đã đăng ký. Nếu không có khóa tùy chỉnh nào được đặt, các yêu cầu của bạn sẽ được định tuyến qua HF.
- Sắp xếp các nhà cung cấp theo sở thích. Điều này áp dụng cho tiện ích và đoạn mã trong các trang mô hình.
- Như đã đề cập, có hai chế độ khi gọi Inference Providers:
- Khóa tùy chỉnh (các cuộc gọi đi trực tiếp đến nhà cung cấp suy luận, sử dụng khóa API của riêng bạn của nhà cung cấp suy luận tương ứng)
- Được định tuyến bởi HF (trong trường hợp đó, bạn không cần mã thông báo từ nhà cung cấp và các khoản phí được áp dụng trực tiếp vào tài khoản HF của bạn thay vì tài khoản của nhà cung cấp)
- Các trang mô hình giới thiệu các nhà cung cấp suy luận của bên thứ ba (những nhà cung cấp tương thích với mô hình hiện tại, được sắp xếp theo tùy chọn của người dùng)
Từ SDK máy khách
Từ Python, sử dụng huggingface_hub
Ví dụ sau đây cho thấy cách sử dụng gpt-oss-120b của OpenAI bằng Scaleway làm nhà cung cấp suy luận. Bạn có thể sử dụng mã thông báo Hugging Face để tự động định tuyến thông qua Hugging Face hoặc khóa API Scaleway của riêng bạn nếu bạn có.
Lưu ý: điều này yêu cầu sử dụng phiên bản huggingface_hub gần đây (>= 0.34.6).
python import os from huggingface_hub import InferenceClient
client = InferenceClient( provider=“scaleway”, api_key=os.environ[“HF_TOKEN”], )
messages = [ { “role”: “user”, “content”: “Write a poem in the style of Shakespeare” } ]
completion = client.chat.completions.create( model=“openai/gpt-oss-120b”, messages=messages, )
print(completion.choices[0].message)
Từ JS sử dụng @huggingface/inference
js import { InferenceClient } from “@huggingface/inference”;
const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({ model: “openai/gpt-oss-120b”, messages: [ { role: “user”, content: “Write a poem in the style of Shakespeare”, }, ], provider: “scaleway”, });
console.log(chatCompletion.choices[0].message);
Thanh toán
Đây là cách thanh toán hoạt động:
Đối với các yêu cầu trực tiếp, tức là khi bạn sử dụng khóa từ nhà cung cấp suy luận, bạn sẽ được nhà cung cấp tương ứng thanh toán. Ví dụ: nếu bạn sử dụng khóa API Scaleway, bạn sẽ bị tính phí trên tài khoản Scaleway của mình.
Đối với các yêu cầu được định tuyến, tức là khi bạn xác thực thông qua Hugging Face Hub, bạn sẽ chỉ phải trả mức giá API nhà cung cấp tiêu chuẩn. Chúng tôi không tính thêm bất kỳ khoản phí nào; chúng tôi chỉ chuyển trực tiếp chi phí của nhà cung cấp. (Trong tương lai, chúng tôi có thể thiết lập các thỏa thuận chia sẻ doanh thu với các đối tác nhà cung cấp của mình.)
Lưu ý quan trọng ‼️ Người dùng PRO nhận được khoản tín dụng Inference trị giá 2 đô la mỗi tháng. Bạn có thể sử dụng chúng trên các nhà cung cấp. 🔥
Đăng ký gói Hugging Face PRO để có quyền truy cập vào tín dụng Inference, ZeroGPU, Chế độ nhà phát triển Spaces, giới hạn cao hơn 20 lần và hơn thế nữa.
Chúng tôi cũng cung cấp suy luận miễn phí với một hạn ngạch nhỏ cho người dùng miễn phí đã đăng nhập, nhưng vui lòng nâng cấp lên PRO nếu bạn có thể!
Phản hồi và các bước tiếp theo
Chúng tôi rất mong nhận được phản hồi của bạn! Chia sẻ suy nghĩ và/hoặc nhận xét của bạn tại đây: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49