Featherless AI trên Hugging Face Inference Providers 🔥

Chúng tôi rất vui mừng thông báo rằng Featherless AI hiện là một Inference Provider được hỗ trợ trên Hugging Face Hub!

Featherless AI gia nhập hệ sinh thái đang phát triển của chúng tôi, nâng cao phạm vi và khả năng của suy luận không máy chủ trực tiếp trên các trang mô hình của Hub. Inference Providers cũng được tích hợp liền mạch vào SDK máy khách của chúng tôi (cho cả JS và Python), giúp bạn cực kỳ dễ dàng sử dụng nhiều loại mô hình với các nhà cung cấp ưa thích của bạn.

Featherless AI hỗ trợ nhiều loại mô hình văn bản và đàm thoại, bao gồm các mô hình nguồn mở mới nhất từ DeepSeek, Meta, Google, Qwen, v.v.

Featherless AI là nhà cung cấp suy luận AI không máy chủ với khả năng điều phối GPU và tải mô hình độc đáo, giúp người dùng có thể sử dụng một danh mục mô hình cực kỳ lớn. Các nhà cung cấp thường cung cấp chi phí truy cập thấp cho một tập hợp mô hình giới hạn hoặc phạm vi mô hình không giới hạn, trong đó người dùng quản lý máy chủ và chi phí vận hành liên quan. Featherless cung cấp những gì tốt nhất của cả hai thế giới, cung cấp phạm vi và sự đa dạng mô hình vô song nhưng với giá cả không máy chủ. Tìm danh sách đầy đủ các mô hình được hỗ trợ trên trang mô hình.

Chúng tôi rất vui khi thấy những gì bạn sẽ xây dựng với nhà cung cấp mới này!

Đọc thêm về cách sử dụng Featherless làm Inference Provider trong trang tài liệu chuyên dụng của nó.

Cách thức hoạt động

Trong giao diện người dùng trang web

1. Trong cài đặt tài khoản người dùng của bạn, bạn có thể:

   • Đặt khóa API của riêng bạn cho các nhà cung cấp mà bạn đã đăng ký. Nếu không có khóa tùy chỉnh nào được đặt, các yêu cầu của bạn sẽ được định tuyến qua HF. Tìm hiểu thêm về các loại yêu cầu trong tài liệu.
   • Sắp xếp các nhà cung cấp theo sở thích. Điều này áp dụng cho tiện ích và đoạn mã trong các trang mô hình.

   

2. Như đã đề cập, có hai chế độ khi gọi Inference Providers:

   • Khóa tùy chỉnh (các cuộc gọi đi trực tiếp đến nhà cung cấp suy luận, sử dụng khóa API của riêng bạn của nhà cung cấp suy luận tương ứng)
   • Được HF định tuyến (trong trường hợp đó, bạn không cần mã thông báo từ nhà cung cấp và các khoản phí được áp dụng trực tiếp vào tài khoản HF của bạn thay vì tài khoản của nhà cung cấp)

   

3. Các trang mô hình giới thiệu các nhà cung cấp suy luận của bên thứ ba (những nhà cung cấp tương thích với mô hình hiện tại, được sắp xếp theo sở thích của người dùng)

   

Từ SDK máy khách

từ Python, sử dụng huggingface_hub

Ví dụ sau đây cho thấy cách sử dụng DeepSeek-R1 bằng Featherless AI làm nhà cung cấp suy luận. Bạn có thể sử dụng mã thông báo Hugging Face để tự động định tuyến qua Hugging Face hoặc khóa API Featherless AI của riêng bạn nếu bạn có.

Cài đặt hoặc nâng cấp huggingface_hub để đảm bảo bạn có phiên bản v0.33.0 trở lên: pip install --upgrade huggingface-hub

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"]
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-0528", 
    messages=messages, 
)

print(completion.choices[0].message)

từ JS sử dụng @huggingface/inference

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1-0528",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "featherless-ai",
});

console.log(chatCompletion.choices[0].message);

Thanh toán

Đối với các yêu cầu trực tiếp, tức là khi bạn sử dụng khóa từ nhà cung cấp suy luận, bạn sẽ bị tính phí bởi nhà cung cấp tương ứng. Ví dụ: nếu bạn sử dụng khóa API Featherless AI, bạn sẽ bị tính phí trên tài khoản Featherless AI của mình.

Đối với các yêu cầu được định tuyến, tức là khi bạn xác thực thông qua Hugging Face Hub, bạn sẽ chỉ trả mức giá API tiêu chuẩn của nhà cung cấp. Chúng tôi không tính thêm bất kỳ khoản phí nào, chúng tôi chỉ chuyển trực tiếp chi phí của nhà cung cấp. (Trong tương lai, chúng tôi có thể thiết lập các thỏa thuận chia sẻ doanh thu với các đối tác nhà cung cấp của mình.)

Lưu ý quan trọng ‼️ Người dùng PRO nhận được 2 đô la tín dụng Inference mỗi tháng. Bạn có thể sử dụng chúng trên các nhà cung cấp. 🔥

Đăng ký gói Hugging Face PRO để có quyền truy cập vào tín dụng Inference, ZeroGPU, Chế độ Dev Spaces, giới hạn cao hơn 20 lần, v.v.

Chúng tôi cũng cung cấp suy luận miễn phí với một hạn ngạch nhỏ cho người dùng miễn phí đã đăng nhập của chúng tôi, nhưng vui lòng nâng cấp lên PRO nếu bạn có thể!

Phản hồi và các bước tiếp theo

Chúng tôi rất mong nhận được phản hồi của bạn! Chia sẻ suy nghĩ và/hoặc nhận xét của bạn tại đây: https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49

Link bài viết gốc

• Tags:
• Ai
• June 12, 2025
• Huggingface.co