Phân tích mới và cải tiến trong Inference Endpoints

Phân tích và số liệu là nền tảng để hiểu điều gì đang xảy ra với triển khai của bạn. Các Inference Endpoints của bạn có bị quá tải không? Chúng đang xử lý bao nhiêu yêu cầu? Việc hiển thị các số liệu liên quan, được trực quan hóa tốt theo thời gian thực là rất quan trọng để giám sát và gỡ lỗi.

Chúng tôi nhận thấy rằng bảng điều khiển phân tích của chúng tôi cần được làm mới. Vì chúng tôi tự gỡ lỗi rất nhiều endpoints, chúng tôi cũng cảm thấy nỗi đau tương tự như người dùng của chúng tôi. Đó là lý do tại sao chúng tôi đã ngồi xuống để lên kế hoạch và thực hiện một số cải tiến để cung cấp trải nghiệm tốt hơn cho bạn.

Có gì mới?

⏰ Số liệu theo thời gian thực: Dữ liệu hiện được cập nhật theo thời gian thực, đảm bảo bạn có được cái nhìn chính xác và cập nhật nhất về hiệu suất của endpoint. Cho dù bạn đang theo dõi độ trễ của yêu cầu, thời gian phản hồi hay tỷ lệ lỗi, giờ đây bạn có thể thấy các sự kiện khi chúng xảy ra. Chúng tôi cũng đã làm lại phần backend của bảng điều khiển phân tích của mình để đảm bảo rằng dữ liệu tải nhanh chóng, đặc biệt đối với các endpoint có lưu lượng truy cập cao. Không còn phải chờ đợi các số liệu được điền. Chỉ cần mở bảng điều khiển và nhận thông tin chi tiết ngay lập tức.

🔬 Phạm vi thời gian tùy chỉnh & Tự động làm mới: Chúng tôi biết rằng những người dùng khác nhau cần các chế độ xem khác nhau, vì vậy chúng tôi đã giúp bạn dễ dàng thu nhỏ vào một phạm vi thời gian cụ thể hoặc theo dõi các xu hướng dài hạn. Bạn cũng có thể bật tự động làm mới, đảm bảo rằng bảng điều khiển của bạn luôn được cập nhật mà không cần phải tải lại thủ công.

🔄 Chế độ xem vòng đời Replica: Hiểu điều gì đang xảy ra với các bản sao của bạn là rất quan trọng, vì vậy chúng tôi đã giới thiệu một chế độ xem chi tiết về vòng đời của mỗi bản sao. Giờ đây, bạn có thể theo dõi các bản sao từ khi khởi tạo đến khi kết thúc, quan sát mọi chuyển đổi trạng thái ở giữa. Điều này giúp hiểu điều gì đang xảy ra với endpoint của bạn ngay cả khi bạn có một số bộ phận chuyển động.

Mặc dù chúng tôi đã triển khai các bản cập nhật này, nhưng chúng tôi đang tích cực lặp lại chúng. Mọi thứ sẽ tiếp tục được cải thiện và chúng tôi hoan nghênh mọi phản hồi.

Hãy cho chúng tôi biết điều gì hiệu quả, điều gì không và những gì bạn muốn thấy tiếp theo! 🙌

Hãy truy cập Inference Endpoints để xem các thay đổi!

Link bài báo gốc

• Tags:
• Ai
• March 21, 2025
• Huggingface.co