Stability AI và Arm hợp tác phát hành Stable Audio Open Small, cho phép triển khai thực tế để điều khiển âm thanh trên thiết bị

Không có mô tả ngắn gọn

May 15, 2025
5 min read

Stability AI và Arm hợp tác phát hành Stable Audio Open Small, cho phép triển khai thực tế để điều khiển âm thanh trên thiết bị — Không có mô tả ngắn gọn

Stability AI và Arm Hợp tác Phát hành Stable Audio Open Small, Cho phép Triển khai Thực tế để Tạo Âm thanh Trên Thiết bị

Stable Audio Open Small Thumbnail

Những điểm chính:

Chúng tôi đang mở mã nguồn Stable Audio Open Small, một mô hình chuyển văn bản thành âm thanh với 341 triệu tham số được tối ưu hóa để chạy hoàn toàn trên CPU Arm. Được thiết kế để tạo nhanh các mẫu âm thanh ngắn, nó có thể tạo ra tới 11 giây âm thanh trên điện thoại thông minh trong vòng chưa đầy 8 giây.
Bản phát hành này xây dựng dựa trên sự hợp tác của chúng tôi với Arm để mang khả năng tạo âm thanh tổng quát đến điện thoại thông minh, sau thông báo gần đây của chúng tôi tại Mobile World Congress.
Các nhà phát triển có thể khám phá Lộ trình học tập Arm mới, cung cấp hướng dẫn thực hành sử dụng Stable Audio Open Small trên CPU Arm.
Stable Audio Open Small hiện miễn phí cho mục đích sử dụng thương mại và phi thương mại theo Giấy phép Cộng đồng Stability AI cho phép. Bạn có thể đọc bài báo trên arXiv, tải xuống trọng số mô hình trên Hugging Face và truy cập mã trên GitHub.

Tải xuống trọng số

Đưa khả năng tạo âm thanh tổng quát đến điện thoại di động

Chúng tôi đang mở mã nguồn Stable Audio Open Small hợp tác với Arm, công nghệ của họ cung cấp sức mạnh cho 99% điện thoại thông minh trên toàn cầu. Xây dựng dựa trên mô hình chuyển văn bản thành âm thanh hàng đầu trong ngành Stable Audio Open, biến thể nhỏ gọn mới nhỏ hơn và nhanh hơn, đồng thời vẫn giữ được chất lượng đầu ra và tuân thủ lời nhắc.

Bản phát hành này tiếp nối bước đột phá đã công bố trước đây của chúng tôi rằng Stable Audio Open hiện được tối ưu hóa để chạy trên CPU Arm, được hỗ trợ bởi Arm KleidiAI để cho phép tạo âm thanh do AI tạo ra trên điện thoại di động. Sau khi chứng minh công nghệ này hoạt động tại Mobile World Congress, Stability AI và Arm hiện đang cung cấp trọng số mô hình để mọi người có thể truy cập và triển khai mô hình.

Những tiến bộ kỹ thuật

Theo hiểu biết của chúng tôi, Stable Audio Open Small là mô hình chuyển văn bản thành âm thanh nổi nhanh nhất trên thị trường. Bạn có thể đọc thêm về những tiến bộ kỹ thuật của mô hình trong bài nghiên cứu. Dưới đây là một vài điểm nổi bật:

Nhẹ: Stable Audio Open Small có 341 triệu tham số, so với 1,1 tỷ tham số của Stable Audio Open.

Nhanh: Stable Audio Open Small được tối ưu hóa để tạo âm thanh trên điện thoại di động trong vòng chưa đầy 8 giây. Tạo nhanh hơn và tinh chỉnh cũng nhanh hơn.

Hiệu quả: Tận dụng thư viện KleidiAI của Arm, chúng tôi đã thiết kế mô hình mới này để chạy hiệu quả hơn nữa ở rìa, vì vậy người dùng nhận được kết quả nhanh hơn đồng thời giảm chi phí cho thời gian tính toán. Bằng cách chạy hoàn toàn trên CPU Arm, Stable Audio Open Small cũng có thể truy cập được mà không cần yêu cầu phần cứng nặng.

Khi nào nên sử dụng mô hình

Giống như Stable Audio Open, Stable Audio Open Small được tối ưu hóa để tạo các mẫu âm thanh ngắn, hiệu ứng âm thanh và các yếu tố sản xuất bằng cách sử dụng lời nhắc văn bản. Nó rất phù hợp để tạo các vòng lặp trống, foley, đoạn riff nhạc cụ và kết cấu xung quanh.

Kích thước nhỏ gọn và suy luận nhanh chóng khiến nó trở nên hoàn toàn phù hợp để triển khai trên thiết bị trên điện thoại thông minh và thiết bị ngoại vi chạy bằng Arm, nơi tạo thời gian thực và khả năng phản hồi là rất quan trọng.

Khi khối lượng công việc phương tiện sáng tạo do AI điều khiển chuyển sang rìa, các mô hình nhỏ hơn giúp điều chỉnh tài nguyên tính toán với độ phức tạp của tác vụ. Bằng cách sử dụng các kích thước mô hình khác nhau, các tổ chức có thể phân bổ khối lượng công việc cho các bộ xử lý phù hợp nhất với trường hợp sử dụng của họ, như tạo hiệu ứng âm thanh ngắn so với các bài hát có độ dài đầy đủ.

Bắt đầu

Stable Audio Open Small hiện miễn phí cho mục đích sử dụng thương mại và phi thương mại theo Giấy phép Cộng đồng Stability AI cho phép. Bạn có thể đọc bài báo trên arXiv, tải xuống trọng số mô hình trên Hugging Face và truy cập mã trên GitHub.

Truy cập Lộ trình học tập Arm để xem hướng dẫn triển khai Stable Audio Open Small trên phần cứng Arm cũng như Blog cộng đồng Arm để tìm hiểu sâu về kỹ thuật về cách Stable Audio Open Small được tối ưu hóa để có hiệu suất trên thiết bị.

Để cập nhật tiến trình của chúng tôi, hãy theo dõi chúng tôi trên X, LinkedIn, Instagram và tham gia Cộng đồng Discord của chúng tôi.

AI Today - SkyAI