AI Today - SkyAI

Stability AI và Arm mang âm thanh tạo sinh trên thiết bị đến điện thoại thông minh

Chúng tôi đã hợp tác với Arm để mang âm thanh tạo sinh đến các thiết bị di động, cho phép tạo hiệu ứng âm thanh chất lượng cao và tạo mẫu âm thanh trực tiếp trên thiết bị mà không cần kết nối internet.

  • 4 min read
Stability AI và Arm mang âm thanh tạo sinh trên thiết bị đến điện thoại thông minh
Chúng tôi đã hợp tác với Arm để mang âm thanh tạo sinh đến các thiết bị di động, cho phép tạo hiệu ứng âm thanh chất lượng cao và tạo mẫu âm thanh trực tiếp trên thiết bị mà không cần kết nối internet.

Stability AI và Arm Mang Âm Thanh Tạo Sinh Trên Thiết Bị Đến Điện Thoại Thông Minh

Hình ảnh tiêu biểu

Những điểm chính:

  • Chúng tôi đã hợp tác với Arm để mang âm thanh tạo sinh đến các thiết bị di động, cho phép tạo hiệu ứng âm thanh chất lượng cao và tạo mẫu âm thanh trực tiếp trên thiết bị mà không cần kết nối internet.
  • Tận dụng thư viện Arm KleidiAI và công nghệ tiên tiến của Stability AI, Stable Audio Open hiện có thể chạy nhanh hơn 30 lần trên các thiết bị điện thoại thông minh trên CPU Arm, giảm thời gian tạo từ vài phút xuống còn vài giây.
  • Đột phá này sẽ được giới thiệu tại MWC Barcelona vào Thứ Hai, ngày 3 tháng 3 năm 2025, trình diễn khả năng tạo nội dung do AI cung cấp chưa từng có ở vùng biên. Bạn có thể tìm hiểu về quan hệ đối tác trên trang Built on Arm tại đây.

Hôm nay, chúng tôi đang giúp các mô hình AI tạo sinh tiên tiến của mình trở nên dễ tiếp cận hơn thông qua quan hệ đối tác với Arm, công ty có công nghệ cung cấp sức mạnh cho 99% điện thoại thông minh trên toàn cầu. Cùng nhau, chúng ta đã đạt được điều mà trước đây được cho là không thể bằng cách chạy Stable Audio Open, mô hình chuyển văn bản thành âm thanh hàng đầu trong ngành của chúng tôi, hoàn toàn trên CPU Arm mà không cần kết nối internet lần đầu tiên.

Khi AI tạo sinh ngày càng trở thành một phần không thể thiếu đối với cả doanh nghiệp và người sáng tạo chuyên nghiệp, điều quan trọng là các mô hình và quy trình làm việc của chúng tôi phải dễ dàng truy cập ở mọi nơi mà người xây dựng xây dựng và người sáng tạo tạo ra, cung cấp khả năng tích hợp liền mạch vào quy trình sản xuất phương tiện trực quan của họ.

Với nhu cầu ngày càng tăng này, việc đảm bảo các mô hình của chúng tôi chạy hiệu quả ở vùng biên là rất quan trọng. Sự hợp tác này cho phép tạo ra các hiệu ứng âm thanh, mẫu âm thanh và các yếu tố sản xuất trong vài giây, tất cả trên thiết bị và ngoại tuyến.

Tại MWC Barcelona, chúng tôi sẽ giới thiệu các ứng dụng thực tế của phương tiện tạo sinh ở vùng biên, trình diễn cách mô hình chuyển văn bản thành âm thanh trên thiết bị của chúng tôi cho phép tạo âm thanh chất lượng cao một cách nhanh chóng.

Video trình diễn

Những tiến bộ kỹ thuật

Việc tối ưu hóa Stable Audio Open cho các thiết bị di động bắt đầu như một thách thức lớn, với việc tạo âm thanh ban đầu trên CPU Arm mất 240 giây. Bằng cách chắt lọc mô hình và sử dụng ngăn xếp phần mềm của Arm, bao gồm các hạt nhân int8 matmul từ KleidiAI trong ExecuTorch thông qua XNNPack, Stability AI và Arm đã giảm thời gian tạo cho một clip dài 11 giây xuống dưới 8 giây trên CPU Armv9, thể hiện thời gian phản hồi nhanh hơn 30 lần.

Bằng cách chạy hoàn toàn trên CPU Arm, Stable Audio Open hiện có thể truy cập được mà không cần yêu cầu phần cứng nặng, giúp nó có sẵn cho bất kỳ ai có thiết bị di động tương thích.

Điều gì tiếp theo

Âm thanh chỉ là sự khởi đầu. Chúng tôi mong muốn mang tất cả các mô hình tiên tiến của mình trên hình ảnh, video và 3D đến vùng biên. Sự hợp tác với Arm này là một bước quan trọng hướng tới việc cho phép tạo phương tiện chất lượng cao trực tiếp trên các thiết bị di động trên tất cả các phương thức truyền thông trực quan, chuyển đổi cách tạo ra phương tiện trực quan.

Bạn có thể tìm hiểu thêm về quan hệ đối tác và xem bản demo trên trang web Built on Arm tại đây và truy cập trang đối tác Stability AI tại đây trong danh mục đối tác của Arm.

Để luôn cập nhật về tiến trình của chúng tôi, hãy theo dõi chúng tôi trên X, LinkedIn, Instagram và tham gia Cộng đồng Discord của chúng tôi.

Recommended for You

Stability AI và EA hợp tác để trao quyền cho các nghệ sĩ, nhà thiết kế và nhà phát triển nhằm tái định hình phát triển trò chơi

Stability AI và EA hợp tác để trao quyền cho các nghệ sĩ, nhà thiết kế và nhà phát triển nhằm tái định hình phát triển trò chơi

Stability AI và Electronic Arts (EA) đã hình thành một mối quan hệ đối tác chiến lược để cùng phát triển các mô hình, công cụ và quy trình làm việc AI tạo sinh mang tính chuyển đổi, trao quyền cho các nghệ sĩ, nhà thiết kế và nhà phát triển của EA để tái định hình cách trò chơi được tạo ra.

Stability AI và NVIDIA mang lại hiệu suất nhanh hơn và triển khai doanh nghiệp đơn giản hóa với Stable Diffusion 3.5 NIM

Stability AI và NVIDIA mang lại hiệu suất nhanh hơn và triển khai doanh nghiệp đơn giản hóa với Stable Diffusion 3.5 NIM

Chúng tôi rất vui mừng thông báo về sự hợp tác của chúng tôi với NVIDIA để ra mắt microservice Stable Diffusion 3.5 NIM, cho phép cải thiện đáng kể hiệu suất và hợp lý hóa việc triển khai doanh nghiệp cho các mô hình tạo ảnh hàng đầu của chúng tôi.