Thông báo các mô hình LLM Tài chính Mở
Thông báo các mô hình LLM Tài chính Mở
- 5 min read
Announcing the LLM Open Finance models
AGEFI và Dragon LLM ra mắt Sáng kiến LLM Open Finance: một nỗ lực mã nguồn mở mới nhằm mang các mô hình ngôn ngữ sẵn sàng cho tài chính đến với mọi người. Phiên bản đầu tiên của bộ sưu tập LLM Open Finance bao gồm hai mô hình có 8 tỷ tham số, chuyên biệt cho ngôn ngữ tài chính, hỗ trợ mạnh mẽ tiếng Anh và tiếng Pháp. Được xây dựng dựa trên một tập dữ liệu đào tạo đa dạng kết hợp các kho dữ liệu tài chính được tuyển chọn và dữ liệu hướng dẫn, các mô hình này được thiết kế cho các ứng dụng như phân tích báo cáo tài chính, đánh giá rủi ro, tuân thủ quy định, dịch thuật tài chính, phân tích cảm xúc tài chính và ứng dụng truy xuất tăng cường (retrieval-augmented applications). Công việc này được phát triển cùng AGEFI như một phần của sáng kiến France 2030 do Bpifrance hỗ trợ.
Highlights
- Đạt được những cải tiến nhất quán trong các tác vụ tài chính so với các mô hình cơ sở, với những cải thiện đáng kể về khả năng hiểu các từ viết tắt và thuật ngữ chuyên ngành tài chính bằng tiếng Pháp.
- Là một trong những mô hình mã nguồn mở tốt nhất cho dịch thuật tài chính trên nhiều ngôn ngữ và loại tài liệu tài chính.
- Sẵn sàng cho RAG (Retrieval-Augmented Generation): các mô hình đã được đào tạo trên một lượng lớn dữ liệu RAG.
More on the released models
Chúng tôi phát hành hai mô hình 8 tỷ tham số dựa trên Llama 3.1 và Qwen 3. Cả hai mô hình đã được tinh chỉnh đều giữ nguyên các tính năng của mô hình cơ sở, có nghĩa là, ví dụ, việc bật (hoặc tắt) chế độ suy luận một cách linh hoạt bằng các token /think / /no_think vẫn được hỗ trợ trên mô hình dựa trên Qwen 3. Các mô hình cũng duy trì khả năng đa ngôn ngữ của chúng, mặc dù quá trình tinh chỉnh bổ sung của chúng tôi chủ yếu tập trung vào các ngôn ngữ tiếng Anh, tiếng Pháp và tiếng Đức.
Chúng tôi đã xây dựng một tập dữ liệu cân bằng, chất lượng cao cho phép hiệu suất và độ chính xác cao trong các tác vụ liên quan đến tài chính, đồng thời bảo toàn khả năng trong các lĩnh vực chung. Tập dữ liệu của chúng tôi bao gồm 54% dữ liệu tài chính, 20% dữ liệu dịch thuật, 16% dữ liệu lĩnh vực chung, 8% dữ liệu RAG và 2% dữ liệu toán học, suy luận và mã hóa, nhằm mục đích duy trì khả năng ban đầu của mô hình trong các lĩnh vực này.
Chúng tôi đã đánh giá các mô hình của mình trên nhiều tập dữ liệu và tự hào cho thấy rằng:
- Các mô hình của chúng tôi vượt trội hơn các mô hình lĩnh vực chung trong các tác vụ tài chính và dịch thuật tài chính, do đó xác nhận quy trình tuyển chọn dữ liệu của chúng tôi.
- Các mô hình của chúng tôi cũng vượt trội hơn các mô hình tài chính có hiệu suất cao, chẳng hạn như
Salesforce/Llama-Fin-8b. - Các mô hình của chúng tôi duy trì kiến thức lĩnh vực chung mạnh mẽ, làm cho chúng trở thành một sự thay thế lý tưởng và có kiểm soát rủi ro cho các mô hình có kích thước tương tự.
Chúng tôi đang phát hành LLM Open Finance cho cộng đồng mã nguồn mở để dân chủ hóa quyền truy cập vào các mô hình AI tài chính tiên tiến. Sáng kiến này nhằm mục đích thúc đẩy sự đổi mới bằng cách trao quyền cho người dùng khám phá các ứng dụng mới, tái tạo kết quả nghiên cứu và tinh chỉnh các mô hình cho các trường hợp sử dụng cụ thể, cuối cùng là thúc đẩy tiến bộ trong công nghệ tài chính và nghiên cứu kinh tế.
Nếu bạn muốn tìm hiểu thêm về dự án này, đừng ngần ngại đọc bài báo của chúng tôi (https://arxiv.org/abs/2511.08621) hoặc liên hệ trực tiếp với chúng tôi.
Beyond small models: the LLM Pro Finance Suite
Đối với các nhóm cần nhiều năng lực hơn và khả năng suy luận nâng cao, các mô hình tiên tiến hơn của chúng tôi có tên là LLM Pro Finance có sẵn thông qua giấy phép thương mại:
- Gemma Pro Finance 12B: tốt nhất cho dịch thuật tài chính, xử lý hàng loạt/tần suất cao, phân loại.
- Qwen Pro Finance R 32B: tốt nhất cho ⇒ toán tài chính, tạo mã / hệ thống tác tử, đầu ra có cấu trúc.
- Llama Pro Finance 70B: tốt nhất cho ⇒ trò chuyện hội thoại, Truy xuất Tăng cường Thế hệ (RAG), tạo nội dung.
Get started
- Thẻ mô hình Hugging Face https://huggingface.co/collections/DragonLLM/llm-open-finance
- GitHub: Sách dạy nấu ăn và các tập lệnh đánh giá https://github.com/Dragon-LLM/llm-open-finance-cookbook
- Playground: dùng thử các mô hình LLM Pro Finance trên trình duyệt của bạn https://demo.llmprofinance.com/