Kỹ năng (Skills) có giúp cải thiện khả năng phân tích dữ liệu của Codex?

Tác giả: Zhisong Qiu, Chen Yan, và Jiafu Wei
DOI: 10.5281/zenodo.21292469

Trong bài đánh giá trước đây, chúng tôi nhận thấy Codex đã có khả năng phân tích dữ liệu mạnh mẽ. Nó có thể đọc tệp, viết mã, thực hiện phân tích thống kê, tạo hình ảnh trực quan và tổ chức kết quả thành các báo cáo.

Tuy nhiên, trong các tác vụ mô phỏng thực tế, những thất bại thường nảy sinh từ các quy ước phân tích không được nêu rõ trong yêu cầu (prompt) nhưng vẫn phải tuân thủ để đáp ứng logic kinh doanh cốt lõi.

Ví dụ, trong phân tích dữ liệu thanh toán:

• Nên khớp và cộng dồn tất cả các quy tắc phí áp dụng, hay chỉ sử dụng quy tắc khớp tốt nhất?
• Khi tính khối lượng giao dịch hàng tháng, nên sử dụng toàn bộ khoảng thời gian truy vấn hay thực hiện riêng biệt cho từng tháng dương lịch?

Khi các quy ước này không được chỉ định rõ ràng, Codex có thể đưa ra một câu trả lời trông có vẻ hợp lý và được hỗ trợ bởi mã thực thi được, nhưng phương pháp tính toán lại không nhất quán với các quy tắc kinh doanh hoặc mong đợi của người dùng.

Điều này dẫn đến câu hỏi trung tâm của nghiên cứu này:

Nếu chúng ta chuyển đổi các quy tắc tác vụ, định nghĩa trường dữ liệu, quy trình tính toán và bài học từ những thất bại phổ biến thành các Kỹ năng (Skills) có thể tái sử dụng, liệu chúng có thể cải thiện độ chính xác của Codex đối với các tác vụ tương tự nhưng chưa từng gặp trước đó?

Để tìm câu trả lời, chúng tôi đã thực hiện một loạt thí nghiệm bằng khung làm việc mã nguồn mở DataCOPE. DataCOPE trích xuất kinh nghiệm tái sử dụng từ quỹ đạo giải quyết vấn đề của một tác tử (agent) và tự động tổ chức chúng thành các Kỹ năng để hỗ trợ các tác vụ phân tích dữ liệu tiếp theo.

Các thí nghiệm của chúng tôi bao gồm hai loại kịch bản:

1. Phân tích dữ liệu khoa học: Bao gồm một thí nghiệm quy mô nhỏ:

   • DSBio Spatial Neighbor: Tác vụ phân tích vùng lân cận tế bào không gian. Nó đánh giá xem Codex có thể lọc dữ liệu chính xác, xây dựng mối quan hệ lân cận không gian, so sánh các cặp loại tế bào và trả về kết quả theo định dạng yêu cầu hay không.

2. Phân tích dữ liệu dựa trên quy trình thanh toán thực tế: Các tác vụ này đến từ tập dữ liệu DABstep, bao gồm hai loại:

   • Xác định kịch bản chi phí cao nhất: Với số tiền giao dịch, hệ thống thẻ và điều kiện tín dụng/ghi nợ cho trước, hãy xác định ACI, MCC hoặc thuộc tính giao dịch khác liên quan đến phí cao nhất. (ACI: Chỉ số Đặc điểm Ủy quyền; MCC: Mã Danh mục Người bán).
   • Tối ưu hóa định tuyến và chi phí: Đối với một người bán và khoảng thời gian cụ thể, hãy xác định hệ thống thẻ có chi phí thấp nhất hoặc cao nhất, hoặc chọn ACI chi phí thấp hơn cho các giao dịch gian lận.

Chúng tôi tập trung vào các câu hỏi:

• Làm thế nào để tạo ra các Kỹ năng?
• Kỹ năng cải thiện khả năng phân tích dữ liệu của Codex như thế nào?
• Hạn chế của các Kỹ năng là gì?
• Làm thế nào để sử dụng Kỹ năng hiệu quả hơn trong phân tích dữ liệu?

Kết luận chính:

Các Kỹ năng có thể nắm bắt các quy tắc ngầm định, quy trình chuẩn hóa và các mẫu thất bại lặp đi lặp lại trong phân tích dữ liệu, từ đó cải thiện độ chính xác của Codex đối với các tác vụ tương tự. Tuy nhiên, chúng vẫn phụ thuộc vào con người trong việc cung cấp định nghĩa vấn đề rõ ràng, quy ước dữ liệu và xác nhận kết quả cuối cùng.

---

Làm thế nào để tạo ra các Kỹ năng?

1. Khung làm việc mã nguồn mở DataCOPE

Chúng tôi sử dụng khung làm việc DataCOPE để tạo và cải thiện các Kỹ năng một cách lặp đi lặp lại. DataCOPE là một phần của dự án DataMind, hỗ trợ trích xuất kinh nghiệm từ quỹ đạo khám phá của tác tử, xác minh kết quả và tạo ra các Kỹ năng tái sử dụng bao gồm một tệp SKILL.md và các mã hỗ trợ tùy chọn.

Khung làm việc này gồm ba thành phần chính:

• Tác tử phân tích dữ liệu (Data-Analytic Agent): Thực hiện tác vụ phân tích thực tế (đọc dữ liệu, viết mã, tính toán và đưa ra câu trả lời). DataCOPE hỗ trợ các tác tử như Codex, Claude Code và ReAct.
• Bộ xác minh (Verifier): Đánh giá quỹ đạo của tác tử bằng phương pháp xác minh đã cấu hình (ví dụ: so sánh câu trả lời của tác tử với câu trả lời tham chiếu).
• Quản lý Kỹ năng (Skill Manager): Tổ chức kinh nghiệm do Bộ xác minh chọn lọc thành một Kỹ năng hoặc cập nhật Kỹ năng hiện có. Nó ghi lại định nghĩa trường, quy trình chuẩn và các lỗi thường gặp.

Quá trình này chạy qua nhiều lần lặp:

• Lần lặp 0: Tác tử hoàn thành các tác vụ huấn luyện mà không dùng Kỹ năng. Bộ xác minh đánh giá quỹ đạo, và Quản lý Kỹ năng tạo ra Kỹ năng ban đầu từ những thành công và thất bại.
• Từ lần lặp 1: Tác tử thực hiện lại tác vụ bằng Kỹ năng đã tạo. Bộ xác minh đánh giá quỹ đạo mới, và Quản lý Kỹ năng cập nhật Kỹ năng dựa trên kinh nghiệm mới quan sát được.

Nói cách khác, DataCOPE phân tích quỹ đạo tác vụ huấn luyện và chuyển đổi kinh nghiệm thành các quy tắc phân tích tái sử dụng.

Sơ đồ tổng thể của khung làm việc:

2. Thiết lập thí nghiệm và kết quả

Chúng tôi chia các tác vụ thành tập huấn luyện (training set) và tập kiểm tra (test set). Tập huấn luyện dùng để tạo và cải thiện Kỹ năng, trong khi tập kiểm tra dùng để đánh giá khả năng chuyển đổi sang các tác vụ mới cùng loại.

Chúng tôi sử dụng Codex GPT-5.5 làm Tác tử phân tích dữ liệu và Claude Code Sonnet 4.6 làm Quản lý Kỹ năng.

Tập huấn luyện bao gồm:

• 1 tác vụ DSBio Spatial Neighbor.
• 8 tác vụ DABstep Highest Cost.
• 6 tác vụ DABstep Routing.

Kết quả trên tập kiểm tra như sau:

Kịch bản	Tác vụ	Không có Kỹ năng	Có Kỹ năng cuối cùng	Cải thiện chính
Phân tích khoa học	DSBio Spatial Neighbor	0/4	4/4	Học được cách lọc dữ liệu đơn bào, so sánh các cặp loại tế bào khác nhau và tính toán làm giàu vùng lân cận
Phân tích kinh doanh	DABstep Highest Cost	2/12	5/12	Sửa một số lỗi liên quan đến cộng dồn phí, khớp ký tự đại diện (wildcard) và tổng hợp ACI
Phân tích kinh doanh	DABstep Routing	5/12	9/12	Sửa một số lỗi liên quan đến tính lại giá hệ thống thẻ và lựa chọn ứng viên ACI

Kết quả cho thấy Kỹ năng có thể tổ chức các quy ước phân tích thành quy trình tái sử dụng và cải thiện hiệu suất của Codex trên các tác vụ mới cùng loại.

---

Kỹ năng cải thiện khả năng phân tích dữ liệu của Codex như thế nào?

1. Hiện thực hóa các quy ước phân tích ngầm định

Nhiều lỗi xảy ra vì yêu cầu không chỉ rõ các chỉ số hoặc kiến thức nền tảng. Ví dụ trong DABstep: aci: [] không phải là tập rỗng, mà có nghĩa là quy tắc áp dụng cho tất cả giá trị ACI. Tương tự, is_credit: null có nghĩa là áp dụng cho cả giao dịch tín dụng và ghi nợ.

Kỹ năng giúp làm rõ các quy ước này, khiến Codex không còn phải “đoán” ý nghĩa của các trường dữ liệu. Điều này đặc biệt rõ rệt trong các tác vụ “Highest Cost”, nơi Codex chuyển từ việc chỉ chọn một quy tắc phí cao nhất sang việc cộng dồn tất cả các quy tắc áp dụng theo yêu cầu.

2. Làm rõ mục tiêu thực tế của tác vụ

Codex có thể hiểu sai mục tiêu cuối cùng. Trong tác vụ DSBio Spatial Neighbor, kết quả cuối cùng phải là một cặp gồm hai loại tế bào khác nhau. Tuy nhiên, không có Kỹ năng, Codex thường chọn các cặp cùng loại (ví dụ: macrophage_macrophage).

Kết quả của Codex khi không có Kỹ năng:

Tác vụ	Kết quả Codex	Đáp án tham chiếu
aorta k=10 train	macrophage_macrophage	fibroblast_lymphocyte
aorta k=20 test	macrophage_macrophage	fibroblast_lymphocyte
aorta k=30 test	macrophage_macrophage	fibroblast_lymphocyte
RCA k=10 test	macrophage_macrophage	fibroblast_macrophage
RCA k=20 test	lymphocyte_lymphocyte	fibroblast_macrophage

Từ những thất bại này, Kỹ năng đã trích xuất các quy tắc: sử dụng obsm["spatial"] làm tọa độ, so sánh với cơ sở ngẫu nhiên, và chỉ so sánh các cặp tế bào khác loại. Kết quả là Codex đã giải đúng các tác vụ kiểm tra dù tham số và vùng mô thay đổi.

3. Chuyển đổi quy trình kinh doanh phức tạp thành quy trình thực thi được

Phân tích kinh doanh thực tế là một luồng công việc (workflow) nhiều bước. Nếu sai một bước trung gian, kết quả cuối sẽ sai.

Ví dụ, tác vụ Định tuyến Thẻ (Card Scheme Routing) gồm 9 bước: chuyển đổi khoảng thời gian $\rightarrow$ lọc giao dịch $\rightarrow$ tính khối lượng/tỷ lệ gian lận $\rightarrow$ lấy thuộc tính người bán $\rightarrow$ tính lại giá cho từng hệ thống thẻ $\rightarrow$ khớp quy tắc phí và cộng dồn $\rightarrow$ tổng hợp chi phí $\rightarrow$ chọn phương án tối ưu $\rightarrow$ trả kết quả.

Không có Kỹ năng, Codex thường bỏ qua các bước như tính lại giá cho mọi ứng viên. Kỹ năng biến luồng này thành một quy trình cố định và cung cấp mã hỗ trợ solve_routing.py, giúp Codex thực hiện ổn định hơn.

4. Chuyển đổi kinh nghiệm thất bại thành danh sách kiểm tra (Checklist)

Kỹ năng chuyển các lỗi lặp lại thành các ràng buộc phải kiểm tra. Ví dụ:

• Luôn kiểm tra xem trường quy tắc phí có phải là ký tự đại diện (wildcard) trước khi kết luận quy tắc không áp dụng.
• Trong phân tích vùng lân cận, chỉ so sánh các cặp tế bào khác loại.

Điều này giúp Codex tự phát hiện lỗi trước khi chốt kết quả cuối cùng.

---

Hạn chế của các Kỹ năng là gì?

1. Kỹ năng có thể củng cố những diễn giải sai

Nếu tập huấn luyện không đủ bao quát hoặc diễn giải của chúng ta bị thiếu, Kỹ năng tạo ra sẽ sai. Trong một số câu hỏi về MCC, Codex trở nên nhất quán hơn trong cách tính nhưng lại nhất quán ở một… đáp án sai. Điều này cho thấy Kỹ năng có thể khiến một hành vi sai lặp lại một cách hệ thống hơn.

2. Kỹ năng chỉ áp dụng cho các tác vụ liên quan, không phải mọi tác vụ

Kỹ năng chỉ hữu ích cho một lớp tác vụ cụ thể (cùng tập dữ liệu, trường dữ liệu hoặc quy trình tương tự). Nếu đưa quá nhiều tác vụ khác biệt vào một Kỹ năng, các quy tắc sẽ bị loãng hoặc xung đột. Cách tiếp cận tốt nhất là chia Kỹ năng theo loại tác vụ hoặc luồng phân tích.

3. Kỹ năng không thể thay thế sự xác nhận của con người

Kỹ năng giảm lỗi lặp lại nhưng không đảm bảo kết quả luôn đúng. Con người vẫn cần thiết khi:

• Câu hỏi mơ hồ.
• Định nghĩa trường không rõ ràng.
• Tác vụ kiểm tra quá khác biệt so với huấn luyện.

---

Làm thế nào để sử dụng Kỹ năng hiệu quả hơn trong phân tích dữ liệu?

1. Hiện thực hóa các quy ước ngầm định

Một Kỹ năng tốt phải nêu rõ các giả định. Ví dụ: nói rõ aci: [] có nghĩa là áp dụng cho tất cả, hoặc yêu cầu cộng dồn nhiều quy tắc phí thay vì chỉ chọn một.

2. Cấu trúc Kỹ năng như một luồng công việc cố định

Chúng tôi đề xuất chia Kỹ năng thành 3 phần:

Phần	Nội dung cần có	Ví dụ
Trường và quy tắc	Định nghĩa trường, công thức, quy tắc kinh doanh	aci: [] áp dụng cho mọi giá trị ACI
Quy trình phân tích	Các bước theo thứ tự và kiểm tra trung gian	Lọc tháng $\rightarrow$ Tính khối lượng $\rightarrow$ Tính lại giá
Định dạng đầu ra	Định dạng trả về, đơn vị, độ chính xác thập phân	Trả về Scheme:12.34

3. Chuyển đổi lỗi phổ biến thành quy tắc cụ thể

Thay vì nhắc nhở chung chung như “hãy kiểm tra kỹ dữ liệu”, hãy đưa ra quy tắc thực thi được: “Không diễn giải aci: [] là tập rỗng; trường này có nghĩa là tất cả các giá trị đều được áp dụng”.

4. Kết hợp Kỹ năng phức tạp với mã hỗ trợ

Với các tác vụ yêu cầu join nhiều bảng, khớp khoảng thời gian hoặc tính toán ma trận phức tạp, hãy cung cấp một mã nguồn tái sử dụng (ví dụ: solve_routing.py) và hướng dẫn cách dùng. Điều này ngăn Codex phải viết lại logic phức tạp cho mỗi tác vụ.

---

Kết luận

Trong thí nghiệm quy mô nhỏ này, các Kỹ năng đã giảm bớt các lỗi lặp lại và cải thiện độ chính xác của Codex. Chúng tôi tin rằng mô hình hợp tác lý tưởng sẽ là:

• Con người: Định nghĩa vấn đề, xác nhận ý nghĩa dữ liệu và kiểm chứng kết luận.
• Kỹ năng: Lưu trữ quy tắc miền, quy trình tái sử dụng và các mẫu thất bại đã biết.
• Codex: Đọc dữ liệu, thực hiện tính toán, tạo kết quả trung gian và lập báo cáo.

Kỹ năng không thay thế được con người nhưng là một công cụ thực tế để biến Codex thành một trợ lý phân tích dữ liệu đáng tin cậy hơn.

DataCOPE hiện đã được mở mã nguồn trong dự án DataMind. Chúng tôi mời các bạn khám phá tại: 👉 GitHub: https://github.com/zjunlp/DataMind/tree/main/datacope/general
👉 Paper: https://arxiv.org/abs/2606.06416

Link bài viết gốc

• Tags:
• Ai
• 10 July 2026
• Huggingface.co