Codex có thể xử lý phân tích dữ liệu trong thế giới thực không?

Tác giả: Zhisong Qiu, Jiafu Wei, và Chen Yan DOI: 10.5281/zenodo.21262548

Phân tích dữ liệu là một nhiệm vụ thiết yếu trong thế giới thực. Dù được thực hiện bởi các nhà khoa học dữ liệu chuyên nghiệp hay các kỹ sư trong các lĩnh vực chuyên biệt như tài chính và y tế, công việc này thường bao gồm thu thập, làm sạch, tổ chức, mô hình hóa và diễn giải dữ liệu để tìm ra các quy luật, xác thực giả thuyết và hỗ trợ ra quyết định.

Tuy nhiên, việc hoàn thành một tác vụ phân tích dữ liệu toàn diện (end-to-end) không hề đơn giản. Một câu hỏi tưởng chừng đơn giản có thể bao gồm nhiều bước, bao gồm chọn nguồn dữ liệu, hiểu cấu trúc (schema), mô hình hóa thống kê và diễn giải kết quả. Nếu bất kỳ bước nào trong số này bị hiểu sai, kết luận cuối cùng có thể đi chệch khỏi ý định thực sự của người dùng.

Khi các mô hình ngôn ngữ lớn ngày càng trở nên mạnh mẽ, các tác nhân phân tích dữ liệu tự động đang dần trở nên khả thi. Lý tưởng nhất là người dùng có thể mô tả câu hỏi bằng ngôn ngữ tự nhiên, và tác nhân này sẽ tự động tìm dữ liệu, viết mã, gỡ lỗi, tạo biểu đồ và lập báo cáo.

Gần đây, Codex đã giới thiệu một plugin phân tích dữ liệu mới. Vì vậy, chúng tôi đã thực hiện một loạt các thử nghiệm với Codex khi bật plugin này, nhằm trả lời một câu hỏi trực tiếp:

Liệu các mô hình tiên tiến như Codex hiện nay có thể hoàn thành một cách đáng tin cậy các tác vụ phân tích dữ liệu trong thế giới thực không?

Các bài kiểm tra của chúng tôi bao gồm hai loại kịch bản:

• Nhóm thứ nhất: Tập trung vào các tác vụ phân tích dữ liệu kinh doanh và đời thường, bao gồm các quy tắc kinh doanh phức tạp, các tệp không đồng nhất, báo cáo phân tích mở và liên kết nhiều bảng.
• Nhóm thứ hai: Tập trung vào các tác vụ phân tích dữ liệu khoa học và y sinh, bao gồm phân tích dữ liệu sinh học thực tế và các tính toán y tế.

Chúng tôi tổ chức cuộc thảo luận xoay quanh các câu hỏi sau:

• Chúng tôi đã kiểm tra những khả năng phân tích dữ liệu nào?
• Codex giỏi những loại tác vụ phân tích dữ liệu nào?
• Những lỗi phổ biến nhất của Codex đến từ đâu?
• Chúng ta có thể học được gì từ một thí nghiệm so sánh câu lệnh (prompt) đơn giản?
• Làm thế nào để sử dụng Codex hiệu quả hơn cho phân tích dữ liệu?

Kết luận của chúng tôi là:

Codex đã đạt đến mức độ hữu ích trong thực tế đối với việc phân tích dữ liệu, đặc biệt là đối với các tác vụ có quy tắc rõ ràng, dữ liệu hiển thị và cấu trúc xác định. Tuy nhiên, để kết quả đáng tin cậy, con người vẫn cần cung cấp định nghĩa về chỉ số, ngữ cảnh chuyên môn, tiêu chí chọn dữ liệu và các quy trình xác thực.

Chúng tôi đã kiểm tra những gì

Đánh giá này bao gồm hai kịch bản: phân tích dữ liệu kinh doanh thực tế và phân tích dữ liệu khoa học thực tế. Kịch bản đầu tiên gần với việc phân tích tự phục vụ trong môi trường doanh nghiệp, trong khi kịch bản thứ hai gần với quy trình phân tích khoa học của các nhà nghiên cứu. Chúng tôi đã lấy mẫu các tác vụ từ nhiều bộ dữ liệu chuẩn (benchmark).

Một số lưu ý:

• MedCalcBench kiểm tra tính toán y tế sau khi các thực thể liên quan đã được cung cấp, không kiểm tra việc trích xuất thực thể từ ghi chú lâm sàng.
• MedAgentGym và OpenProblems là các phân tích bổ sung.
• Trong DSBio, 13 câu hỏi không thể giải quyết vì thiếu nguồn dữ liệu bên ngoài hoặc không tìm thấy thông tin cần thiết. Kết quả được báo cáo trên 77 câu hỏi còn lại.
• Các tác vụ từ DABstep, DSBench-DA, DAComp-DA và CoDA-Bench được lấy mẫu thủ công dựa trên mức độ liên quan thực tế và độ khó.

Codex giỏi những tác vụ phân tích dữ liệu nào?

Nhìn chung, Codex hoạt động tốt ở những tác vụ mà quy tắc rõ ràng, dữ liệu hiển thị và cấu trúc tường minh.

Thứ nhất, Codex mạnh trong việc thực thi các công thức và quy tắc được chỉ định rõ ràng. Trong MedCalcBench, Codex đạt độ chính xác 83,7%. Nó giải quyết chính xác 60/60 tác vụ liên quan đến ngày tháng và 239/240 tác vụ đo lường vật lý. Với các công thức y tế phổ biến như BMI, Codex thường tính toán đúng. Tương tự trong DABstep, khi các quy tắc phí và logic tổng hợp được nêu rõ trong prompt, Codex có thể phân tích và tính toán chính xác.

Thứ hai, Codex ổn định trong việc đọc các tệp không đồng nhất và trích xuất thông tin có cấu trúc. Nó giải quyết đúng tất cả 8 tác vụ DSBench-DA bao gồm tệp Excel và các quy tắc dạng hình ảnh. Codex có thể viết script, liệt kê các kết quả ứng viên, xác thực kết quả trung gian và trích xuất thông tin từ các tệp phức tạp.

Thứ ba, Codex thực hiện tốt phân tích thống kê truyền thống khi cấu trúc dữ liệu rõ ràng. Trong BioDSBench và DSBio, khi mục tiêu phân tích, chiến lược nhóm và chỉ số thống kê được xác định rõ, Codex đạt kết quả khá tốt với các phân tích như phân phối bệnh, đếm bệnh nhân đột biến, kiểm định Kruskal-Wallis, Chi-Square, Pearson, v.v.

Thứ tư, Codex có thể tiến hành khám phá mở và tạo báo cáo phân tích. Qua các tác vụ DAComp-DA, Codex có thể đọc cơ sở dữ liệu SQLite, kiểm tra cấu trúc, định nghĩa chỉ số, chạy phân tích và tạo báo cáo có cấu trúc tốt. Điều này cho thấy Codex đã có khả năng phân tích toàn diện, bao gồm khám phá dữ liệu, tính toán chỉ số, tạo biểu đồ và viết kết luận.

Thứ năm, Codex giỏi tạo khung mã (code scaffolds) và các hàm cục bộ. Trong BioCoder, Codex vượt qua kiểm tra cú pháp và giao diện cho 207/207 tác vụ. Tuy nhiên, chỉ 20/207 kết quả khớp hoàn toàn với triển khai tham chiếu. Điều này cho thấy khung mã đúng không đồng nghĩa với chức năng chính xác hoàn toàn, đặc biệt với các thuật toán tin sinh học chi tiết.

Cuối cùng, Codex mạnh trong việc phân tích các quỹ đạo có cấu trúc và bảng xếp hạng. Các phân tích bổ sung cho thấy khi thông tin đã được tổ chức thành bảng hoặc quỹ đạo, Codex có thể đọc, so sánh, tóm tắt và giải thích một cách đáng tin cậy.

Những lỗi phổ biến nhất của Codex đến từ đâu?

Các lỗi chính được chia thành bốn nhóm:

1. Khái niệm và Thực thể không đồng nhất

Các câu hỏi kinh doanh thực tế thường dùng ngôn ngữ tự nhiên, trong khi khái niệm cơ sở dữ liệu lại rất cụ thể. Ví dụ, “người dùng hoạt động” là tài khoản đăng nhập, thiết bị, hay khách hàng trả phí? Có loại trừ tài khoản ảo hay khách hàng đã hoàn tiền không? Nếu người dùng không chỉ định, Codex có thể hiểu sai ý định.

• Ví dụ: Trong CoDA-Bench 321, Codex tự động lọc bỏ các đơn hàng không có đánh giá khi tính tỷ lệ 5 sao, trong khi yêu cầu là phải giữ các đơn hàng đó ở mẫu số.

2. Lỗi liên kết nhiều bảng (Multi-Table Joins)

Đây là nguồn gây ra các “lỗi ngầm” (silent errors) phổ biến nhất. Mã chạy thành công nhưng kết quả sai.

• Ví dụ: Khi tính chi phí vận chuyển trung bình mỗi đơn hàng, nếu không xác định rõ độ chi tiết (granularity), Codex có thể đếm sai mẫu số sau khi join bảng đơn hàng với bảng chi tiết đơn hàng.

3. Công thức ngầm định và Định nghĩa chỉ số không rõ ràng

Thất bại xảy ra khi một chỉ số có thể được định nghĩa theo nhiều cách. Nếu không được chỉ định rõ, Codex sẽ chọn một cách định nghĩa có vẻ hợp lý nhưng không khớp với mong đợi của người dùng.

• Ví dụ: Trong y tế, các chỉ số như Delta Gap thường không phải là công thức đại số đơn giản mà bao gồm các quy tắc tính điểm phân đoạn hoặc chuyển đổi đơn vị. Trong DSBio, Codex và đáp án tham chiếu sử dụng hai định nghĩa khác nhau về “tăng cường” (enhancement) cho các gene mã hóa protein.

4. Nguồn dữ liệu bị sai

Dữ liệu khoa học thực tế thường có nhiều phiên bản (số thô, ma trận đã xử lý, metadata). Nếu người dùng cung cấp tệp gây nhiễu hoặc sai, mô hình không thể đưa ra câu trả lời đúng.

• Ví dụ: Trong DSBio, Codex ban đầu sử dụng ma trận CQN và ra kết quả bằng 0, chỉ sau khi chuyển sang ma trận đếm (count matrix) mới ra kết quả đúng.

Thí nghiệm so sánh câu lệnh (Prompt)

Chúng tôi đã thử thêm định nghĩa chỉ số chính xác vào prompt cho các tác vụ đã thất bại trước đó:

• Các tác vụ như coda-321, dacomp-008, DABstep-2768 và DABstep-1457 đã được giải quyết thành công.
• dacomp-004 cải thiện một phần.
• coda-327 vẫn không thành công hoàn toàn, cho thấy việc liên kết nhiều bảng và hiểu độ chi tiết vẫn là thách thức.

Kết quả cho thấy nhiều thất bại không đến từ khả năng phân tích mà đến từ việc thiếu kiến thức nền tảng (như định nghĩa chỉ số). Tuy nhiên, trong thực tế, người dùng thường chỉ đưa ra yêu cầu đơn giản như “Xem doanh số tháng trước”, khiến Codex phải tự đoán các định nghĩa ngầm định.

Cách sử dụng Codex hiệu quả hơn cho phân tích dữ liệu

Chúng tôi đưa ra ba khuyến nghị thực tế:

1. Cung cấp thông tin nguồn dữ liệu chính xác

Bước đầu tiên nên là giảm thiểu việc Codex phải “đoán” ý nghĩa dữ liệu:

• Đảm bảo dữ liệu sạch và đầy đủ: Cung cấp thêm dữ liệu tham chiếu nếu cần.
• Giải thích mục đích từng nguồn: Mô tả rõ mỗi tệp/bảng dùng để làm gì.
• Định nghĩa dữ liệu và trường: Giải thích mỗi hàng đại diện cho cái gì, ý nghĩa các trường chính và cách liên kết các bảng.

2. Sử dụng “Skills” để mã hóa kiến thức nền tảng

Sử dụng tính năng Skills để cung cấp ngữ cảnh mà không cần lặp lại trong mỗi prompt:

• Định nghĩa thuật ngữ: Ví dụ, quy định rõ “người dùng hoạt động” là gì.
• Định nghĩa chỉ số: Quy định cụ thể công thức tính, mẫu số bao gồm những đối tượng nào.
• Cung cấp nền tảng chuyên môn: Viết rõ các công thức đặc thù, quy tắc chấm điểm hoặc thiết kế thí nghiệm.
• Chỉ định quy trình tham chiếu: Yêu cầu Codex tuân thủ các bước (ví dụ: kiểm tra schema $\rightarrow$ xác nhận độ chi tiết $\rightarrow$ liên kết bảng $\rightarrow$ tính toán).
• Liệt kê các bẫy thường gặp: Cảnh báo về việc trùng lặp khi join bảng.

3. Xác thực quy trình phân tích

Vì rủi ro lớn nhất là “lỗi ngầm”, đừng chỉ nhìn vào kết luận cuối cùng. Hãy kiểm tra bốn khía cạnh:

• Kiểm tra yêu cầu: Xác nhận Codex đã đáp ứng đủ mọi yêu cầu, không bỏ sót.
• Kiểm tra chỉ số: Xác nhận kết quả được tính theo đúng định nghĩa.
• Kiểm tra dữ liệu: Xác nhận Codex dùng đúng tệp, trường và bộ lọc.
• Kiểm tra kết quả: Yêu cầu Codex xuất ra các bảng trung gian, mẫu dữ liệu chính và vết tính toán để con người rà soát.

Kết luận

Các thử nghiệm cho thấy Codex có khả năng thực thi phân tích dữ liệu mạnh mẽ. Đối với các tác vụ có quy tắc rõ ràng, nó có thể đọc tệp, viết mã, tính toán thống kê, tạo biểu đồ và lập báo cáo một cách đáng tin cậy.

Tuy nhiên, khó khăn thực sự nằm ở việc hiểu định nghĩa chỉ số và ngữ cảnh chuyên môn. Do đó, Codex hiện nay nên được coi là một cộng tác viên phân tích dữ liệu thay vì một chuyên gia tự động hoàn toàn.

Quy trình phối hợp lý tưởng:

• Con người: Định nghĩa vấn đề, cung cấp nền tảng, xác nhận chỉ số và đánh giá kết luận.
• Codex: Đọc dữ liệu, thực hiện tính toán, tạo biểu đồ và chuẩn bị báo cáo.

Trong chế độ cộng tác này, Codex mang lại giá trị thực tiễn rất lớn, giúp tăng hiệu suất và giảm bớt các công việc lặp lại.

Trích dẫn:

@misc{qiu2026codex_data_analysis,
  title        = {{Can Codex Handle Real-World Data Analysis?}},
  author       = {Qiu, Zhisong and Wei, Jiafu and Yan, Chen},
  year         = {2026},
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.21262548},
  url          = {https://doi.org/10.5281/zenodo.21262548},
  note         = {Technical blog}
}

Link bài viết gốc

• Tags:
• Ai
• 10 July 2026
• Huggingface.co