Phát hiện và chống lại việc sử dụng AI sai mục đích: Tháng 8 năm 2025

Thông báo

27 tháng 8, 2025 • 5 phút đọc

Tải xuống báo cáo tình báo về mối đe dọa: Tháng 8 năm 2025

Chúng tôi đã phát triển các biện pháp an toàn và bảo mật tinh vi để ngăn chặn việc sử dụng sai mô hình AI của chúng tôi. Nhưng tội phạm mạng và các cá nhân xấu khác đang tích cực tìm cách vượt qua chúng. Hôm nay, chúng tôi phát hành một báo cáo chi tiết về điều đó.

Báo cáo Tình báo về Mối đe dọa của chúng tôi thảo luận về một số ví dụ gần đây về việc sử dụng Claude sai mục đích, bao gồm một hoạt động tống tiền quy mô lớn sử dụng Claude Code, một kế hoạch tuyển dụng gian lận từ Triều Tiên và việc bán phần mềm tống tiền do AI tạo ra bởi một tội phạm mạng chỉ có kỹ năng lập trình cơ bản. Chúng tôi cũng đề cập đến các bước chúng tôi đã thực hiện để phát hiện và chống lại những hành vi lạm dụng này.

Chúng tôi nhận thấy rằng các tác nhân đe dọa đã điều chỉnh hoạt động của họ để khai thác các khả năng tiên tiến nhất của AI. Cụ thể, báo cáo của chúng tôi cho thấy:

• AI chủ động đã bị vũ khí hóa. Các mô hình AI hiện đang được sử dụng để thực hiện các cuộc tấn công mạng tinh vi, không chỉ tư vấn về cách thực hiện chúng.
• AI đã hạ thấp rào cản đối với tội phạm mạng tinh vi. Tội phạm với ít kỹ năng kỹ thuật đang sử dụng AI để tiến hành các hoạt động phức tạp, chẳng hạn như phát triển phần mềm tống tiền, điều mà trước đây cần nhiều năm đào tạo.
• Tội phạm mạng và kẻ lừa đảo đã nhúng AI vào tất cả các giai đoạn hoạt động của họ. Điều này bao gồm lập hồ sơ nạn nhân, phân tích dữ liệu bị đánh cắp, đánh cắp thông tin thẻ tín dụng và tạo ra danh tính giả mạo cho phép các hoạt động lừa đảo mở rộng phạm vi tiếp cận đến nhiều mục tiêu tiềm năng hơn.

Dưới đây, chúng tôi tóm tắt ba nghiên cứu điển hình từ báo cáo đầy đủ của chúng tôi.

‘Hacking Vibe’: cách tội phạm mạng sử dụng Claude Code để mở rộng hoạt động tống tiền dữ liệu

Mối đe dọa: Gần đây, chúng tôi đã ngăn chặn một tội phạm mạng tinh vi sử dụng Claude Code để thực hiện hành vi trộm cắp và tống tiền dữ liệu cá nhân quy mô lớn. Kẻ tấn công nhắm mục tiêu ít nhất 17 tổ chức khác nhau, bao gồm cả trong lĩnh vực chăm sóc sức khỏe, dịch vụ khẩn cấp và các tổ chức chính phủ và tôn giáo. Thay vì mã hóa thông tin bị đánh cắp bằng phần mềm tống tiền truyền thống, kẻ tấn công đe dọa sẽ công khai tiết lộ dữ liệu để cố gắng tống tiền các nạn nhân trả tiền chuộc đôi khi vượt quá 500.000 đô la.

Kẻ tấn công sử dụng AI ở mức độ mà chúng tôi tin là chưa từng có. Claude Code được sử dụng để tự động hóa công tác trinh sát, thu thập thông tin xác thực của nạn nhân và xâm nhập mạng lưới. Claude được phép đưa ra cả quyết định chiến thuật và chiến lược, chẳng hạn như quyết định dữ liệu nào cần được lấy ra và cách soạn thảo các yêu cầu tống tiền nhắm mục tiêu tâm lý. Claude phân tích dữ liệu tài chính bị đánh cắp để xác định số tiền chuộc thích hợp và tạo ra các ghi chú đòi tiền chuộc gây ấn tượng mạnh về mặt hình ảnh được hiển thị trên máy của nạn nhân.

=== KẾ HOẠCH LỢI NHUẬN TỪ [TỔ CHỨC] ===

💰 CHÚNG TÔI CÓ GÌ:
DỮ LIỆU TÀI CHÍNH
[Liệt kê các số liệu ngân sách của tổ chức]
[Số tiền mặt và định giá tài sản]
[Chi tiết đầu tư và quỹ tín thác]

LƯƠNG ([NHẤN MẠNH TÍNH NHẠY CẢM])
[Tổng số tiền lương]
[Lương theo từng bộ phận]
[Đe dọa tiết lộ thông tin về lương]

CƠ SỞ NGƯỜI QUYÊN GÓP ([TỪ PHẦN MỀM TÀI CHÍNH])
[Số lượng người đóng góp]
[Mô hình đóng góp trong lịch sử]
[Thông tin liên hệ cá nhân]
[Giá trị ước tính trên thị trường chợ đen]

🎯 CÁC TÙY CHỌN KIẾM TIỀN:

TÙY CHỌN 1: TỐNG TIỀN TRỰC TIẾP
[Số tiền yêu cầu bằng tiền điện tử]
[Đe dọa tiết lộ lương]
[Đe dọa bán dữ liệu nhà tài trợ]
[Đe dọa báo cáo quản lý]
[Ước tính xác suất thành công]

TÙY CHỌN 2: THƯƠNG MẠI HÓA DỮ LIỆU
[Định giá thông tin nhà tài trợ]
[Giá trị tài liệu tài chính]
[Giá trị cơ sở dữ liệu liên hệ]
[Tính toán doanh thu đảm bảo]

TÙY CHỌN 3: NHẮM MỤC TIÊU CÁ NHÂN
[Tập trung vào những người đóng góp chính]
[Đe dọa tiết lộ khoản quyên góp]
[Khoảng yêu cầu cho mỗi mục tiêu]
[Ước tính tổng tiềm năng]

TÙY CHỌN 4: PHƯƠNG PHÁP TẦNG LỚP
[Tống tiền tổ chức chính]
[Sao lưu bán dữ liệu]
[Nhắm mục tiêu cá nhân đồng thời]
[Dự báo doanh thu tối đa]

📧 CÁCH LIÊN LẠC ẨN DANH:
[Liệt kê các dịch vụ email được mã hóa]

⚡ CÁC YẾU TỐ NHẠY CẢM THỜI GIAN:
[Lưu ý về quyền truy cập vào phần mềm tài chính]
[Kích thước cơ sở dữ liệu được chỉ định]
[Sự cấp bách do khả năng phát hiện]

🔥 ĐỀ XUẤT:
[Phương pháp từng giai đoạn bắt đầu bằng mục tiêu tổ chức]
[Thời gian thanh toán]
[Thang leo lên các phương thức kiếm tiền thay thế]
[Ví tiền điện tử đã được chuẩn bị]

Trên đây: hướng dẫn đòi tiền chuộc mô phỏng được nhóm tình báo về mối đe dọa của chúng tôi tạo ra cho mục đích nghiên cứu và trình diễn.

Đến: [CÔNG TY] Nhóm điều hành
Kính gửi: [Liệt kê các giám đốc điều hành theo tên]

Chúng tôi đã hoàn toàn xâm nhập vào cơ sở hạ tầng của công ty bạn và đã trích xuất thông tin độc quyền.

SAU PHÂN TÍCH SƠ BỘ, CHÚNG TÔI CÓ:
HỆ THỐNG TÀI CHÍNH
[Chi tiết xác thực ngân hàng]
[Bản ghi giao dịch lịch sử]
[Khả năng chuyển tiền điện tử]
[Tài liệu tài chính nhiều năm]

HỢP ĐỒNG CHÍNH PHỦ ([NHẤN MẠNH LÀ QUAN TRỌNG])
[Số hợp đồng quốc phòng cụ thể]
[Thông số kỹ thuật cho hệ thống vũ khí]
[Tài liệu kiểm soát xuất khẩu]
[Quá trình sản xuất]
[Giá cả và thông số kỹ thuật của hợp đồng]

HỒ SƠ NHÂN VIÊN
[Số nhận dạng thuế của nhân viên]
[Cơ sở dữ liệu tiền lương]
[Thông tin nơi ở]
[Chi tiết tài khoản hưu trí]
[Báo cáo thuế]

SẢN QUYỀN TRÍ TUỆ
[Hàng trăm GB dữ liệu kỹ thuật]
[Hệ thống kế toán có đầy đủ lịch sử]
[Bản ghi kiểm soát chất lượng với tỷ lệ lỗi]
[Lưu trữ email trải dài nhiều năm]
[Kết quả thanh tra quy định]

HẬU QUẢ CỦA KHÔNG THANH TOÁN:
Chúng tôi sẵn sàng tiết lộ tất cả thông tin cho các bên sau:
CƠ QUAN CHÍNH PHỦ
[Cơ quan kiểm soát xuất khẩu]
[Cơ quan giám sát quốc phòng]
[Cơ quan thuế]
[Cơ quan quản lý nhà nước]
[Tổ chức tuân thủ an toàn]

ĐỐI THỦ CẠNH TRANH VÀ ĐỐI TÁC:
[Khách hàng thương mại chính]
[Đối thủ cạnh tranh trong ngành]
[Nhà sản xuất nước ngoài]

TRUYỀN THÔNG:
[Các tờ báo khu vực]
[Các phương tiện truyền thông quốc gia]
[Các ấn phẩm ngành]

HẬU QUẢ PHÁP LÝ:
[Trích dẫn vi phạm xuất khẩu]
[Vi phạm luật về vi phạm dữ liệu]
[Vi phạm luật riêng tư quốc tế]
[Vi phạm luật thuế]

ĐÁNH GIÁ THIỆT HẠI:
[Hủy bỏ hợp đồng quốc phòng]
[Hình phạt quản lý lên tới hàng triệu đô la]
[Kiện tụng dân sự từ nhân viên]
[Phá hủy uy tín ngành]
[Đóng cửa doanh nghiệp]

YÊU CẦU CỦA CHÚNG TÔI:
[Yêu cầu tiền điện tử ở mức sáu con số]
[Được đóng khung như một phần nhỏ của những tổn thất tiềm tàng]

Sau khi thanh toán:
[Cam kết tiêu hủy dữ liệu]
[Không tiết lộ công khai]
[Xác minh việc xóa]
[Bảo mật được duy trì]
[Hoạt động được tiếp tục]
[Cung cấp đánh giá bảo mật]

Sau khi không thanh toán:
[Lịch trình leo thang theo thời gian]
[Thông báo quy định]
[Tiết lộ dữ liệu cá nhân]
[Phân phối cho đối thủ cạnh tranh]
[Thực hiện gian lận tài chính]

QUAN TRỌNG:
[Tuyên bố về quyền truy cập toàn diện]
[Hiểu về tầm quan trọng của hợp đồng]
[Hậu quả thu hồi giấy phép]
[Yêu cầu không thể thương lượng]

BẰNG CHỨNG:
[Mục lục tệp được cung cấp]
[Cung cấp tệp mẫu]

HẠN CHÓT: [Giờ được chỉ định]

Đừng thử thách chúng tôi. Chúng tôi đã chuẩn bị sẵn sàng.

Trên đây: một ghi chú đòi tiền chuộc tùy chỉnh mô phỏng. Đây là một ví dụ minh họa, do nhóm tình báo về mối đe dọa của chúng tôi tạo ra cho mục đích nghiên cứu và trình diễn sau khi chúng tôi phân tích các tệp đã trích xuất từ hoạt động thực tế.

Hậu quả: Điều này thể hiện sự tiến hóa trong tội phạm mạng hỗ trợ AI. Các công cụ AI chủ động hiện đang được sử dụng để cung cấp cả tư vấn kỹ thuật và hỗ trợ hoạt động tích cực cho các cuộc tấn công mà nếu không sẽ cần một nhóm nhà điều hành. Điều này khiến việc phòng thủ và thực thi ngày càng khó khăn, vì các công cụ này có thể thích nghi với các biện pháp phòng thủ, như hệ thống phát hiện phần mềm độc hại, trong thời gian thực. Chúng tôi dự đoán các cuộc tấn công như thế này sẽ trở nên phổ biến hơn khi việc lập trình hỗ trợ AI làm giảm chuyên môn kỹ thuật cần thiết cho tội phạm mạng.

Phản hồi của chúng tôi: Chúng tôi đã chặn các tài khoản liên quan ngay sau khi phát hiện ra hoạt động này. Chúng tôi cũng đã phát triển một trình phân loại được tùy chỉnh (một công cụ sàng lọc tự động) và giới thiệu một phương pháp phát hiện mới để giúp chúng tôi phát hiện hoạt động như thế này nhanh nhất có thể trong tương lai. Để giúp ngăn chặn sự lạm dụng tương tự ở những nơi khác, chúng tôi cũng đã chia sẻ các chỉ số kỹ thuật về cuộc tấn công với các cơ quan có thẩm quyền liên quan.

Gian lận người lao động từ xa: cách người lao động CNTT Triều Tiên đang mở rộng việc làm gian lận với AI

Mối đe dọa: Chúng tôi phát hiện ra rằng các đặc vụ Triều Tiên đã sử dụng Claude để bảo đảm và duy trì gian lận các vị trí việc làm từ xa tại các công ty công nghệ thuộc Fortune 500 của Hoa Kỳ. Điều này bao gồm việc sử dụng các mô hình của chúng tôi để tạo ra các danh tính giả mạo tỉ mỉ với lý lịch chuyên nghiệp thuyết phục, hoàn thành các đánh giá kỹ thuật và lập trình trong quá trình ứng tuyển và thực hiện công việc kỹ thuật thực tế sau khi được tuyển dụng.

Các kế hoạch tuyển dụng này được thiết kế để tạo ra lợi nhuận cho chế độ Triều Tiên, bất chấp các lệnh trừng phạt quốc tế. Đây là một hoạt động kéo dài đã bắt đầu trước khi áp dụng LLMs và đã được FBI báo cáo.

Hậu quả: Người lao động CNTT Triều Tiên trước đây đã trải qua nhiều năm đào tạo chuyên ngành trước khi đảm nhiệm công việc kỹ thuật từ xa, điều này đã khiến năng lực đào tạo của chế độ trở thành một nút thắt lớn. Nhưng AI đã loại bỏ sự hạn chế này. Các nhà điều hành không thể viết mã cơ bản hoặc giao tiếp chuyên nghiệp bằng tiếng Anh hiện có thể vượt qua các cuộc phỏng vấn kỹ thuật tại các công ty công nghệ có uy tín và sau đó duy trì vị trí của họ. Điều này đại diện cho một giai đoạn hoàn toàn mới đối với những vụ lừa đảo tuyển dụng này.

Trên: Các lời nhắc mô phỏng được nhóm tình báo về mối đe dọa của chúng tôi tạo ra cho thấy sự thiếu kiến thức kỹ thuật liên quan. Dưới: Các lời nhắc mô phỏng cho thấy rào cản ngôn ngữ và văn hóa.

Phản hồi của chúng tôi: Khi phát hiện ra hoạt động này, chúng tôi đã ngay lập tức chặn các tài khoản liên quan và kể từ đó đã cải thiện các công cụ của mình để thu thập, lưu trữ và liên kết các chỉ số đã biết của vụ lừa đảo này. Chúng tôi cũng đã chia sẻ những phát hiện của mình với các cơ quan có thẩm quyền liên quan và sẽ tiếp tục theo dõi các nỗ lực thực hiện gian lận bằng cách sử dụng dịch vụ của chúng tôi.

Phần mềm độc hại không cần mã: bán phần mềm tống tiền dưới dạng dịch vụ do AI tạo ra

Mối đe dọa: Một tội phạm mạng đã sử dụng Claude để phát triển, tiếp thị và phân phối một số biến thể của phần mềm tống tiền, mỗi biến thể đều có khả năng né tránh, mã hóa và cơ chế chống khôi phục nâng cao. Các gói phần mềm tống tiền được bán trên các diễn đàn internet cho các tội phạm mạng khác với giá từ 400 đến 1200 đô la Mỹ.

Lựa chọn bán hàng ban đầu của tội phạm mạng trên dark web, từ tháng 1 năm 2025.

Hậu quả: Kẻ tấn công này dường như phụ thuộc vào AI để phát triển phần mềm độc hại hoạt động. Nếu không có sự hỗ trợ của Claude, chúng không thể triển khai hoặc khắc phục sự cố các thành phần phần mềm độc hại cốt lõi, như thuật toán mã hóa, kỹ thuật chống phân tích hoặc thao tác nội bộ của Windows.

Phản hồi của chúng tôi: Chúng tôi đã chặn tài khoản liên quan đến hoạt động này và đã cảnh báo các đối tác của mình. Chúng tôi cũng đã triển khai các phương pháp mới để phát hiện việc tải lên, sửa đổi và tạo phần mềm độc hại, để ngăn chặn hiệu quả hơn việc khai thác nền tảng của chúng tôi trong tương lai.

Các bước tiếp theo

Trong mỗi trường hợp được mô tả ở trên, những hành vi lạm dụng mà chúng tôi đã phát hiện ra đã cung cấp thông tin cho việc cập nhật các biện pháp an toàn phòng ngừa của chúng tôi. Chúng tôi cũng đã chia sẻ chi tiết về những phát hiện của mình, bao gồm cả các dấu hiệu lạm dụng, với các nhóm an toàn của bên thứ ba.

Trong báo cáo đầy đủ, chúng tôi đề cập đến một số trường hợp sử dụng các mô hình của chúng tôi một cách độc hại, bao gồm cả việc cố gắng xâm phạm cơ sở hạ tầng viễn thông của Việt Nam và việc sử dụng nhiều tác nhân AI để thực hiện gian lận. Sự gia tăng gian lận và tội phạm mạng được tăng cường bởi AI đặc biệt đáng lo ngại đối với chúng tôi và chúng tôi dự định sẽ ưu tiên nghiên cứu sâu hơn trong lĩnh vực này.

Chúng tôi cam kết liên tục cải thiện các phương pháp của mình để phát hiện và giảm thiểu những cách sử dụng mô hình của chúng tôi có hại này. Chúng tôi hy vọng báo cáo này sẽ giúp những người trong ngành, chính phủ và cộng đồng nghiên cứu rộng lớn hơn củng cố khả năng phòng thủ của chính họ trước việc lạm dụng các hệ thống AI.

Đọc thêm

Để xem báo cáo đầy đủ với các nghiên cứu điển hình bổ sung, hãy xem ở đây.

Link bài viết gốc

• Tags:
• Ai
• Aug 27, 2025
• Www.anthropic.com