Rà soát ranh giới prompt injection trong AI | DevPrompt Lab

Rà soát tập trung cho tính năng AI đọc nội dung người dùng hoặc truy xuất và có thể gọi tool hay thay đổi dữ liệu.

Nội dung có thể tái sử dụng

Hãy rà soát ranh giới tin cậy của tính năng AI. Theo dõi mọi đầu vào không tin cậy, gồm tài liệu truy xuất và kết quả tool, qua bước ghép prompt và phản hồi model. Xác định model có thể yêu cầu hành động nào, kiểm tra phía server nào vẫn là thẩm quyền cuối cùng và khi nào cần người dùng xác nhận thay đổi có tác động. Kiểm tra lộ bí mật, truy xuất chéo người dùng, prompt injection gián tiếp, render đầu ra không an toàn và quyền tool quá rộng. Đề xuất nhiều lớp kiểm soát và kiểm thử. Không khẳng định chỉ dẫn prompt tự nó cung cấp phân quyền hoặc cô lập.

Tính năng AI: {{AI_FEATURE}}

Đầu vào không tin cậy: {{UNTRUSTED_INPUTS}}

Tool sẵn có: {{TOOLS}}

Quyền và xác nhận: {{PERMISSIONS}}

Cách sử dụng

Mô tả ranh giới nhà cung cấp model và luồng thực thi tool thực tế. Không đưa key đang hoạt động hoặc prompt nhạy cảm.

Ví dụ

Kiểm soát: đánh dấu văn bản truy xuất là không tin cậy; trước khi chạy tool, server kiểm tra người dùng và dự án hiện tại.