프롬프트 인젝션, 입력 검증, 다층 방어

프롬프트 인젝션, 입력 검증, 다층 방어에 대해 배웠습니다. 프롬프트 인젝션은 AI가 원래 지시를 무시하도록 유도하는 공격으로, 사용자 입력뿐 아니라 참고 문서에도 공격 명령이 숨어 있을 수 있다는 점을 알게 됐습니다. 특히 키워드 검사와 AI를 이용한 검사, 출력 검증을 함께 사용하면 한 가지 방법으로 막지 못한 공격도 다른 단계에서 막을 수 있다는 점이 기억에 남습니다.

같은 공격이라도 표현을 조금씩 바꾸면 검사 결과가 달라지는 실습이 가장 인상 깊었습니다. 단순히 위험한 단어를 찾는 방법으로는 모든 공격을 막기 어려웠고, AI가 문장의 의미를 판단하도록 하는 방법도 함께 사용했습니다. 또 참고 문서에 숨겨진 명령이 다른 에이전트에게 전달될 수 있다는 점을 알게 되어, 입력뿐 아니라 중간 과정과 최종 결과도 확인해야 한다는 것을 배웠습니다.

진도는 빠르지만 강사님께서 수강생들 한분 한분 챙겨주시면서 진행해 주셔서 좋았습니다!
이론 설명과 실습을 함께 진행하고 있으며, 다들 열정적으로 수업에 참여하고 있어서 저도 본받아 열심히 하고 있습니다!

프롬프트 인젝션의 공격 유형과 이를 막는 방법을 다시 정리하고 싶습니다. 특히 키워드 검사와 AI를 이용한 검사가 어떤 차이가 있는지 복습하고, 정상적인 요청과 공격을 구분하는 실습도 다시 해 보려고 합니다. 여러 단계로 방어하는 과정이 아직 익숙하지 않아 각 단계가 어떤 역할을 하는지 조금 더 이해하고 싶습니다.