Moderation API, 개인정보 마스킹, 정책 검증, 가드레일

Moderation API를 이용한 유해 콘텐츠 검사, 개인정보 마스킹, 가드레일에 대해 배웠습니다. AI가 만든 답변에 위험한 표현이 있는지 확인하고, 전화번호나 카드번호 같은 개인정보를 가리는 방법을 알게 됐습니다. 특히 AI의 답변이 정해진 규칙을 어겼을 때 그대로 내보내지 않고 경고하거나 다시 작성하고, 필요한 경우 차단할 수 있다는 점이 기억에 남습니다.

정상적인 답변인데도 AI가 정책을 위반했다고 판단하는 경우를 비교하는 실습이 가장 인상 깊었습니다. 처음에는 문제가 없는 문장까지 잘못 판단했지만, 검사 기준과 지시문을 수정하면서 결과가 달라지는 것을 확인했습니다. 또 잘못된 답변을 다시 작성하더라도 문제가 남아 있을 수 있어서, 수정한 결과도 한 번 더 검사해야 한다는 점을 배웠습니다.

진도는 빨라도 수강생들을 챙겨주시는 강사님 덕분에 재밌게 수업했습니다!

열정적으로 공부하시는 분들이라서 배울 점이 많습니다!

AI가 만든 답변을 검사하는 과정과 가드레일의 역할을 다시 복습하고 싶습니다. 특히 개인정보를 가리는 방법과 정책 위반에 따라 경고, 재작성, 차단으로 나누는 기준을 정리해 보려고 합니다. 정상적인 답변까지 잘못 차단하지 않도록 검사 기준을 수정하는 과정도 다시 살펴보고 싶습니다.