토큰은 무엇인가요?
토큰은 모델이 텍스트를 처리할 때 사용하는 단위입니다. 글자나 단어와 일대일로 대응하지 않으며 언어와 토크나이저에 따라 달라집니다.
적용 범위
AI 용어의 설명은 일반적인 개념 수준으로 제공합니다. 실제 기능의 지원 여부와 성능은 제품 버전과 설정에 따라 확인해야 합니다.
확인할 항목
- 개념과 제품 기능을 구분
- 출력의 근거를 별도로 확인
- 보안 제어를 모델 답변에만 맡기지 않기
공식 참고 자료
아래 자료는 이 주제의 개념과 검토 기준을 확인하는 공식 참고 문서입니다. 작업 순서와 비교 방법은 편집팀의 제안이며, 제품의 성능을 직접 시험했다는 뜻은 아닙니다.
- NIST AI 위험관리 프레임워크확인일 2026-10-20
- OWASP 생성형 AI 보안 위험확인일 2026-10-20
관련 질문
컨텍스트 윈도는 무엇인가요?
컨텍스트 윈도는 모델이 한 번의 처리에서 참고할 수 있는 입력 범위를 말합니다. 입력에 들어갔다는 사실만으로 모든 내용이 똑같이 정확하게 활용되는 것은 아닙니다.
컨텍스트 윈도는 무엇인가요 자세히 보기 ↗프롬프트는 무엇인가요?
프롬프트는 모델에 전달하는 요청과 참고 정보입니다. 원하는 결과와 조건을 명확히 적되 사실 검증을 지시문 하나로 대체하지 않는 것이 좋습니다.
프롬프트는 무엇인가요 자세히 보기 ↗시스템 메시지는 무엇인가요?
시스템 메시지는 애플리케이션이 모델의 역할과 동작 조건을 전달하는 입력 영역입니다. 실제 접근 권한은 애플리케이션 코드와 인증으로도 제어해야 합니다.
시스템 메시지는 무엇인가요 자세히 보기 ↗