robots.txt는 무엇인가요?
robots.txt는 자동 수집기에 접근 가능한 경로를 안내하는 파일입니다. 비공개 자료를 지키는 인증 수단으로 대신 사용할 수는 없습니다.
적용 범위
웹 문서 용어는 주소·본문·메타 정보의 역할을 구분하는 데 도움이 됩니다. 이 묶음은 개념 설명이며 실제 설정 절차는 사용하는 프레임워크 문서에서 확인해야 합니다.
확인할 항목
- 주소와 문서 내용을 구분
- 메타 정보와 실제 화면 대조
- 접근 제어와 수집 안내를 구분
공식 참고 자료
아래 자료는 이 주제의 개념과 검토 기준을 확인하는 공식 참고 문서입니다. 작업 순서와 비교 방법은 편집팀의 제안이며, 제품의 성능을 직접 시험했다는 뜻은 아닙니다.
- Google 대표 URL 지정 안내확인일 2026-10-20
- MDN HTML 안내확인일 2026-10-20
- Google robots.txt 해석 기준확인일 2026-10-20
관련 질문
noindex는 무엇인가요?
noindex는 지원하는 검색엔진에 해당 페이지를 색인하지 말라고 알리는 지시입니다. 페이지 접근 자체를 차단하는 기능과는 다릅니다.
noindex는 무엇인가요 자세히 보기 ↗User-Agent는 무엇인가요?
User-Agent는 요청한 프로그램이 자신을 설명하는 문자열입니다. 누구나 같은 문자열을 보낼 수 있어 공식 봇의 신원을 단독으로 증명하지는 못합니다.
User-Agent는 무엇인가요 자세히 보기 ↗HTML은 무엇인가요?
HTML은 웹 문서의 제목·문단·표·링크 같은 구조를 표현하는 언어입니다. 화면 모양뿐 아니라 정보의 의미와 계층을 전달하는 역할도 합니다.
HTML은 무엇인가요 자세히 보기 ↗