728x90
URL 검사 실시간 테스트 시 이와같이 등록할 수 있음이 아니고
robots.txt에 의해서 수집 거부 됐다는 경우가 있다.
네이버 웹마스터도 마찬가지고, 그 경우 robots.txt를 실시간으로 다시 제출해줘야 정상적으로 등록가능하다는 메시지를 확인할 수 있을것이다.
이게 실시간 테스트 요청시에 robots.txt를 다시금 불러오는게 아니라 이전에 test하면서 불러온 robots.txt를 기반으로 url테스트를하기 때문에 기존에 모든 url에 대해서 수집 허용을 해둔게 아니라면 계속 오류가 날것이다.
robots.txt를 업데이트할 수 있는곳은 구글/네이버 아래와 같다.
구글. www.google.com/webmasters/tools/robots-testing-tool
Google Search Console
하나의 계정으로 모든 Google 서비스를 로그인하여 Google Search Console로 이동
accounts.google.com
네이버 웹마스터 도구 -> 검증 -> robots.txt
728x90
'IT' 카테고리의 다른 글
| Error: [WinError 10013] 액세스 권한에 의해 숨겨진 소켓에 액세스를 시도했습니다 (0) | 2021.11.26 |
|---|---|
| 비주얼스튜디오코드(vscode) Do you trust the authors of the files in this folder? (0) | 2021.06.16 |
| gitbash prompt 스타일 설정. (0) | 2021.02.08 |
| django n+1 문제 해결 (0) | 2020.12.10 |
| django 장고 마이그레이션 후에 같은 마이그레이션 파일이 생기는 경우, (0) | 2020.12.03 |