SEO
Robots.txt는 무엇입니까?
Robots.txt는 웹사이트에서 웹 크롤러 및 기타 웹 로봇과 통신하여 검색 엔진 결과에서 처리하거나 스캔하거나 색인화해서는 안 되는 웹페이지와 웹사이트 영역을 알려주는 데 사용되는 표준 파일입니다.
Robot.txt는 무엇을 합니까?
robots.txt 파일은 크롤러라고도 알려진 웹 로봇에게 도메인 소유자가 '크롤링'을 원하지 않는 페이지나 파일을 알려줍니다. 봇은 웹사이트를 방문한 다음 웹페이지와 파일을 검색 엔진 결과 페이지에 나열하기 전에 색인화(저장)합니다.
Google 및 기타 검색 엔진에서 특정 페이지나 파일을 나열하지 않으려면 robots.txt 파일을 사용하여 해당 페이지나 파일을 차단해야 합니다.
상단의 주소 표시줄에서 도메인 이름 바로 뒤에 /robots.txt를 추가하면 웹사이트에 robots.txt 파일이 있는지 확인할 수 있습니다.
Robot.txt는 어떻게 작동하나요?
검색 엔진은 웹사이트를 크롤링하기 전에 robots.txt 파일을 확인하여 검색 엔진 결과에서 크롤링하고 색인을 생성할 수 있는 페이지에 대한 지침을 확인합니다.
검색 엔진이 색인을 생성하지 않도록 하려는 경우 Robots.txt 파일이 유용합니다.
1) 웹사이트의 페이지가 중복되거나 손상되었습니다.
2) 내부 검색 결과 페이지.
3) 웹사이트의 특정 영역 또는 전체 도메인.
4) 이미지, PDF 등 웹사이트의 특정 파일.
5) 로그인 페이지.
6) 개발자를 위한 웹사이트 준비.
7) 귀하 XML 사이트 맵.
robots.txt 파일을 사용하면 가치가 없는 페이지를 제거할 수 있으므로 검색 엔진은 대신 가장 중요한 페이지를 크롤링하는 데 집중합니다. 검색 엔진은 제한된 "크롤링 예산"을 갖고 있으며 하루에 특정 수의 페이지만 크롤링할 수 있으므로 관련 없는 URL을 모두 차단하여 검색 엔진이 페이지를 신속하게 찾을 수 있는 최고의 기회를 제공하려고 합니다.
또한 서버에 과부하가 걸리지 않도록 로봇에게 특정 페이지를 크롤링하기 전에 몇 초 동안 기다리도록 지시하는 크롤링 지연을 구현할 수도 있습니다. Googlebot은 이 명령을 인식하지 못하므로 대신 더 강력하고 미래 지향적인 솔루션을 위해 크롤링 예산을 최적화하세요.
Robots.txt 파일을 만드는 방법?
현재 robots.txt 파일이 없다면 가능한 한 빨리 만드는 것이 좋습니다. 그렇게 하려면 다음을 수행해야 합니다.
1) 새 텍스트 파일을 만들고 이름을 "robots.txt"로 지정합니다. Windows PC에서는 메모장 프로그램, Mac에서는 TextEdit과 같은 텍스트 편집기를 사용한 다음 텍스트로 구분된 파일을 "다른 이름으로 저장"하여 확장자가 파일 이름은 ".txt"입니다.
2) 웹사이트의 루트 디렉터리에 업로드하세요. 이는 일반적으로 도메인 이름 바로 뒤에 표시되는 "htdocs" 또는 "www"라는 루트 수준 폴더입니다.
3) 각 하위 도메인에 대한 robots.txt 파일을 만듭니다. – 하위 도메인을 사용하는 경우에만 해당됩니다.
4) 테스트 – 브라우저 주소 표시줄에 yourdomain.com/robots.txt를 입력하여 robots.txt 파일을 확인합니다.
자세히 보기 여기에서 지금 확인해 보세요..
[optin-monster slug=”em8z7q6hga9elmy1dbgb”]