검색 엔진 크롤링 비활성화

robots.txt 파일을 생성하거나 특정 페이지에 NOINDEX 태그를 삽입하는 두 가지 방법을 사용하여 검색 엔진이 웹사이트에서 탐색하는 페이지를 관리할 수 있습니다. 이렇게 하면 검색 엔진이 특정 페이지, 디렉터리, 전체 사이트 또는 webflow.io 하위 도메인을 탐색하고 색인화하는 것을 중지할 수 있습니다. 이는 웹사이트의 404 페이지와 같은 페이지가 색인화되어 검색결과에 표시되지 않도록 숨기는 데 유용할 수 있습니다.

중대한: 탐색하지 않아도 사이트 콘텐츠의 색인이 생성될 수 있습니다. 이는 해당 콘텐츠가 이전에 게시되었거나 다른 온라인 소스의 해당 콘텐츠에 대한 링크가 있기 때문에 검색 엔진이 귀하의 콘텐츠를 인식할 때 발생합니다. 다음을 보장하려면 이전에 색인이 생성된 페이지의 색인이 생성되지 않으므로 robots.txt 파일에 페이지를 추가하지 마세요. 대신 Sitemap 색인 생성 토글을 활용하여 Google 색인에서 해당 콘텐츠를 제거하세요.

이 튜토리얼 내에서: 

1. Webflow 하위 도메인의 인덱싱을 비활성화하는 방법
2. 사이트 페이지 색인 생성을 활성화 또는 비활성화하는 방법
3. 개인정보 보호를 위한 권장사항
4. 문제 해결을 위한 일반적인 질문과 팁

Webflow 하위 도메인의 인덱싱을 비활성화하는 방법

Google 및 기타 검색 엔진이 웹 사이트의 webflow.io 하위 도메인을 색인화하지 못하도록 하려면 다음에서 색인화를 비활성화하십시오. 사이트 설정.

1. 입장 사이트 설정 > SEO 탭 > 인덱싱 부분
2. 비녀장 Webflow 하위 도메인 인덱싱 비활성화 에게 "예” 
3. 딸깍 하는 소리 변경 사항을 저장하다 그리고 웹사이트를 게시하세요

이 작업을 수행하면 하위 도메인에만 특정 robots.txt가 게시되어 검색 엔진이 이 도메인을 무시하도록 지시합니다.

메모: Webflow 하위 도메인의 검색 엔진 인덱싱을 방지하려면 사이트 요금제 또는 유료 작업 공간이 필요합니다. 사이트 및 작업 공간 계획에 대한 자세한 내용을 알아보세요.

사이트 페이지 색인 생성을 활성화 또는 비활성화하는 방법

사이트 페이지 색인 생성을 비활성화하는 방법에는 두 가지가 있습니다.

• 활용하여 사이트맵 색인 생성 전환 페이지 설정
• robots.txt 파일을 생성하여

robots.txt 파일을 통해 사이트 페이지의 색인 생성을 비활성화하는 경우 해당 페이지는 웹사이트의 자동 생성 사이트맵에 계속 포함됩니다(사이트맵이 활성화된 경우). 또한 이전에 맞춤 코드를 통해 사이트 페이지에 NOINDEX 태그를 추가한 경우 해당 페이지는 여전히 웹사이트의 자동 생성 사이트맵의 일부입니다(사이트맵 색인 생성 토글을 켜지 않는 한).

사이트맵 색인 생성 토글을 사용하여 사이트 페이지 색인 생성을 비활성화하는 방법

사이트맵 색인 생성 토글을 사용하여 정적 사이트 페이지의 색인 생성을 비활성화하면 해당 페이지가 검색 엔진에 의해 색인 생성되고 웹사이트 사이트맵에서 제외되는 것을 방지할 수 있습니다. 웹사이트의 자동 생성 사이트맵이 활성화된 경우에만 토글을 사용하여 색인 생성을 비활성화할 수 있습니다.

메모: Sitemap 색인 생성 토글이 추가됩니다. 귀하의 사이트 페이지에 접속하여 검색 엔진이 사이트를 탐색하고 색인화하는 것을 방지합니다.

검색 엔진이 특정 사이트 페이지를 색인화하지 못하도록 하려면 다음 단계를 따르세요.

1. Google의 색인 생성을 방지하려는 페이지에 액세스하세요.
2. 이동 페이지 설정 > SEO 설정
3. 끄다 사이트맵 색인 생성‍
4. 게시 귀하의 웹사이트

사이트맵 색인 생성 토글을 사용하여 사이트 페이지 색인 생성을 활성화하는 방법

검색 엔진이 특정 사이트 페이지를 색인화하도록 허용하려면:

1. Google의 색인 생성을 허용하려는 페이지로 이동하세요.
2. 방문하다 페이지 설정 > SEO 설정
3. 할 수 있게 하다 사이트맵 색인 생성‍
4. 게시 귀하의 웹사이트

robots.txt 파일을 만드는 방법 

robots.txt는 일반적으로 검색 엔진에서 탐색하지 않는 웹사이트의 URL을 지정하는 데 사용됩니다. 또한 robots.txt 파일에 웹사이트의 사이트맵을 나열하여 검색 엔진 크롤러에게 어떤 콘텐츠를 탐색해야 하는지 알릴 수도 있습니다.

사이트맵과 유사하게 robots.txt 파일은 도메인의 기본 디렉터리에 있습니다. 일단 당신이 당신의 사이트 설정, Webflow는 귀하의 웹사이트에 대한 /robots.txt 파일을 생성합니다.

robots.txt 파일을 생성하려면:

1. 로 이동 사이트 설정 > SEO 탭 > 인덱싱 부분
2. 원하는 robots.txt 규칙을 포함하세요.
3. 딸깍 하는 소리 변경 사항을 저장하다 그리고 웹사이트를 게시하세요

중요한: 탐색하지 않아도 사이트 콘텐츠의 색인이 생성될 수 있습니다. 이는 해당 콘텐츠가 이전에 게시되었거나 다른 온라인 소스의 해당 콘텐츠에 대한 링크가 있기 때문에 검색 엔진이 귀하의 콘텐츠를 인식할 때 발생합니다. 다음을 보장하려면 이전에 색인이 생성된 페이지의 색인이 생성되지 않으므로 robots.txt 파일에 페이지를 추가하지 마세요. 대신 Sitemap 색인 생성 토글을 활용하여 Google 색인에서 해당 콘텐츠를 제거하세요.

Robots.txt 규칙

robots.txt 파일에 이러한 규칙을 통합할 수 있습니다.

• 사용자 에이전트: * 는 이 섹션이 모든 로봇에 적용 가능함을 나타냅니다.
• 허용하지 않음:  로봇에게 웹사이트, 페이지 또는 디렉토리를 탐색하지 말라고 알립니다.

전체 웹사이트를 숨기려면

사용자 에이전트: *

허용하지 않음: /

개별 페이지를 숨기려면

사용자 에이전트: *

허용하지 않음: /페이지 이름

페이지의 전체 디렉토리를 숨기려면

사용자 에이전트: *

허용하지 않음: /폴더 이름/

사이트맵을 포함하려면

사이트맵: https://your-site.com/sitemap.xml

메모: Webflow는 robots.txt 파일에 사이트맵에 대한 링크를 자동으로 추가합니다.

귀중한 자원

더 유용한 robots.txt 규칙을 찾아보세요..

메모: 누구나 웹사이트의 robots.txt 파일에 액세스하여 잠재적으로 귀하의 비공개 콘텐츠를 식별하고 액세스할 수 있습니다.

개인 정보 보호를 위한 최선의 방법 

웹사이트의 특정 페이지나 URL이 검색되는 것을 방지하려면 robots.txt를 사용하여 URL이 탐색되지 않도록 하세요. 대신 다음 옵션 중 하나를 선택하세요. 

• 검색 엔진이 콘텐츠를 색인화하는 것을 방지하고 해당 콘텐츠를 검색 엔진 색인에서 제외하려면 사이트맵 색인 생성 토글을 활성화하세요. 
• 민감한 콘텐츠가 포함된 페이지를 초안으로 저장하고 게시하지 마세요. 출판이 필요한 페이지를 비밀번호로 보호하세요. 

문제 해결을 위한 FAQ 및 팁

내 Webflow 사이트에서 자산 색인 생성을 방지하기 위해 robots.txt 파일을 사용할 수 있습니까? 

robots.txt 파일은 해당 파일이 적용되는 콘텐츠(이 경우 자산이 호스팅되는 곳)와 동일한 도메인에 있어야 하므로 robots.txt 파일을 사용하여 Webflow 사이트의 자산 색인 생성을 방지하는 것은 불가능합니다. Webflow는 당사의 자산을 제공합니다. 글로벌 CDN robots.txt 파일이 있는 사용자 정의 도메인이 아닌 

사이트 설정에서 robots.txt 파일을 삭제했는데 게시된 사이트에는 계속 표시됩니다. 이 문제를 어떻게 해결할 수 있나요? 

robots.txt가 생성되면 완전히 제거할 수 없습니다. 그러나 이를 새로운 규칙으로 대체하여 사이트 크롤링을 활성화할 수 있습니다. 예: 

사용자 에이전트: * 

허용하지 않음:

변경 사항을 저장하고 사이트를 다시 게시하세요. 문제가 지속되고 게시된 사이트에 이전 robots.txt 규칙이 계속 표시되는 경우 다음을 수행하세요. 고객지원팀에 연락하다.