검색엔진 최적화의 기본 : 검색엔진의 인덱스 방지기능 (robots.txt파일과 메타 태그)

검색엔진 최적화의 기본 : 검색엔진의 인덱스 방지기능 (robots.txt파일과 메타 태그)



검색엔진 최적화에 반드시 필요한것은 아니지만, 기본적으로 알아두시는게 좋습니다.


robots.txt은 로봇 제외 표준이라 불리며, 검색엔진 봇들로 하여금 사이트의 전체, 또는 특정부분의 접근을 제한하게 만드는 역할을 합니다.

robots.txt파일은 검색엔진 봇들로 하여금 어떤 디렉토리는 인덱스가 가능하며, 어떤 디렉토리는 인덱스를 해서는 안된다는 것을 알려줍니다.

검색엔진 봇들 또한 특정 사이트를 방문했을때, 이 robots.txt파일을 제일 먼저 찾게되며, 이 파일에 쓰여있는 내용에 대하여 절대 복종합니다.

robots.txt파일이 없어도 크게 상관은 없습니다.
검색엔진 봇은 모든것을 허용한다는 의미로 받아 들입니다.


기본적으로 robots.txt파일은 최상위 디렉토리에 위치합니다.
예) http://www.bmlee.com/robots.txt


robots.txt파일의 생성

어려운거 하나도 없습니다.
그냥 메모장 하나 열어서



위와같이 작성한 다음, 그냥 업로드 하면 끝입니다.




User-Agent: [스파이더 또는 봇(bot)의 이름]
Disallow: [제외할 디렉토리 또는 파일의 이름]



예를들어 모든 검색엔진 봇을 나타내려면 User-Agent: 뒤에 '*'를 입력합니다.
그리고 제외할 디렉토리또한 아무것도 없을때엔 :

User-Agent: *
Disallow:



반대로 어떠한 검색엔진도 자신의 사이트를 인덱스 하지 못하게 할경우 :

User-Agent: *
Disallow: /

(조심해야 합니다. '/'하나를 붙이느냐 떼어내느냐에 따라 결과는 정 반대가 됩니다.)



특정 디렉토리와 파일을 제외시킬때 :

User-Agent: *
Disallow: /admin
Disallow: /images
Disallow: /secret.html



특정 검색엔진으로 하여금 인덱스를 금지 시킬때 :

User-Agent: Googlebot
Disallow: /admin
Disallow: /images
Disallow: /secret.html



구글봇으로 하여금 인덱스를 하게 하되 네이버봇으로 하여금 특정 디렉토리와 파일 인덱스를 금지 시킬때 :

User-Agent: Googlebot
Disallow:
User-Agent: Naverbot
Disallow: /admin
Disallow: /images
Disallow: /secret.html




특정파일의 로봇 인덱스 금지를 메타태그로 컨트롤 할수도 있습니다.

< meta name="robots" content="index,follow">
(모든 로봇들이 허용되며 링크를 따라가도됨)

또는

< meta name="robots" content="noindex,follow">
(모든 로봇들이 인덱스는 하지말되 링크는 따라가게 만듬)

또는

< meta name="robots" content="index,nofollow">
(모든 로봇들이 인덱스는 하되 링크는 따라가지 못하게 만듬)

또는

< meta name="robots" content="noindex,nofollow">
(모든 로봇들이 인덱스도 허용되지 않으며 링크또한 못 따라가게 만듬)

< meta name="revisit-after" content="7 days"> (7일 후에 다시 방문할것)

위와같이 메타태그를 < head>와 < /head>사이에 끼워놓으면 됩니다.

name의 'robots'는 모든 검색엔진 봇을 의미하며, 특정 검색엔진만을 나타낼때에는 Googlebot, Msnbot, Naverbot과 같이 특정 봇의 이름을 써주시면 됩니다.
content의 'index' 또는 'noindex'는 인덱스를 하느나 마느냐,
'follow'는 페이지 내에 있는 링크들을 따라 가느냐 마느냐를 나타냅니다.

'follow'의 기능은 각각의 링크에서도 컨트롤이 가능합니다.
예를 들에 자신의 페이지에 < a href=http://www.bmlee.com/>이병무의 개인 홈페이지< /a>라는 링크가 있을때, 로봇들이 이 링크를 따라가는것을 원치 않는다면
< a href=http://www.bmlee.com/ rel="nofollow">이병무의 개인 홈페이지< /a>
위와 같이 rel="nofollow" 를 < a> 태그안에 넣어주시면 됩니다.



참조 : http://www.robotstxt.org/

검색엔진 최적화를 위한 네번째 단계 : 메타 태그(meta tag)

검색엔진 최적화를 위한 네번째 단계 : 메타 태그(meta tag)


우선은 메타태그들중 가장 중요한 'keywords'와 'description'에 대해서만 설명합니다.

나머지 태그들은 나중에 차차 설명드리겠습니다.


1. Keywords
예)

< meta name='keywords' content='PDA, 쇼핑몰, PDA 쇼핑몰, HP, ipaq, hx4700, HP iPaq hx4700, iPaq hx4700">


키워드는 해당 페이지를 잘 나태내는 단어들로, 페이지 안에서 비중이 높은 단어들로 선정하여 기호, 숫자, 영문, 한글 순으로 나열하고 ','로 구분을 합니다.
대략 10 에서 15개 정도의 키워드가 적당합니다.
간혹, 어떤 사이트 들은 메타 키워드 태그에 엄청나게 많은 키워드를 포함시켜 놓는데, 사실 이는 검색엔진 최적화에 별 도움이 되지 않습니다.
태그 안에 들어가는 키워드들은 반드시 해당 페이지 내용에 포함되어야 합니다.
만약, 태그안에는 들어가 있지만, 페이지 내용에 포함되어 있지 않다면, 검색엔진 봇(bot)은 이를 spam으로 간주하게 됩니다.
또한 태그안에 같은 키워드가 중복되어있다면 이또한 spam으로 간주하게 됩니다.
위의 예를 보게되면, 각각의 단어들로만 나누어 놓은게 아니라, 두단어를 한 묶음으로, 또 세단어를 한 묶음으로 나누어 놓았습니다.
결과적으로 'PDA', '쇼핑몰', 'PDA 쇼핑몰'은 각각이 다른 세가지 키워드가 됩니다.


2. Description
예)

< meta name='description' content='PDA 쇼핑몰입니다'>


여기에는 해당 페이지의 내용을 요약해서 서술합니다.
검색엔진이 검색결과를 출력할때 페이지의 타이틀, url과 더불어 description의 내용이 출력됩니다.
검색엔진 결과에는 약 150자 정도만 표시되지만, 실제로 작성할때엔 200에서 250자 내외로 서술하면 됩니다.
반드시 메타 키워드에 사용한 키워드들로 작성하셔야 합니다.




요점 :
- 메타 키워드 태그는 반드시 페이지의 내용과 관계가 있는 단어들로 구성한다.
- 메타 키워드 태그에 들어가있는 키워드들로 페이지의 타이틀 태그(< title>< /title>)를 작성한다.
- 메타 키워드 태그에 들어가있는 키워드들로 페이지의 메타 디스크립션 태그를 작성한다.
- 되도록이면 같은 단어를 반복해서 작성하지 않는다.