ReadWriteWeb - Googlebot Crawls Through HTML Forms

ReadWriteWeb에 'Googlebot Crawls Through HTML Forms'라는 기사가 올라왔습니다.

• Googlebot web crawler would begin to fill out HTML forms and crawl the results.
  
• only crawling GET forms and not POST forms

구글봇이 Form의 내용을 채워서 실행한 다음에 얻어지는 결과물을 크롤링하며 robots.txt에서 크롤링을 거부하는 경우에는 크롤링하지 않는다고 하네요. (조만간에 POST도 하겠죠? ^^;;;)

출처: 'Googlebot Crawls Through HTML Forms' - ReadWriteWeb