인터넷은 무수히 많은 웹페이지로 구성돼 있는 정보의 보고이자 정보의 바다다. 따라서 이용자가 인터넷상의 웹페이지에 접속해 자신이 필요로 하는 정보를 구하기 위해서는 도메인 이름을 이용하는 것보다 검색엔진을 이용하는 것이 더 효과적인 방법이다.

검색엔진은 정보검색을 위한 등대같은 역할을 하는 정보화사회의 필수 존재다. 더구나 검색엔진에 의한 정보제공을 비즈니스 모델로 하는 사업자에게는 이용자들이 정확한 정보에 신속하고 편리하게 접근할 수 있도록 하는 것이 중요하다.

정보의 생산자는 많은 이용자들이 검색엔진을 이용해 자신의 웹사이트에 접속하고 정보를 얻을 것을 희망한다. 그러나 때에 따라서는 자신의 정보가 검색엔진에 의해 검색되고 타인에 의해 이용되는 것을 원치 않는 경우도 있을 수 있다. 특히 단순한 정보 이용자가 아닌 경쟁자가 시스템에 빈번하게 접속해 정보를 획득하는 과정에서 시스템에 대한 부하를 증가시키고 이렇게 획득한 정보를 자신과의 경쟁에 이용하는 것을 좋아하는 사람은 없을 것이다.

웹페이지에 존재하는 정보는 그 소유자가 타인이 이용하는 것을 묵시적으로 승낙한 것이라고 볼 수 있다. 따라서 타인에 의한 정보검색 및 이에 따른 정보의 수집 이용을 희망하지 않는 경우, 정보 소유자는 이같은 자신의 의사를 알려주어야 한다.

이를 위해 이용되는 것으로서 특정의 `메타택'을 이용하거나 특별히 포맷된 파일(robots.txt)을 제공하는 방법을 들 수 있다. 이것은 로봇(robot)이라는 프로그램이 웹상의 정보를 검색하고 수집하기 위해 특정 웹페이지를 방문하는 경우 메타택이나 ‘robots.txt’ 파일에 의한 지시사항을 읽을 수 있다는 것에 착안한 것이다.

마치 푯말이나 담장을 세워 타인의 접근을 금지하는 것과 같이, 웹페이지상의 정보에 대한 검색 수집금지를 전자적 형태로 알려주는 것이라 할 수 있다. 양자는 모두 업계에서 오랫동안 받아들여져 온 표준이며, 특히 ‘robots.txt’를 사용하는 방법(로봇배제표준)은 로봇이 웹페이지에 자동적으로 접근하는 것을 통제하기 위해 1994년에 처음 받아들여진 이후 현재 광범위하게 이용되고 있다.

그런데 문제점은 이러한 표준이 법에 의해 강제되는 규범이 아니고 따라서 그 준수 여부가 전적으로 자발적인 판단에 따른다는 것이다. 더구나 로봇에 의한 검색 및 정보수집을 봉쇄하는 것은 사실상 불가능하다.

따라서 이러한 표준이 준수되지 않았을 경우 이를 어떻게 할 것인가가 문제다. 이미 수년 전 미국 법원은 로봇에 의한 검색 및 정보수집을 배제하였음에도 시스템을 검색해 수집한 정보로 데이터베이스를 구축해 고객이 이를 이용하는 행위에 대한 금지명령을 인정했다.

당시 법원이 제시한 근거는 피고의 로봇만으로는 원고 시스템을 무력화할 수 없지만, 이를 허용하는 경우 다른 많은 로봇들도 접근하게돼 시스템이 과부하되는 등 손해를 야기할 수 있다는 것이었다.

정보화시대에서는 정보 자체가 상품이며 경쟁력이 됨에 따라 미국 법원의 이같은 논거는 매우 설득력이 있는 것으로 보인다. 굳이 산업계의 오래된 관행 내지 표준을 무시하고 정보 소유자의 시스템에 대한 부하를 증가시키면서까지 정보를 획득하고, 심지어 이를 바탕으로 정보 소유자와 경쟁하는 것은 바람직스럽지 못하다.

로봇에 의한 배제를 무시하고 검색결과에 따른 정보를 이용하거나 타인에게 제공하는 행위는 당사자간에 심각한 법적 분쟁도 야기할 것이다. 산업계의 표준이 준수되지 않을 경우에 야기되는 혼란은 입법이나 사법적 판단과 같은 정부의 개입을 불러들이게 된다.

정부의 개입은 결국 인터넷의 자율규제를 그만큼 훼손할 수밖에 없다. 또한 정보의 생산, 획득, 이용에 관한 문제점이 해결되지 않는다면, 이를 해결하기 위한 상당한 거래비용이 소요될 뿐만 아니라 완전한 정보화사회의 도래도 지연될 것이다.