지식 엔진

지식 엔진의 검색 예시에는 "광고가 없고 안전하며 비영리적입니다: 위키백과를 기본 검색으로 설정하세요"라고 적혀 있다.

지식 엔진(Knowledge Engine, KE)은 기존의 검색 엔진에 대한 의존도를 낮추고, 공공 정보원으로부터 검증 가능하고 신뢰할 수 있는 정보를 찾아 표시하기 위해 위키미디어 재단(WMF)이 2015년에 시작한 프로젝트였다. 이 프로젝트는 독자들이 추가 정보를 찾을 때 독점적인 검색 엔진으로 눈을 돌리기보다 위키백과(Wikipedia.org) 및 기타 위키백과 관련 프로젝트에 머무를 수 있도록 하는 것을 목표로 삼았다. 또한 사용자 개인정보를 보호하고, 정보가 생성되는 방식에 대해 개방적이고 투명하며, 관련 메타데이터에 대한 접근을 허용하는 것을 목표로 했다.

이 프로젝트는 내부적으로 논란이 되었으며, 2016년 초에 종료되었다. 관련 아이디어는 위키미디어 프로젝트를 위한 내부 교차 위키 검색 엔진에 적용되었다.

역사

2015년, 위키미디어 재단은 지식 엔진 개발을 지원받기 위해 나이트 재단에 25만 달러의 보조금을 신청했다. 보조금 제안서에는 다음과 같이 명시되어 있었다. "상업용 검색 엔진이 인터넷 검색 엔진 이용을 지배하고 있으며, 그들은 인터넷의 지식과 정보에 대한 접근 경로를 통합하기 위해 독점 기술을 사용하고 있다." 이 프로젝트는 4단계로 설계되었으며, 각 단계는 약 18개월이 소요될 예정이었다.

지식 엔진은 위키백과 관련 프로젝트에서 정보를 끌어오고, 궁극적으로는 미국 인구조사국과 같은 다른 공공 정보원을 검색할 계획이었다. 유출된 위키미디어 재단 내부 문서에 따르면 "위키백과의 지식 엔진은 미디어, 뉴스 및 정보의 발견을 민주화할 것이다. 이는 인터넷의 가장 관련성 있는 정보를 더 쉽게 접근할 수 있고 공개적으로 큐레이션되게 만들 것이며, 상업적 이해관계에서 완전히 자유로운 공공 데이터 엔진을 만들 것이다. 우리의 새로운 사이트는 인터넷 최초의 투명한 검색 엔진이 될 것이며, 위키백과와 위키미디어 재단의 명성을 잇는 최초의 엔진이 될 것이다"라고 밝히고 있다. 새로운 검색 엔진이 당장 범용 검색 엔진을 대체할 것으로 기대되지는 않았는데, 초기에는 위키백과와 다른 자유 지식 프로젝트의 정보만 활용할 예정이었기 때문이다. 다만 시간이 지나면서 학술 및 오픈 액세스 자료도 검색 엔진 결과 페이지에 포함했을 가능성도 있었다. 매트 서던은 《검색 엔진 저널》에서 지식 엔진의 범위에 대한 언론의 혼선은 재단의 의도를 명확히 하려는 이후의 위키미디어 재단 성명이 "당초의 보조금 신청 문서와는 상당히 대조적이었기" 때문이라고 분석했다.

이 프로젝트는 개념 개발 단계에서 위키백과 공동체와 공개적으로 논의되지 않았으며, 기존 연간 계획의 일부도 아니었다. 이러한 비밀주의는 조직 내부에 어느 정도 혼란을 불러일으켰고, 투명성이라는 목표와도 어긋나는 것으로 비춰졌다. 프로젝트에 대한 라일라 트레티코프 위키미디어 재단 사무총장의 초기 블로그 게시물은 왜 원래 제안서가 내부 검색 엔진보다 훨씬 광범위했는지에 대해 다루지 않았다. 일부 직원과 재단 이사회 위원들은 위키미디어 재단이 여전히 위키백과 공동체에 솔직하지 못하다고 느꼈다. 이는 조직의 위기로 이어졌고, 결국 2016년 2월 트레티코프의 사임으로 귀결되었다.

설계

지식 엔진에서 사용될 수 있는 연합 데이터 소스의 예시.

지식 엔진은 독점적인 검색 엔진을 대체하고, 대신 정보의 출처가 어디인지 보여주며 메타데이터에 대한 접근을 허용하려는 의도로 기획되었다. 광고가 없으며 사용자의 개인 데이터를 보호하고 협업을 강조했을 것이다. 또한 위키백과 관련 프로젝트뿐만 아니라 미국 인구조사국, 오픈스트리트맵, 미국 디지털 공공도서관, 그리고 폭스 뉴스와 같은 외부 출처에서도 정보를 가져오려 했다. 지미 웨일스와 위키미디어 재단은 이 프로젝트가 위키백과와 관련 위키미디어 프로젝트의 검색 기능을 개선하는 데 집중할 것이라고 밝혔다. 그러나 보조금 신청서에는 상업용 검색 엔진과 경쟁하며 "인터넷에서 고품질의 공공 정보를 노출하기 위한 모델을 만들 것"이라고 명시되어 있었다.

개발 일정

프로젝트에 관한 정보는 점진적으로 공개되었다. 이미 2015년 5월부터 공동체 회원들은 새로운 "검색 및 발견(Search and Discovery)" 부서에 직원이 집중되는 것에 대해 질문했지만, 공개된 계획에는 이 작업에 대한 언급이 거의 없었다. 보조금은 2015년 중반에 신청되어 9월에 승인되었으나, 2016년 1월 보도 자료를 통해서야 공개적으로 발표되었다.

프로젝트 계획은 발견(Discovery), 자문(Advisory), 공동체(Community), 확장(Extension)의 4단계로 구성되었으며, 각 단계는 약 18개월이 소요될 예정이었다. 프로젝트 초기 단계 예산은 250만 달러로 책정되었으며, 전체 비용은 수천만 달러에 달할 것으로 예상되었다. 1년 후 위키미디어 재단은 그때까지의 개발 상황을 평가하고, 보조금이 종료되는 시점에 프로젝트를 2단계로 계속 진행할 계획을 세울 예정이었다.

동기 및 범위

2012년 중반부터 구글 검색은 구글 지식 그래프를 통해 검색 엔진 결과 페이지에 위키백과 문서의 주요 정보를 포함해 왔다.

이 프로젝트에서 혼란의 핵심은 지식 엔진이 웹 검색 장소로서 기존의 검색 엔진과 직접적으로 어느 정도까지 경쟁할 것인가 하는 점이었다. 《바이스》에 따르면 "위키백과를 설립하고 자금을 지원하는 비영리 단체인 위키미디어 재단은 구글과 정면으로 경쟁하는 것을 목표로 하는 검색 엔진을 만드는 데 관심이 있다"고 보도했다. 《가디언》은 "이 도구가 실제로 무엇을 목표로 하는지에 대해 상당한 의구심이 있었다. 구글이 보내주는 위키백과 트래픽의 감소를 막기 위한 검색 엔진인가, 아니면 단순히 위키백과 내부를 검색하기 위한 서비스인가?"라고 보도했다.

2012년부터 구글 검색을 비롯한 검색 엔진들은 검색 결과 옆 지식 패널에 위키백과의 간략한 정보 요약을 강조하기 시작했고, 이는 해당 검색 엔진들로부터 위키백과로 유입되는 트래픽을 감소시켰다. 《검색 엔진 워치》에 따르면 이는 주의력을 끌기 위한 전쟁으로 이어졌으며, 이 프로젝트는 그 트래픽의 일부를 회수할 수도 있었다.

유출된 초기 개념의 내부 문서들은 최종적인 공개 설명보다 훨씬 대담하게 계획을 구상하고 있었다. 문서에는 "위키백과의 지식 엔진은 미디어, 뉴스 및 정보의 발견을 민주화할 것이다. 이는 인터넷의 가장 관련성 있는 정보를 더 쉽게 접근할 수 있고 공개적으로 큐레이션되게 만들 것이며, 상업적 이해관계에서 완전히 자유로운 공공 데이터 엔진을 만들 것이다. 우리의 새로운 사이트는 인터넷 최초의 투명한 검색 엔진이 될 것이며, 위키백과와 위키미디어 재단의 명성을 잇는 최초의 엔진이 될 것이다"라고 적혀 있었다.

목적에 대한 서로 다른 설명 사이의 명백한 모순은 언론과 공동체 내에서 혼란을 야기했다. 추측이 무성해지자 위키미디어 재단은 의도를 명확히 하는 답변을 게시했다. "우리는 글로벌 크롤러 검색 엔진을 만들고 있지 않다... 헤드라인에도 불구하고, 우리는 구글을 포함한 다른 플랫폼과 경쟁하려는 것이 아니다. 비영리 단체로서 우리는 비상업적이며 열린 지식을 지원한다. 우리의 초점은 위키미디어 프로젝트에 기여된 지식에 있다. ... 우리는 위키미디어 사용자들이 콘텐츠를 어떻게 구하고, 찾고, 참여하는지 연구할 계획이다. 이 필수적인 정보는 우리가 위키미디어 프로젝트의 검색 및 발견 기능을 획기적으로 개선하는 데 도움이 될 것이다." 발견 부서장인 토마시 핑크는 "우리는 내부 검색 엔진을 만들고 있는 것이지, 광범위한 엔진을 만드는 것이 아니다"라고 덧붙였다. 지미 웨일스는 위키미디어 재단이 구글의 경쟁자를 만들고 있다는 시각에 대해 "낚시"이며 "완전히 틀린 사실"이고 "전적인 거짓말"이라고 말하면서도, 지식 엔진이 시간이 지나면 학술 및 오픈 액세스 출처를 검색 결과에 포함할 수도 있다는 점은 인정했다.

매트 서던은 《검색 엔진 저널》에서 지식 엔진의 범위에 대한 혼선이 "당초의 보조금 신청 문서와 상당히 대조적이었기" 때문이라고 보았으며, 제임스 빈센트(《더 버지》), 매트 맥기(《검색 엔진 랜드》), 제이슨 케블러(《바이스》) 등도 이러한 평가에 동조했다.

논란

공동체의 많은 이들은 급진적인 투명성을 자랑하는 조직이 이토록 큰 프로젝트의 세부 사항을 숨겼다는 사실에 분노했다. 검색 엔진을 작업한 적이 없다는 위키미디어의 공개적인 이야기는 나이트 재단에 제출된 보조금 제안서 및 유출된 내부 문서와 정면으로 배치되었다.

 —제이슨 케블러, 바이스

규모가 큰 위키미디어 재단 프로젝트는 거의 항상 위키백과 공동체와 공개적으로 논의되지만, 지식 엔진 개발 과정에서는 그러한 과정이 없었다. 위키백과 사용자들은 이 프로젝트가 하나의 개념으로서 존재한다는 사실조차 몰랐고, 지식 엔진 프로젝트는 재단의 연간 계획에도 언급되지 않았다. 영어 위키백과의 공동체 소식지인 《더 사인포스트》에 따르면, 일부 공동체 회원들은 이 프로젝트를 둘러싼 비밀주의와 자신들의 의견을 개진할 기회가 없었다는 점에 격분을 표했으며, 이는 위키백과 공동체에 대한 위키미디어 재단의 투명성 약속에 의문을 제기하게 만들었다.

위키미디어 재단 이사회 위원이었던 제임스 하일먼은 《더 사인포스트》를 통해, 이사회에 있는 동안 보조금 서류를 공개해야 한다고 여러 차례 주장했으나 성공하지 못했다고 밝혔다. 그는 2015년 12월 이사회에서 해임되었는데, 보조금에 대한 투명성을 요구한 것이 해임의 원인 중 하나였다는 추측이 제기되었으나 지미 웨일스는 이를 부인했다. 위키백과 공동체는 2017년에 하일먼을 이사로 재선출했다.

루스 맥캠브리지는 《논프로핏 쿼터리(Nonprofit Quarterly)》에서 "위키백과 편집자들은 12월부터 보조금 제안서와 승인 서신을 요청해 왔다. 많은 이들이 이 프로젝트를 위키미디어 재단이 기술적 첨단을 유지하려는 시도로 추측하지만, 공동체의 다른 시급한 필요로부터 자원과 관심을 돌릴 수도 있다고 본다"고 적었다.

개인정보 보호 문제를 이유로 공동체와 보조금 서류 공유를 꺼리는 태도에 대해 맥캠브리지는 과거 위키미디어의 관행과 비교했을 때 "문화와 가치 가정에서의 큰 차이"가 보인다고 지적했다. 그는 여기서 "중요한 전략적 결정의 권한"이 자원 봉사 편집자들과 공유되지 않고 "기부자와 조직 위계의 최상층 사이"에만 머물러 있는 것으로 보인다고 비판했다.

위키미디어 재단은 처음에 보조금 서류의 일부만 공개했다가, 나중인 2월에야 전체 보조금 계약서를 공개했다. 그 직후 추가 내부 문서가 유출되었다. 전체 계약서를 통해 프로젝트 1단계의 초기 개념이 명확해졌다. 트레티코프는 보조금에 대해 위키백과 편집 공동체에 알리는 것이 너무 늦어진 점에 대해 후회한다고 밝혔다.

오랜 위키백과 편집자이자 기자인 윌리엄 뷰틀러는 《바이스》의 제이슨 케블러에게 "검색 엔진이 좋은 아이디어인지, 아니 실현 가능한지는 차치하고서라도, 여기서 핵심 문제는 투명성이다. 아이러니하게도 위키미디어 재단은 운동의 핵심 가치 중 하나를 지키는 데 실패했다..."라고 말했다. 영국의 위키백과 편집자 애슐리 반 해프텐은 《아르스 테크니카》에 보낸 이메일에서 "라일라, 지미 그리고 나머지 사람들은 프로젝트가 시작된 후 6개월 동안 프로젝트와 나이트 재단 신청 및 보조금을 비밀로 유지하기로 선택했고, 그마저도 유출되었기 때문에 세상에 알려진 것이다"라고 말했다.

지식 엔진 프로젝트에 대한 트레티코프의 초기 공개 게시물은 왜 원래의 보조금 제안서가 이후의 내부 검색 엔진 개발 계획보다 훨씬 원대한 비전을 담고 있었는지 설명하지 못했다. 프로젝트 진행 방식에 불편함을 느꼈던 직원들은 재단이 공동체에 충분히 솔직하지 않다고 느꼈다. 재단 웹사이트에 게시된 내부 회의 기록에 따르면, 발견 팀의 한 직원은 트레티코프에게 "제 우려는 우리가 여전히 충분히 명확하게 소통하지 못하고 있다는 점이다. 오늘 아침의 블로그 게시물은 진실이지만, 진실의 전부는 아니다. 즉, 우리가 과거에 큰 계획을 가지고 있었다는 사실 말이다. 과거에 큰 계획이 있었지만 버려졌다고 말하는 편이 훨씬 쉬웠을 것이다... 우리는 여전히 그것을 인정하지 않았고, 부정할 수도 없다"라고 말했다.

2015년 4월까지 위키미디어 재단 부사무총장을 지낸 에릭 묄러는 당시 상황을 "통제 불능"이자 "위기"라고 묘사했다. 프로젝트에 대한 이견과 그로 인한 논란에 대한 대응 방식 때문에 많은 재단 직원이 떠났으며, 이는 결국 2016년 2월 25일 트레티코프의 사임으로 정점에 달했다.

외부 링크

• MediaWiki.org의 발견 팀(Discovery) 홈페이지