Auge y caída de DMOZ, el gran rival de Yahoo que inspiró al creador de Wikipedia

En 1998 daba sus primeros pasos una empresa que iba a marcar el futuro de todo internauta. Con su logo rojo, amarillo, verde y azul, el buscador de Google veía la luz. Sin embargo, no era el único sitio que empezaba su andadura en aquel año, ni tampoco que lo hacía con el objetivo de ofrecer a los usuarios de internet (tan solo 188 millones frente a los 3.600 millones actuales) acceso a las cada vez más numerosas páginas web.

Pocos meses antes nació DMOZ, un directorio que acaba de cerrar sus puertas virtuales (si bien se puede consultar su última versión), casi dos décadas después de comenzar a agrupar las webs por categorías. Aunque no fue el primero ni el más recordado —lugar que ocupa el que fue su gran rival, Yahoo— , el hecho de que los propios usuarios lo editaran de forma voluntaria y colaborativa contribuyó a su rápida popularización.

“Yahoo cerró el directorio hace un par de años, así que nosotros ganamos”, señala con orgullo Chris Tolles, cofundador de DMOZ, a HojaDeRouter.com. Aquella plataforma, que creció rápidamente y hasta sirvió de inspiración al padre de la Wikipedia, hoy ocupa un lugar propio en la historia de internet.

El rival de Yahoo y colaborador de Google

“Yahoo tenía un problema de escalabilidad: había un montón de gente que quería tener sus webs listadas en Yahoo y Yahoo no podía hacerlo, así que vimos la oportunidad. Nuestro objetivo era ser el mayor directorio web editado por humanos”, detalla Tolles.

En realidad, la idea original de crear ese directorio fue de otros dos compañeros con los que este informático trabajaba en Sun Microsystems, Bob Truel y Rich SkrentaRich Skrenta, que ya había realizado una curiosa hazaña en la informática cuando era adolescente. A principios de los 80, creó el programa Elk ClonerElk Cloner, un virus que se autorreplicaba para infectar a los Apple II con un disquete. En aquel momento no fue considerado un virus, ya que ni siquiera el término existía, y el programa tampoco se expandió más allá de su círculo de amigos.

Skrenta también fue quien se dio cuenta de que cada vez era más lento que una web llegara a YahooYahoo (solo había 2.000 webs cuando nació, mientras que en aquel 1998 ya había 2 millones), y además el directorio había comenzado a cobrar por acelerar el proceso de revisión.

“Él se percató de que Yahoo estaba limitado por el número de editores que tenía”, explica Bryn DoleBryn Dole, otro de los cofundadores de DMOZ. A los expertos ‘surfers’ de Yahoo se les acumulaba el trabajo para categorizar todos los sitios del mundo, así que su directorio gratuito evitaría ese problema dando el control a los usuarios, que lo editarían de forma voluntaria y colaborativa. “El único modelo que puede escalar con el crecimiento de internet es el que se basa en la web en sí misma”, aseguró Tolles en aquel momento.

Así que los cinco (se unió el después director de desarrollo corporativo de Google, Jeremy Wenokur) se pusieron a trabajar en el directorio en su tiempo libre. Dole pidió vacaciones para desarrollar el motor de búsqueda, cuyo código aún conserva en Github, y lo programó en nueve díasnueve días trabajando sin descanso.

Así nació GnuHoo, un directorio que vio la luz con polémica. A algunos no les gustó nada que emplearan el prefijo “Gnu”, ya que su sitio poco tenía que ver con el famoso proyecto de ‘software’ libre:proyecto cualquiera podía contribuir a él, pero era ‘software’ propietario. Tras la protesta de la Free Software Foundation, lo cambiaron por NewHoo, aunque después las objeciones llegaron por parte de Yahoo. Se quejaron del “hoo”, las letras rojas, la exclamación final y la tipografía redondeada (si bien el propio Google utilizó algunos de esos rasgos).

No les dio tiempo a cambiar de nuevo el nombre. Netscape compró el directorio a los pocos meses, cuando ya contaba con 100.000 sitios categorizados por 4.700 editores. Lo bautizaron entonces como Open Directory Project (ODP) y lo apodaron DMOZ (ya que, durante un tiempo, se alojó en el recién nacido Directorio Mozilla).

“Fuimos capaces de crear una empresa y venderla a otra compañía como empleados de una empresa diferente. Lo hicimos en tres meses, y creo que esa es parte de nuestra gran historia, que fuimos capaces de hacerlo en una época salvaje”, destaca Tolles. Él, Skrenta, Truel y Doyle pasaron a trabajar para Netscape, adquirida a su vez por AOL aquel mismo año por 4.200 millones de dólares (3.800 millones de euros al cambio actual).

Para entonces, Larry Page y Sergey Brin ya habían fundado su famosa compañía. “Usábamos las búsquedas a diario haciendo investigación para DMOZ, así que fuimos 'bibliotecarios de internet' y vimos cómo Google era un ‘game changer’ [una compañía que cambia las reglas del juego en su sector]”, destaca Dole. Aunque Google acabaría contribuyendo a la extinción de los directorios, su buscador no era tan eficiente entonces. Además, Tolles destaca que, en aquel momento, lo veían “como un socio” más que como un competidor. 

De hecho, uno de los grandes aciertos de DMOZ fue distribuir su directorio web en un archivo para que otros servicios pudieran utilizarlo. Netscape Search, Altavista, Lycos  y también el directorio de Google Netscape Search, Altavista, Lycos directorio de Google (que cerró en 2011) comenzaron a utilizar sus datos, consiguiendo que fuera el “directorio más exitoso de la historia en términos de utilidad”, según Tolles.

A cambio, solo pedían que los que usaran su directorio incluyeran un enlace a DMOZ, lo que la convirtió en una “web viral”. A mediados del año 2000, sus 22.000 editores ya enlazaban con 1,5 millones de páginas de 240.000 categorías y sus creadores afirmaban que DMOZ contenía más enlaces que Yahoo.

Inspirando a Jimmy Wales

Uno de los primeros que se aprovechó de la licencia libre de DMOZ fue el mismísimo Jimmy Wales. Este emprendedor de internet creó en los años 90 Bomis, un portal de búsqueda que tomaba los datos del Open Directory Project y vivía de la publicidad y el contenido erótico. Según ha descrito el cofundador de Wikipedia, Larry Sanger, en el 2000 Wales quiso crear “una enciclopedia a la que todos pudieran contribuir y que sería liberada bajo [...] una licencia de contenido abierto”. Además, partiría del concepto de DMOZ.concepto

Sanger fue el redactor jefe de Nupedia -esa enciclopedia gratuita, escrita por voluntarios expertos y dotada de un exhaustivo sistema de revisión- que no tuvo demasiado éxito. Así que se le ocurrió crear un proyecto en formato wiki que daría lugar al nacimiento de Wikipedia, la enciclopedia colaborativa más popular del mundo. Y la influencia no terminó ahí: “Wikia será más como DMOZ, excepto que será abierta y transparente y basada en las ideas 'wiki' más que un club cerrado”, destacaba Jimmy Wales antes de lanzar la plataforma para la creación de 'wikis' tres años más tarde.

La gestión de DMOZ por parte de su club de editores fue uno de los mayores problemas de esta plataforma, que se convirtió en la mayor rival de Yahoo. Al igual que los usuarios intentaban convencer a los ‘surfers’ para que categorizaran sus sitios donde a ellos les convenía, algunos editores de DMOZ aprovechaban para colar sus propias webs y mejorar con ello su posicionamiento en buscadores (SEO por sus siglas en inglés). El propietario de una página llegó a acusar a un editor de intentar sobornarle, amenazándole con quitar su página del directorio si no pagaba una cantidad, mientras otros editores se quejaban de haber sido eliminados injustamente.

“Sí, había editores que abusaban de sus privilegios y promocionaban sus propios sitios”, reconoce Dole. Si se les cazaba añadiendo una web por intereses personales, eran expulsados y el sitio eliminado, por lo que al menos debían comportarse como un editor más para pasar desapercibidos. “El resultado final fue una red positiva, porque fingiendo ser buenos editores, realmente tenían que hacer un buen trabajo”, asegura el cofundador del directorio.

Pese a ello, poco a poco, los problemas internos hicieron que su popularidad y su buena imagen se desvanecieran: en 2007 albergaba casi 5 millones de páginas y tenía 75.000 editores, pero buena parte de ellos no estaban activos. “DMOZ.org respondió a los repetidos ataques de ‘spam’ convirtiéndose en una comunidad cerrada, pidiendo a los solicitantes esperar meses o años antes de ser aceptados como editores haciendo el sistema menos transparente”, argumentaba el propio Jimmy Wales. “Esto era una respuesta razonable en la Web 1.0., pero impidió que DMOZ lograra su promesa inicial”.

De crear un directorio abierto a vivir de virales

Por aquellas fechas, los fundadores de DMOZ llevaban tiempo trabajando en otras aventuras empresariales. Una de ellas fue Topix, un sitio web cofundado por Skrenta, Dole, Truel y Tolles en 2004 para agregar noticias geolocalizadas. Aunque lograron una gran audiencia, el propio Skrenta reconoció que se debía al SEO y que no hacían nada que realmente importara a los usuarios. “¿Qué haces cuando tu éxito apesta?” se preguntaba en su blog.

Tras abandonar su puesto como CEO, Tolles tomó las riendas de una página que se transformó en “el mayor sitio de noticias de la comunidad” en Estados Unidos. Sus foros locales se hicieron muy populares en la América rural, aunque se llenaron de comentarios negativos y rumores propagados por usuarios refugiados en su anonimato. Tolles aseguró que trataban de eliminar los mensajes más dañinos, pero dejaron de hacerlo al darse de cuenta de que los comentaristas habían dejado de visitar el sitio.

Desde hace unos años, la compañía ha seguido un rumbo diferente: se ha convertido en un “sitio de entretenimiento dirigido editorialmente para impulsarse en las plataformas de grandes audiencias en la Red”. Fotogalerías de animales haciendo cosas (como estos 31 perros “convencidos de que eran gatos en secreto”) o tests de cultura popular o que incluso rozan lo ofensivo (su página Black Beat plantea cuestionarios sobre personas negras) forman parte de su negocio para entretener a las masas.

El propio Tolles no tiene problema en reconocerlo, aunque ha puntualizado en Twitter que prefiere utilizar el término ‘marketed content’ que el más denostado ‘clickbait’. “Hicimos algo diferente construyendo un sitio con personas que son periodistas profesionales y realmente poniendo algo de esfuerzo tecnológico en las analíticas. Construimos lo que llamamos un motor de búsqueda de audiencias”, defiende.

Según Tolles, Topix tuvo 3.000 millones de páginas vistas solo el pasado mes de diciembre. El ránking de Alexa sitúa a la web en el puesto 550 de las páginas más visitadas en Estados Unidos. Todo ello con un equipo de solo 20 personas (aunque le “encantaría dirigir compañías sin humanos”), entre ellos creadores de contenido, ingenieros o expertos en 'marketing' y monetización.

“Si eres un medio tienes que encontrar formas de gestionar y tratar con las personas que atraen el tráfico [...] y de cómo ser capaz de crear una compañía que pueda sobrevivir en un momento en el que Google y Facebook atraen la mayoría de tráfico. No es algo emocionante, pero es algo a lo que tenemos que enfrentarnos”, asegura.  

Además, en lugar de rendirse a Google, Skrenta, Dole y Truel cofundaron Blekko, un buscador alternativo. No aspiraban a superar en tamaño al del gigante de Mountain View, sino a diferenciarse de él permitiendo realizar otros tipos de búsqueda. El año pasado cerró sus puertas: IBM Watson se quedó con el equipo y con la tecnologíaquedó. “Trabajar en DMOZ me enseñó lo importante que es la comunidad de usuarios para el éxito de tu producto” señala Dole, haciendo balance de su experiencia en uno de los grandes directorios de internet que, según él mismo reconoce, estaba “condenado a la extinción”.

“No construimos una empresa que fuera de la talla de Google, que fuera una de las mayores compañías del mundo, pero en ese momento ayudamos a expandir las búsquedas y construimos un enfoque de contenido generado por el usuario que influyó a mucha otra gente”, sentencia Tolles. Que DMOZ descanse en paz. Vivirá por siempre en la memoria de sus sucesores.

----------------

Las imágenes son propiedad de Chris Tolles (3) y Wikimedia Commons (5)