The Wells; Fomentar la exploración de la Web profunda

Desde hace unos días, un articulo de The Atlantic, lleva punteando en mi colección de readers;
Dark Social: We Have the Whole History of the Web Wrong. Parece que este post conecto con mucha gente, esta conexión me sorprendió, no pensé que este tema estuviera en el radar o conciencia de tanta gente.

Llevo desde hace un tiempo pensando como plataformas como Facebook han eliminado la exploración Web. Una red dentro dentro de la misma www, que a mi gusto, fomenta el uso pasivo de la Web, en contenidos monótonos  y repetitivos, en solo ver una capa muy delgada de lo que realmente tiene la Internet por ofrecer.

Cierto, existen lugares como Twitter, Pinterest y hasta Tumblr, que ha mi gusto le da dado herramientas muy potentes a ese pequeño porcentaje de usuarios que navega y hace curadoría de que los contenidos que existen en la Internet. Pero estos lugares tienden a fomentar el "reshare", lo que hace crecer esos ecosistemas, pero a su vez hace que muchos contenidos se repitan (viral efects).

Recuerdo el antiguo Yahoo y que organizaba la web por categorías. Que permitía a los usuarios entrar a clasificaciones como eran el Site of the days o navegar sitios destacado en la Web por categorías disponibles en ese buscador. Para mi lo que paso con Yahoo es que me pase a otro buscador que a mi gusto era mas democrático  o por lo menos uno no pensaba que los enlaces con mejor posición eran, como en Yahoo, también pagos.

Curadores y agregadores

Lugares para descubrir la internet ya existen. Sitios como como Techmeme o, Alltop son excelentes ejemplos de motores de descubrimiento en los cuales el factor de decisión humano es muy poco, comparado a los Pinterest, los Twitter o los Tumblrs.

Pero si uno se pone a revisar las fuentes de contenidos y nota que estas fuentes son las 20 mismas fuentes que utilizan todos. De acuerdo que si tienen buen contenido y relevante al momento, pero pienso que, de nuevo, estamos solo explorando una capa muy superficial de la web.

Copyachi es un excelente ejemplo de la estética y tipos de resultados que me gustaría explorar de manera automática en la red; ver lo que normalmente poco se ve, hacer minería para encontrar esas joyas ocultas y sorprender por medio de ese contenido ecléctico y original.

Todo esto para llegar a algo que para este ejercicio llamaré The Wells (los manantiales).

The Wells

Este nombre esta inspirado por The Well, uno de los  primeros  ISP en Internet. 

En este diagrama muestro de una manera básica como podría funcionar esta idea.

Aquí es trabajo divertido esta en la programación del "Query Bot" que debe estar programado para realizar búsquedas en la Web Profunda. Este bot debe estar programado para sin ayuda humana para:

• Buscar palabras claves relevantes al Zeitgeist: lectura de blogs y sitios de noticia que le permitan aprender sobre nuestra condición humana.
• Buscar por medio de Google sitios Web usando las palabras claves que el bot a encontrado.
• Tener intuición para darle valor al UI.
• Un ojo para reconocer imágenes
• Saber categorizar según palabras e imágenes los sitios Web que considera de valor.
• Mantener un conteo de los resultados de búsqueda que han sido visitados y recomendados por los usuarios.
• Obtener tips de los usuarios de sitios que debería de visitar.
• Una extensión de Chrome que permita leer el historial de navegación de los usuarios que tienen instalado la extensión.
• Tener la habilidad de crear conexiones entre los sitios web que obtiene desde el historial de los usuarios y los resultados de búsqueda efectuados.

Eso es The Wells. Creo que podría ser un bonito proyecto para algunos de ustedes que tienen la capacidad de programar este tipo de sistemas y el algoritmo que este requiere.

Entonces se los regalo; me avisan si quieren realizarlo.