En una entrevista publicada por la revista Technology Review del MIT, el vicepresidente de Ingeniería de Facebook, Mike Schroepfer, habló sobre los retos en el día a día de la red social que acaba de alcanzar 300 millones de usuarios.
- 1 billón de mensajes de chat al día
- En horas pico, pone a disposición de los usuarios 1.2 millones de fotos cada segundo
La vida cotidiana de los ingenieros de FBK implica registrar, personalizar y almacenar la información proporcionada a cada segundo por cada uno de los usuarios. Esto es, que cada perfil es diferente por el simple hecho de que el usuario construye su propia gráfica social basada en actualizaciones personales, gustos, intereses, actividad en línea, entre otras cosas.
This is true not just on the home page, but on everything you look at throughout the site. Your view of the site is modified by who you are and who’s in your social graph, and it means we have to do a lot more computation to get these things done.”
-Mike Schroepfer.
Como ejemplo, Mike Schroepfer menciona que cuando un usuario decide hacerse fan de algún grupo musical, esta actividad se muestra en la página del usuario y en diferentes secciones de los otros usuarios ligados a su red, lo que segundos después es contabilizado en las bases de datos y podemos ver que 3 de tus amigos se han convertido en fans del mismo grupo.
Just rendering that home page requires us to query this really rich interconnected dataset–we call it the graph–in real time and serve it up to the users in just a few seconds or hopefully under a second. We do that several billion times a day.”
Mientras que en la mayoría de las páginas web el caché es utilizado para obtener información que va a ser vista una y otra vez, en FBK no es útil, ya que la información debe ser actualizada cada minuto o en menos de un minuto, lo que permite tener una página completamente nueva o actualizada cada vez que la refrescas.
Doing things in or near real time puts a lot of pressure on the system because the live-ness or freshness of the data requires you to query more in real time.”
El VP de FBK menciona dos sistemas que se han creado para satisfacer las necesidades de la red social:
- Custom in-memory database (memoria interna personalizada): Toma nota de lo que está sucediendo en las redes de tus amigos y es capaz de regresar con los resultados de la información más rápido que si fuera a buscarla directamente a una base de datos.
- Novel system architecture (nuevos sistemas de arquitectura computacional): Esta arquitectura es utilizada para fragmentar y dividir toda la información. Esto es, que como el sistema recibe una gran cantidad de información en un corto tiempo no es útil almacenarla en una gran base de datos. Es más sencillo si se recopila en miles de bases de datos que después permiten dividirla y analizarla (query) a una mayor velocidad.
Como parte de la infraestructura de FBK se encuentra la incorporación de aplicaciones nuevas y el almacenamiento de fotos. Esto es, que dada la forma en la que está construido, una función ó “feature” puede llegar a alcanzar los 300 millones de usuarios de esa aplicación en solo una tarde.
Por otro lado, el nivel de fotografías actualizadas y compartidas ha ido en aumento debido a las aplicaciones de Smartphone. Es por ello que el equipo de FBK ha diseñado su propio sistema de almacenamiento llamado Haystack, que fue construido sobre commodity hardware.
It’s all sata drives and an Intel box with a custom stack on top of it that allows us to store and then serve the photos from the storage tier. That’s significantly faster than the off-the-shelf solutions and also significantly cheaper. We’ve invested a lot of energy in storing photos because the scale is just astounding.”
Facebook es una red que busca mejorar continuamente su infraestructura, lo que se refleja en la gran cantidad de usuarios que se siguen incorporando. La innovación y la capacidad de hacer las cosas mejor que otras redes sociales han hecho la diferencia.
I think the courage and the willingness to make the investment are actually the most critical parts of this, because without that, all the great planning in the world isn’t going to get you there.”
-Mike Schroepfer
Imagen: Flickr
IMPORTANTE:
Sí: El usuario podrá preguntar, felicitar, realizar críticas constructivas y/o contribuir con opiniones relevantes en el campo de la ingeniería e infraestructura.
No: Molestar, intimidar o acosar de ninguna manera.Tampoco utilizará el espacio para la promoción de productos o servicios comerciales, así como de cualquier actividad que pueda ser calificada como SPAM.
Para saber más consulta los Términos de Uso de INGENET.