Bureaux de Facebook à Palo Alto
Le blogue ReadWriteCloud a produit un billet très intéressant qui présente 5 logiciels libres que Facebook utilise. Certains d’entre-eux ont été créés par Facebook et ensuite mis à la dispositions de tous.
Cassandra
Un système de stockage distribué qui permet de sauvegarder d’énormes quantités de données. Une solution NoSQL avec laquelle on récupère nos données avec une clé unique. Il n’y a pas de point de défaillance unique (single point of failure). Ce fut développée initialement par Facebook et ça l’a été transféré plus tard au Apache Software Foundation. Ce logiciel s’apparente à BigTable développé par Google et disponible via API à travers le Google App Engine.
Hive
Le système de fichiers Hadoop permet de sauvegarder des fichiers à travers une grappe de serveurs distribués sur un réseau (un nuage). Hive est une couche d’accès de données qui rend possible des fonctionnalités d’entrepôt de données au dessus de Hadoop. Il permet aux développeurs de faire des recherches dans le language QL qui ressemble beaucoup au SQL.
HipHop
Cet outil permet de pré-compiler le code PHP en C++. Facebook prétend avoir doublé la capacité de ses serveurs de traitement depuis qu’elle a mis en place cet outil. Toutefois, lors du dernier Confoo, un conférencier nous a précisé découragé d’utiliser HipHop sur des petits projets car le gain ne sera pas perceptible. Pour un site web comme Facebook, cela a toutefois représenté des économies substantiels dans l’ordre des millions de dollars.
Scribe
Un système de journalisation à très haut volume. Facebook doit sauvegarder 25 téraoctets de données à tous les jours sur son site web (25 000 gigaoctets!). Les solutions traditionnelles étaient incapable de prendre en charge autant de données.
Thrift
Une librairie qui facilite la communication entre différents langages de programmation. Thift permet de gérer du code dans une multitude de languages populaire pour être en mesure de lire des structure de données produites dans un autre langage. Il évite de faire de la sérialisation et de la désérialisation en XML qui très coûteux en temps CPU.
Tout d’abord je viens de découvrir ton blog et en plus d’une interface très clair et lisible tes articles m’ont particulièrement intéressé.
Après le mode lèche :p
J’ai testé personnellement cassandra et c’est un outil d’une simplicité et d’une practicité incroyable. cette plateforme permet d’obtenir de sacré temps de réponse pour des applications complexes (souvent orienté métier) et un grand volume de données. Je ne connaissais pas Hip Hop, est-ce facebook qui à développé cette application?
Merci beaucoup!
Oui Facebook a démarré le projet HipHop et l’a rendu open source une fois en maturité. Mais, il faut avoir de très bonnes raisons de l’utiliser car semble-t-il ça complexifie beaucoup les déploiements.