Datenmengen zu groß - Facebook zog um

Soziale Netzwerke sind bekanntlich dafür da, Daten hochzuladen, um sie Freunden zu zeigen. Bei Facebook ist der Wachstum an Datensätzen nicht zu bremsen und so steuerte das Unternehmen im Frühjahr diesen Jahres auf einen Umzug hin, nachdem sich ein Datenbestand von in etwa 30 Petabyte (PB) angesammelt hatte. Zum Vergleich: Das sind ca. 3.000-mal so viel Informationen, wie die bücherreichste Bücherei, Library of Congress, bereithält.

Das Open Source-Framework „Hadoop“, was auf große Datenmengen spezialisiert ist, hatte Facebook als größten Kunden. Nachdem langsam klar wurde, dass der Dienst nicht noch mehr Daten fassen könnte, suchte man nach einer Lösung. Am einfachsten wäre es gewesen, wenn man die Storage-Systeme abgeschaltet und in das neue Datenzentrum gepackt hätte. Dies hätte aber eine Pause für das soziale Netzwerk bedeutet, was man nicht eingehen wollte. Aus diesem Grund spiegelte man die Daten auf das neue Zentrum. Dieser Umzug soll allerdings seine Zeit gebraucht haben, denn 30 Petabyte kann man nicht einfach so verschieben. Als erster Schritt wurden die größten Datenpakte eingefügt, darauf folgte die Abgleichung kleineren Änderungen und zum Schluss wurden die DNS-Einträge eingeleitet.

Nach diesem erfolgreichen Umzug werden sich die Facebook-Techniker Gedanken darüber machen, wie man das neue System schneller und vor allem leichter erweitern kann. Sonst könnte es vielleicht eines Tages passieren, dass wir keine Fotos vom Urlaub mit unseren Liebsten teilen können und das wäre doch wirklich schade. Es bleibt nur noch das schöne Fotoalbum, welches man im realen Leben in der Hand halten kann. In diesem Fall müsste man sich auch nicht darüber aufregen, wenn Facebook die Daten wirklich einmal verlegt oder sie bei der Attacke von Anonymous gelöscht werden.