Zehn Milliarden Dateien in 43 Minuten Detail - Computerwelt

Computerwelt: Aktuelle IT-News Österreich


26.07.2011 Rudolf Felser

Zehn Milliarden Dateien in 43 Minuten

Forscher von IBM konnten in einem Versuch Zehn Milliarden Dateien auf einem einzigen System in 43 Minuten scannen und erfassen. Damit wurde der bestehende Rekord – eine Milliarde Dateien in drei Stunden – verbessert.

Erstmals haben IBM-Forscher das hochskalierbarer geclusterte parallele Dateisystem mit dem Namen General Parallel File System (GPFS) im Jahr 1998 vorgestellt. Dies wurde ständig weiterentwickelt, um den jetzigen Durchbruch zu ermöglichen. GPFS ist IBM zufolge "ein wichtiger Schritt für das weitere Wachstum von Speicherleistung und -kapazität, während die Administrationskosten nicht weiter steigen sollen".

Dieses Werkzeug ist besonders geeignet für Anwendungen, die sehr schnellen Zugang zu großen und größten Datenmengen benötigen – wie etwas Data Mining-Lösungen, um etwa das Kundenkaufverhalten besser erkennen zu können. Auch in Bereichen wie Risikomanagement, Finanzanalyse, Seismik, Wettermodellierung und vielen anderen wissenschaftlichen Forschungsgebieten kann die Technologie zum Einsatz kommen.

Mit Blick auf das extrem hohe Datenwachstum in fast allen Branchen wurden die Daten hier auf einer einzigen Speicherplattform konsolidert. Dies vermindert den hohen Verwaltungsaufwand, der bei separater Datenhaltung auf verteilten Plattformen entsteht. Damit könnten IBM zufolge Datenmanagement-Aufgaben "dramatisch vereinfacht und verringert" werden. Somit könnten mehr Informationen unter einer einheitlichen Technologie gespeichert werden, anstelle mehr und mehr zusätzlichen Speicher zu beschaffen.

NEUES NIVEAU Der neue Rekord wurde mit GPFS und einem Cluster von zehn Achtkern-Serversystemen mit SSD-Speicher erreicht. Der GPFS-Algorithmus ermöglicht die komplette Ausnutzung aller Prozessorkerne in allen Maschinen und allen Aufgabenphasen – Daten lesen, sortieren und Anwenden der Datenmanagement-Vorgaberegeln. GPFS konnte die eingesetzte SSD-Appliance mit 6,8 Terabyte an Kapazität nutzen, um die Speicher-Metadaten abzulegen. Die Appliance konnte bei gleichmäßig hoher Leistung hunderte von Millionen an Daten-I/O-Operationen ausführen, während GPFS unter den zehn Milliarden Dateien auf dem System den richtigen, gewünschten Satz an Dateien identifizierte, auswählte und sortierte.

"Der Nachweist der GPFS-Skalierbarkeit eröffnet den Weg für neue Produkte, die die Anforderungen einer Multi-Zettabyte-Welt adressieren", sagt Doug Balog, Vice President, IBM Speichersysteme. "Diese Innovation hat das Potential, sehr große Datenumgebungen auf einer einzigen Plattform zu vereinen, und dabei die Datenmanagementaufgaben dramatisch zu vereinfachen und zu reduzieren – wie Datenablage, Migration und Backup individueller Dateien."

Der vorherige Rekord – eine Milliarde Dateien in drei Stunden scannen – wurde 2007 von IBM Forschern bei einer Konferenz in Reno, Nevada, aufgestellt. (pi)

Diesen Artikel

Bewertung:

Übermittlung Ihrer Stimme...
Noch nicht bewertet. Seien Sie der Erste, der diesen Artikel bewertet!
Klicken Sie auf den Bewertungsbalken, um diesen Artikel zu bewerten.
  Sponsored Links:

IT-News täglich per Newsletter

E-Mail:
Weitere CW-Newsletter

CW Premium Zugang

Whitepaper und Printausgabe lesen.  

kostenlos registrieren

Aktuelle Praxisreports

(c) FotoliaHunderte Berichte über IKT Projekte aus Österreich. Suchen Sie nach Unternehmen oder Lösungen.

Zum Thema

  • abaton EDV-Dienstleistungs GmbH

    abaton EDV-Dienstleistungs GmbH VPN, Überwachungssysteme, SPAM-Filter, Notfalls-Rechenzentren, Firewalls, Datensicherung, Backup und Recovery Systeme,... mehr
  • Arrow ECS Internet Security AG

    Arrow ECS Internet Security AG WLAN-Systeme, VPN, Netzwerk-Systeme (LAN, MAN, WAN), Netzwerk-Management, Netzwerk-Diagnose-Systeme, Netzwerk-Betriebssysteme, Office Software,... mehr
  • selectyco Media Solutions GmbH

    selectyco Media Solutions GmbH B2C Dienste und Lösungen, B2B Dienste und Lösungen mehr
  • eyepin GmbH

    eyepin GmbH Application Service Providing, Auftragsentwicklung für Software, Individual-Softwareentwicklung, Programmierung, Übernahme von Softwareprojekten mehr

Hosted by:    Security Monitoring by: