Benchmarks: Was taugen Tests, was bedeuten die Werte?

Wenn wir im Kontext der PCtipp-Tests von Benchmarks sprechen, meinen wir meistens Software, welche die Leistung eines PCs oder Smartphones messen und einordnen soll. Besonders üblich sind Programme, die Prozessor (CPU) oder Grafikprozessor (GPU) mit speziellen Tests belasten und in ein Punktesystem einordnen. Über dieses Punktesystem können verschiedene Geräte miteinander verglichen werden. Dabei gibt es drei Hauptkategorien von Benchmarks: CPU-Leistungstest, GPU-Leistungstest und Arbeitssimulation. Die Benchmark-Tools, die der PCtipp hauptsächlich nutzt, sind Cinebench, PCMark, AnTuTu und Geekbench.

CPU-Leistungstest

Bei einem CPU-Leistungstest wird der Hauptprozessor des Rechners mit spezifischen Aufgaben belastet. Die Benchmarking-Software gibt der CPU Aufträge wie das Encodieren eines Videos oder komplexe mathematische Aufgaben. Anhand der Zeit, die der Prozessor dafür benötigt, bewertet die Software die Leistung. Die meisten CPU-Benchmarks finden auf einer theoretischen Ebene statt und ignorieren Dinge wie grafische Nutzeroberflächen. Würden wir das mit einem Läufer vergleichen, würde ein Benchmark die Muskelmasse und ein anderer die Körpermasse des Läufers ausmessen und daraus berechnen, wie schnell die Person 100 Meter laufen kann.

GPU-Leistungstest

Der GPU-Leistungstest ist ein klassisches Werkzeug unter Gamern. Der Benchmark spielt eine meist dreidimensionale Szene ab, in der diverse 3D-Berechnungen von der Grafikkarte (GPU) durchgeführt werden müssen. Üblicherweise beinhaltet der Test so viele aktuelle 3D-Techniken wie möglich, um ein breites Bild über die Leistungsfähigkeit des Grafikprozessors zu erhalten, Bild 1. Anders als beim CPU-Test ist die visuelle Komponente beim GPU-Test zentral. Somit können Sie als Nutzer die 3D-Szene mitverfolgen und etwaige Ruckler live nachvollziehen. Ausser dedizierter Benchmarking-Software gibt es in diesem Bereich auch diverse Games, die einen Benchmark-Modus anbieten. Dieser soll vor allem Spielern helfen, die richtigen Einstellungen für eine optimale Performance zu finden.

Arbeitssimulation

Die dritte Variante ist eine Arbeitssimulation. Dabei simuliert eine Benchmarking-Software übliche Arbeitsschritte, wie sie in einem Büro stattfinden könnten. Beispielsweise öffnet die Benchmark-Software eine E-Mail, danach ein Browserfenster mit einem Video, bearbeitet kurz ein Foto und verarbeitet zuletzt einen Anruf über eine Telefonie-Software. Die Tests sind zwar an die Realität angelehnt, finden aber dennoch in einem künstlichen Rahmen statt. Für die Bildbearbeitung wird beispielsweise nur die theoretische Rechenleistung zur Bearbeitung berechnet, nicht aber die Anforderungen an eine Software wie Photoshop.

Lesen Sie auf der nächsten Seite: Wann lohnen sich Tests? und Fazit

Wann lohnen sich Tests? und Fazit

Wann lohnen sich die Tests?

Benchmarking-Software kann eine grobe Tendenz angeben und unterschiedliche Hardware-Komponenten untereinander vergleichen. Mit einem CPU- oder GPU-Benchmark erkennen Sie leicht, in welcher Stärkeklasse ein Prozessor oder ein Grafikprozessor liegt. Die Arbeitssimulation bringt den Faktor Realismus etwas mehr ins Spiel. Schwächen zeigen dennoch alle drei Methoden beim Realismus. Im Alltag sind selten reine CPU-Berechnungen für die effektive Leistung eines PCs verantwortlich. Neben der CPU haben GPU, Speichermedien, das Mainboard und andere Komponenten einen permanenten Einfluss auf die Leistung. Das macht sich beispielsweise bei Flaschenhälsen bemerkbar. Darunter versteht man eine Hardware, die deutlich schlechter ist als der Rest und als Resultat die Gesamtgeschwindigkeit drosselt. Ein klassisches Beispiel dafür sind Speichermedien, die langsamer schreiben, als der Prozessor berechnen kann. In so einem Fall ist es egal, wie schnell die CPU rechnet, wenn die HDD nur gemächlich schreibt, wird das Tempo des Auftrags insgesamt gedrosselt.

Auch bei Games ist das ein Faktor. Hier kommt noch erschwerend hinzu, dass unterschiedliche Spiele massiv in Sachen Performance auseinandergehen können. 3D in Echtzeit zu berechnen, braucht enorm viel Leistung. Entsprechend greifen Spieleentwickler auf diverse Tricks zurück, um ein Game gut aussehen zu lassen, ohne zu viel Leistung zu verbrauchen. Nicht jeder Spieledesigner macht dies gleich gut. Nicht jeder Entwickler kann die Hardware des PCs gleich optimal nutzen. Und nicht jede Hardware läuft mit einem Game gleich gut.

Entsprechend können zwei Spiele, die grafisch etwa gleich gut aussehen, komplett unterschiedliche Systemanforderungen haben, weil ein Entwickler seine Software viel besser optimiert. Ein Spiel kann allerdings trotz Optimierungen auf einigen Hardware-Konfigurationen dennoch schlecht laufen, weil es die Ressourcen dieser Hardware nicht gut nutzt.

Das führt zu zwei Problemen. Erstens werden Benchmarks in solchen Fällen weniger wertvoll, da sie nicht viel zur effektiven Performance aussagen. Zweitens lässt sich die Leistung eines PCs nur schwer an einem Spiel messen, da die effektive Performance von zu vielen Faktoren abhängig ist. Bei Smartphone-Benchmarks kommt ein weiteres Element dazu: das Vertrauen. Diverse Smartphone-Hersteller wurden dabei ertappt, ihre Geräte auf bestimmte Benchmark-Apps zu optimieren. Das heisst: Das Smartphone läuft in Benchmarks schneller als in anderen Apps. Entsprechend sind die Tests nicht mehr repräsentativ, was die eigentliche Praxisleistung angeht, Bild 2.

Fazit

Praxis ist wichtiger. Der PCtipp findet: Am ehesten erhält man eine verlässliche Einschätzung zur Leistung eines Geräts durch Erfahrung. Testet man ein Gerät selbst in effektiven Praxissituationen, erhält man wertvollere Informationen als durch Labortests. Diese sind zwar nützlich, um ein Gerät grob einzuschätzen, aber am Ende geht nichts über einen Praxistest. Deshalb prüfen wir beim PCtipp die Geräte immer auch in Alltagssituationen. Benchmark-Software ist dennoch ein Werkzeug, das seinen Platz hat. Die unterschiedlichen Benchmarks sind durchaus gut für eine grobe Einordnung von Hardware. Praxistests mit realistischen Szenarien sind zwar numerisch gesehen weniger präzis, aber am Ende für eine Kaufentscheidung nützlicher. Es sei denn, Sie wollen beim Nachbarn mit einer höheren Leistungszahl angeben.