Der Huawei-Benchmark führt zu privaten und öffentlichen Tests mit manipulierter SoC-Leistung.
Vor ein paar Wochen haben wir abgedeckt Huawei mit einer professionellen DSLR-Kamera in einem Werbespot über ihre Selfie-Fähigkeiten, und es scheint, dass sie einfach nicht aufhören können, Wege zu finden, um Verbraucher zu täuschen - diesmal die Benchmarks, die sie manipulieren.
Benchmarks sind eine beliebte und ( bis jetzt?) legitime Möglichkeit, die Leistung eines Geräts darzustellen - unabhängig davon, ob es sich um Benchmarks für CPU, GPU oder Systemleistung handelt. Bei Benchmarks geht es darum, den Verbrauchern ein genaues Ergebnis der Leistung von Geräten unter Stress zu liefern.
Leider scheint Huawei in einigen seiner neuesten Geräte einen „Benchmark-Erkennungsmechanismus“ eingebaut zu haben. Mit diesem Mechanismus wird der SoC im Wesentlichen auf eine viel höhere Leistungsgrenze und einen viel höheren thermischen Spielraum gebracht, wenn festgestellt wird, dass er in bestimmten Apps einem Benchmarking unterzogen wird. Dies führt zu viel höheren Leistungswerten, als Benutzer normalerweise im täglichen Gebrauch erhalten würden. Dies ist nicht nur unehrlich, es ist gefährlich für die Lebensdauer des SoC und kann ein Gerät sehr schnell überhitzen und seine Akkulaufzeit verkürzen.
Die Verteidigung dieser Praxis durch Huawei lässt sich am besten wie folgt zusammenfassen: alle anderen machen es auch! ' - und leider haben sie tatsächlich recht. Benchmark-Betrug ist überhaupt nichts Neues - er war vor einem Jahrzehnt in der PC-Szene weit verbreitet und seit einiger Zeit auch in der mobilen Szene.
Verschiedene Geräte wurden von 3DMark für die Benchmark-Manipulation dekotiert.
Die Exynos-Variante des Samsung Galaxy S4 wurde bei ähnlichen Benchmark-Betrugspraktiken erwischt, und die Redakteure für mobile Überprüfungsseiten AnandTech entdeckte eine große Anzahl anderer Smartphone-Anbieter, die ebenfalls Benchmark-Daten manipulierten. Dies führte zu einer Reihe von Geräten wie dem Galaxy S4, dem Galaxy Note 3, dem HTC One und zahlreichen anderen dekotiert aus der 3DMark-Datenbank.
Obwohl die meisten Hersteller das Verhalten nach dem Aufruf eingestellt haben, haben einige weitergemacht - zum Beispiel hat OnePlus in beliebten Benchmarks wie GeekBench weiter geschummelt, obwohl die Praxis offenbar seit dem OnePlus 5T eingestellt wurde - was eigentlich ein großartiges Gerät ist und in sehr beliebt ist die Modding- und Entwicklungs-Community, also hatte OnePlus vielleicht das Gefühl, dass dies nicht der Fall war brauchen Benchmark-Daten zu manipulieren.
Leider scheint Huawei dort weiterzumachen, wo andere Gerätehersteller aufgehört haben, da es bestätigte Berichte gibt, wonach Huawei Benchmarks mit Geräten wie dem Huawei P20, dem Huawei P20 Pro und dem Honor Play manipuliert. Grundsätzlich war die Leistung des Huawei P20 im Vergleich zum Huawei Mate 10 Pro zurückgegangen - und zu der Zeit sagte Huawei, es sei ein „ Firmware-Problem ”- eine geradezu kühne Lüge, da dies tatsächlich auf den oben genannten Benchmark-Erkennungsmechanismus zurückzuführen ist, der eine weit überlegene Leistungsgrenze für den SoC auslöst.
Dies ist nicht nur schlecht für den SoC selbst, da die Gesamteffizienz des SoC in diesem Fall abnimmt, weil der SoC gedrückt wird gut draußen seines normalen Betriebsfensters ( Stellen Sie sich vor, Sie übertakten Ihre CPU so hoch wie möglich ohne Wärmeleitpaste. . Dies ist jedoch auch schlecht für die Markt selbst.
Zum einen lässt es den SoC schlecht aussehen, als ob es Bedürfnisse die Benchmark-Daten manipulieren zu lassen, um einen Verkauf wert zu sein. Zweitens wirft es Zweifel auf den chinesischen Smartphone-Markt auf - der bereits voller Imitationen, Klone und zwielichtiger Praktiken ist. Darüber hinaus ist das Benchmark-Verhalten von Huawei vielleicht das ungeheuerlichste, das es je gab, da es wirklich ein gibt fest Unterschiedliche Leistungsergebnisse bei eingeschaltetem Benchmark-Erkennungsmechanismus im Vergleich zu ausgeschaltetem Benchmark. So viel dass AnandTech bemerkte, dass die Unterschiede bei den öffentlich verfügbaren Benchmark-Ergebnissen und ihren eigenen internen Tests „ absolut erstaunlich “.
Huawei hat darauf reagiert, herausgefunden zu werden, und wie wir bereits sagten, war ihre Antwort im Grunde genommen „ alle anderen machen es auch ”. Was sie buchstäblich sagten ( Zitat von Dr. Wang Chenglu, Präsident für Software bei der Consumer Business Group von Huawei) war ' andere machen das Gleiche, erzielen Highscores und Huawei kann nicht schweigen. Huawei möchte mit anderen in China zusammenarbeiten, um den besten Verifizierungsbenchmark für die Benutzererfahrung zu finden. “
Dr. Wang wies auch auf andere Hersteller mit irreführenden Benchmark-Zahlen hin und nannte einen namenlosen populären Smartphone-Hersteller in China als den größten Schuldigen. Laut Dr. Wang ist Benchmark-Betrug in China zur „gängigen Praxis“ geworden, und während Huawei sich den Verbrauchern „öffnen“ will, haben sie Probleme, wenn Wettbewerber „ständig unrealistische Ergebnisse veröffentlichen“. Huawei versucht, sich gegen seine große chinesische Konkurrenz zu behaupten, eine Aufgabe, die anscheinend schwierig wird, wenn andere Gerätehersteller unrealistische Score-Zahlen produzieren.
Zusammenfassend Huawei
- Gibt zu, dass sie Benchmark-Zahlen manipulieren
- Gibt zu, dass alle anderen auf dem chinesischen Telefonmarkt dies tun
- Hat keine Pläne, wegen # 2 aufzuhören.
Wie kann jemand Vertrauen der chinesische Telefonmarkt nach solchen Sachen? Auf jeden Fall hat Huawei eine Erklärung abgegeben, dass das Unternehmen „ Stellen Sie sicher, dass zukünftige Benchmark-Daten von Dritten unabhängig überprüft werden ”.
Huawei hat eine vollständige Antwort an XDA gesendet:
„Huawei priorisiert immer die Benutzererfahrung, anstatt hohe Benchmark-Werte zu erzielen - zumal es keinen direkten Zusammenhang zwischen Smartphone-Benchmarks und Benutzererfahrungen gibt. Huawei-Smartphones verwenden fortschrittliche Technologien wie AI, um die Leistung der Hardware, einschließlich CPU, GPU und NPU, zu optimieren.
Wenn jemand eine Foto-App startet oder ein grafisch intensives Spiel spielt, sorgt die intelligente Software von Huawei für eine reibungslose und stabile Benutzererfahrung, indem alle Funktionen der Hardware genutzt und gleichzeitig die Temperatur und die Energieeffizienz des Geräts verwaltet werden. Für Anwendungen, die nicht so leistungsintensiv sind wie das Surfen im Internet, werden nur die Ressourcen zugewiesen, die für die Bereitstellung der erforderlichen Leistung erforderlich sind.
In normalen Benchmarking-Szenarien passt sich die Huawei-Software, sobald sie eine Benchmarking-Anwendung erkennt, intelligent an den „Leistungsmodus“ an und liefert optimale Leistung. Huawei plant, Benutzern den Zugriff auf den „Leistungsmodus“ zu ermöglichen, damit sie bei Bedarf die maximale Leistung ihres Geräts nutzen können.
Huawei ist als Branchenführer bereit, mit Partnern zusammenzuarbeiten, um die besten Benchmarking-Standards zu finden, mit denen die Benutzererfahrung genau bewertet werden kann. “
Auf jeden Fall, wahr Benchmarks liefen vorbei AnandTech hat das Huawei P20, P20 Pro und Honor Play getestet - und alle Geräte haben eine ähnliche Leistung erbracht, da sie alle denselben HiSilicon Kirin 970 SoC verwenden -, aber die tatsächliche Leistung jedes Geräts wird durch die thermischen Grenzwerte begrenzt, da jedes Gerät eine hat unterschiedliches Chassis und Kühlungsdesign. Das Huawei P20 Pro verfügt über die beste Thermik, sodass es in einem echten Leistungszustand eine bessere Leistung erbringt.
Der Herausgeber von AnandTech Andrei Frumusanu hatte folgendes zu sagen:
„In der Vergangenheit haben wir gesehen, dass Anbieter die SoC-Frequenzen tatsächlich erhöhen oder auf ihren Maximalzustand sperren, wodurch die Leistung über das hinausgeht, was für generische Anwendungen normalerweise verfügbar ist. Stattdessen steigert Huawei die Benchmark-Werte, indem es aus der anderen Richtung betrachtet wird. Die Benchmarking-Anwendungen sind die einzigen Anwendungsfälle, in denen der SoC tatsächlich die angegebenen Geschwindigkeiten erreicht. In der Zwischenzeit wird jede andere reale Anwendung aufgrund der thermischen Einschränkungen der Hardware erheblich unter diesem Zustand gedrosselt. Was wir am Ende bei ungehinderter Leistung sehen, ist vielleicht die „wahre“ Form eines uneingeschränkten SoC, obwohl dies im Vergleich zu dem, was Benutzer tatsächlich erleben, völlig akademisch ist. “
Ihre Grafiken zeigen, dass die neuesten Telefone von Huawei in ihrem tatsächlichen Leistungszustand bereits 3,5 bis 4,4 W erreichen, während 3,5 W TDP die maximale Leistung ist, die aufrechterhalten werden kann. Auf der anderen Seite geht das Telefon mit TDP auf Hochtouren, wenn die öffentlich verfügbaren Benchmarks durchgeführt werden. Die Leistungswerte liegen über 6 W und erreichen einen Höchstwert von 8,5 W. Wie von AnandTech festgestellt, lösen diese Zahlen schnell eine Überhitzungsbenachrichtigung auf dem Gerät aus, was darauf hinweist, dass die thermischen Grenzwerte nicht mit den Softwareerwartungen übereinstimmen.
Aus dieser Situation lässt sich ableiten, dass die tatsächlichen Leistungsdaten nicht stabil sind, da sie von der Temperatur des Telefons abhängen. Huawei hindert die GPU nicht daran, ihren Spitzen-GPU-Frequenzzustand zu erreichen. Das Standardverhalten ist tatsächlich ein „starker thermischer Drosselungsmechanismus […], der versucht, die SoC-Temperatur und den Gesamtstromverbrauch erheblich zu senken“.
Der normale Modus des Telefons kann während der GPU-Benchmarks dieselben Spitzenwerte für den Stromverbrauch erreichen wie die nicht gedrosselten Varianten. Diese Zahlen fallen jedoch schnell erheblich zurück, und AnandTech stellt fest, dass das Telefon in einigen Fällen auf 2,2 W drosselt, was die Leistung erheblich verringert.
In der Veröffentlichung heißt es, dass das Benchmark-Betrugsverhalten anscheinend nur in den diesjährigen Geräten eingeführt wurde. Telefone wie das Huawei Mate 9 und das Huawei P10 sind nicht betroffen, und es scheint, dass nur EMUI 8.0 und neuere Geräte betroffen sind. AnandTech wurde auch von Huawei mitgeteilt, dass dies 'eine reine Software-Implementierung' sei, was die Ergebnisse der Veröffentlichung bestätigte.
AnandTech hat für die betroffenen Kirin 970-Telefone wahre Zahlen zur GPU-Leistung veröffentlicht, und die Schlussfolgerung lautet, dass dies bei Huawei der Fall ist sowohl in Bezug auf die GPU-Leistung als auch in Bezug auf die Effizienz deutlich hinter den Mitbewerbern zurück .
In der Veröffentlichung wurden auch Leistungsvergleichsdiagramme für Huawei-Geräte mit Kirin 970 und Kirin 960 veröffentlicht. Die Grafiken zeigen, dass die Einstellungen für die Leistungsdrosselung von Huawei tatsächlich besser für die Benutzererfahrung sind, da sie das Problem eines höheren Stromverbrauchs mindern. AnandTechs Tests des Kirin 960 ergaben, dass er „schreckliche GPU-Leistungseigenschaften“ aufweist, während die mit Kirin 970 betriebenen Geräte über einen neuen strengen Drosselmechanismus verfügen, um den Stromverbrauch und die Temperaturen zu senken.
AnandTech erwähnte auch, dass die neue Drosselungspolitik sinnvoll ist, wenn man bedenkt, dass sowohl der Kirin 960 als auch der Kirin 970 Leistungsverbrauch aufweisen, der für ihre jeweiligen Formfaktoren weit über ihrem nachhaltigen Niveau liegt.
Obwohl Huawei durch die Einführung eines neuen Drosselungsmechanismus nicht unbedingt etwas falsch gemacht hat, haben sie sicherlich die Betrugsschwelle überschritten, indem beliebte Benchmark-Anwendungen über eine Whitelist ausgeschlossen wurden, was in diesem Fall als Benchmark-Betrug bezeichnet wird.
UL, das Futuremark, das Unternehmen hinter PCMark und 3DMark, übernommen hat, hat das Huawei P20, das Huawei P20 Pro, das Huawei Nova 3 und das Honor Play von 3DMark dekotiert.
Das Unternehmen hat Benchmark-Betrug beim Huawei P20 Pro, beim Huawei Nova 3 und beim Honor Play überprüft. Auf der Grundlage der Tests und Berichte von AnandTech wurde auch das Standard-Huawei P20 dekotiert. Benutzer können die Benchmark-Ergebnisse der betroffenen Telefone nicht mehr anzeigen, da das Unternehmen keine betrogenen Benchmark-Ergebnisse hosten möchte.
Das Unternehmen stellte fest, dass die Ergebnisse der öffentlichen 3DMark-App bis zu 47% höher waren als die Ergebnisse der privaten App (die der Öffentlichkeit nicht zur Verfügung steht), obwohl die Tests identisch sind.
In der Ankündigung fügte UL hinzu, dass es erfreulich sei, dass Huawei sich verpflichtet habe, in Zukunft einen transparenteren Ansatz zu verfolgen. Nach Ansicht von UL sind optionale Leistungsmodi, die vom Benutzer festgelegt werden können, nach den aktuellen Regeln zulässig, sofern sie standardmäßig deaktiviert sind. Das Unternehmen erklärt: „Ein Gerät muss den Benchmark wie eine andere Anwendung ausführen.“
Zusammenfassend lässt sich sagen, dass alle Huawei GPU-Leistungsbenchmarks, die mit öffentlich verfügbaren Benchmarks erstellt wurden, nicht als Darstellung der tatsächlichen Leistung angesehen werden sollten.
Huawei wandte sich an UL, um die Best Practices für Benchmark-Tests zu besprechen, und gab eine Erklärung ab:
„Huawei und UL (Entwickler von 3DMark) haben diese Woche umfassende Diskussionen über Benchmarking-Praktiken geführt und eine positive Einigung über die nächsten Schritte in der Zusammenarbeit erzielt.
In der Diskussion erklärte Huawei, dass seine Smartphones einen künstlichen intelligenten Ressourcenplanungsmechanismus verwenden. Da unterschiedliche Szenarien unterschiedliche Ressourcenanforderungen haben, nutzen die neuesten Huawei-Handys innovative Technologien wie künstliche Intelligenz, um die Ressourcenzuweisung so zu optimieren, dass die Hardware ihre Fähigkeiten in vollem Umfang demonstrieren und gleichzeitig die Benutzeranforderungen in allen Szenarien erfüllen kann.
UL versteht die Absicht des Ansatzes von Huawei, lehnt es jedoch ab, standardmäßig die Verwendung eines „Leistungsmodus“ zu erzwingen, wenn eine Benchmarking-Anwendung vom Gerät erkannt wird. Nach UL-Regeln muss ein Gerät den Benchmark wie eine andere Anwendung ausführen.
Huawei respektiert das Recht der Verbraucher, zu entscheiden, was mit ihren Geräten geschehen soll. Daher bietet Huawei Benutzern einen offenen Zugriff auf den „Leistungsmodus“ in EMUI 9.0, sodass der Benutzer auswählen kann, wann die maximale Leistung seines Geräts verwendet werden soll.
Huawei und UL haben auch aktuelle gängige Benchmark-Testmethoden im Allgemeinen erörtert. UL und Huawei möchten sich an einer Branchenbewegung beteiligen, um Benchmarking-Standards zu entwickeln, die den Anforderungen von Herstellern, Presse und Verbrauchern am besten entsprechen.
Um Verwirrung über die aktuellen Benchmarking-Ergebnisse zu vermeiden, haben UL und Huawei nach Erörterung die Benchmark-Werte einer Reihe von Huawei-Geräten vorübergehend gelöscht und werden sie wieder herstellen, nachdem Huawei allen Benutzern von Huawei-Mobiltelefonen Zugriff auf den Leistungsmodus gewährt hat. “
Stichworte Huawei
