Methodik

Woher die Daten kommen

Jeder Bericht behandelt einen Motor in einem Auto. Ein N47 im 118d und ein N47 im 320d haben denselben Code, laufen aber mit anderen Temperaturen, sitzen hinter anderen Getrieben und fallen anders aus. Deshalb werden sie getrennt recherchiert und bewertet.

Für jeden sammeln wir, die stärksten Belege zuerst:

• Offizielle Rückrufe der US-Behörde NHTSA und der niederländischen Fahrzeugbehörde RDW. Ein Rückruf ist der stärkste Beleg, den es gibt: Der Hersteller hat den Fehler anerkannt.
• Besitzerbeschwerden bei der NHTSA, eingereicht bei der US-Behörde. Gemeldet, aber nicht vom Hersteller bestätigt.
• Britische MOT-Prüfberichte der DVSA zu 138 Millionen Fahrzeugen. Die MOT ist die jährliche Hauptuntersuchung in Großbritannien. Die Berichte zeigen, wie weit diese Motoren wirklich kommen und woran sie bei der Prüfung scheitern. Prüfer öffnen nie den Motor, daher sagen MOT-Daten etwas über Laufleistung und Verschleiß, nicht darüber, was innen kaputtgegangen ist.
• Detaillierte Fahrzeughistorien, etwa Inserate bei Bring a Trailer, die datiert sind und sich auf ein bestimmtes Auto beziehen.
• Besitzerforen zur jeweiligen Marke und zum Modell, etwa Bimmerpost, E90Post, BimmerForums, GolfMK7, TDIClub, IH8MUD, Motor-Talk und PistonHeads, dazu deutsche, russische und polnische Foren und weitere.
• Reddit: Beiträge und Kommentare in Auto- und Marken-Communities.

Grunddaten wie Hubraum, Kraftstoff und Bauzeit stammen aus Wikipedia und Herstellerangaben und werden gegeneinander geprüft. Über die ganze Seite ergibt das 1.419 Quellen hinter 168 bestätigten Problemen, und jeder Motorbericht zeigt seine eigene Aufschlüsselung nach Plattform.

Noch nicht in der Bewertung: technische Service-Mitteilungen der Hersteller, die meist hinter kostenpflichtigen Werkstattdatenbanken liegen.

Wie aus Berichten Probleme werden

1. Sammeln

   Jede Quelle wird nach dem Motorcode durchsucht. Seiten werden in einzelne Beiträge zerlegt, und jede Erwähnung eines Problems wird als kurzes Zitat zusammen mit dem Link aufbewahrt, von dem es stammt. Benutzernamen erscheinen nie auf der Seite.

2. Filtern

   Ein Sprachmodell auf unserem eigenen Server prüft, ob sich jedes Zitat wirklich auf das genannte Bauteil bezieht. Eine eigene Regel entfernt Zitate über einen anderen Motor, die in Vergleichsthreads häufig sind. Widersprüche werden automatisch aussortiert, etwa ein AdBlue-Fehler bei einem Benziner.

3. Zuordnen

   Die Zitate werden einem Katalog von 30 bekannten Schadensarten zugeordnet, von der gelängten Steuerkette bis zum Turboschaden, und pro Motor gruppiert.

4. Bestätigen

   Jede Gruppe erhält einen Konfidenzwert, der unten erklärt wird. Nur bestätigte Probleme erscheinen in einem Bericht oder zählen für seine Bewertung. Alles andere bleibt ein Kandidat, bis mehr Belege vorliegen.

5. Prüfen

   Ein Mensch prüft jeden Motor vor der Veröffentlichung: alle Belege, die in eine Entscheidung eingeflossen sind, und warum Belege außen vor blieben. Außerdem stellen wir sicher, dass Fazit und Endnote zu unseren Regeln und Standards passen.

Das Modell, das die Beiträge liest, läuft auf unserem eigenen Server, nicht bei einem kostenpflichtigen Cloud-Dienst. Einen Beitrag zu lesen kostet uns nichts, also gibt es keinen Grund, zu überfliegen oder Stichproben zu ziehen: Es liest jeden einzelnen, egal wie viele es sind, oft Hunderte für einen einzigen Motor. Abgestimmt wurde es an 50 Motoren, deren Problemlisten und Noten von Menschen erstellt wurden.

Wann ein Problem bestätigt ist

Die Konfidenz beginnt bei der stärksten einzelnen Quelle hinter einem Problem, von 100 Punkten:

• Offizieller Rückruf: 100
• NHTSA-Beschwerde: 70
• Detaillierte Fahrzeughistorie: 35
• Forenbeitrag: 25
• Reddit-Beitrag: 20

Ein Bericht mit einer konkreten Diagnose, der Belege zeigt oder bestätigt, dass eine Reparatur das Problem behoben hat, bringt bis zu 25 Zusatzpunkte. Jede weitere unabhängige Plattform, die dasselbe Problem meldet, bringt 5 Punkte, bis zu 30. Fünf Beiträge in einem Thread zählen als eine Plattform, damit ein einzelner viraler Thread keinen Konsens erzeugen kann.

Ein Problem gilt ab 40 Punkten als bestätigt, oder sofort, wenn es einen offiziellen Rückruf gibt. Dieser Konfidenzwert steht in jedem Motorbericht neben jedem Problem.

Verschleiß oder Konstruktionsfehler

Derselbe Schaden kann bei einem Motor normal und bei einem anderen ein Mangel sein. Eine Steuerkette, die bei 300.000 km Aufmerksamkeit braucht, ist Verschleiß; dieselbe Kette, die bei 90.000 km versagt, ist ein Konstruktionsproblem. Deshalb wird jedes bestätigte Problem einer von sechs Arten zugeordnet:

• Normale Wartung. Teile, die planmäßig getauscht werden sollen. Geringer Einfluss auf die Bewertung.
• Altersbedingter Verschleiß. Teile, die bei vernünftigem Alter oder vernünftiger Laufleistung verschleißen. Geringer Einfluss.
• Einsatzbedingt. Verursacht durch Klima, Kraftstoffqualität oder die Nutzung des Autos, etwa nur Kurzstrecken. Geringer Einfluss.
• Vom Besitzer verursacht. Vernachlässigung oder Umbauten. Wird gezählt, aber gering gewichtet, damit ein misshandeltes Auto nicht den ganzen Motor prägt.
• Konstruktionsschwäche. Die Konstruktion lässt das Teil früh versagen, auch wenn das Auto gepflegt wird. Starker Einfluss.
• Fertigungsfehler. Fehlerhafte Teile oder Montage ab Werk. Der stärkste Einfluss.

Ein offizieller Rückruf oder eine dokumentierte Werksänderung am fehlerhaften Teil macht ein Problem sofort zum Mangel. Andernfalls müssen mindestens zwei Arten von Belegen übereinstimmen: offizielle Beschwerden, Ausfälle weit vor der normalen Lebensdauer des Teils und übereinstimmende Besitzerberichte. Besitzerberichte allein können nichts zum Mangel machen. Ein Modell liest außerdem die Besitzerzitate hinter jedem Problem und beurteilt, ob sie einen Mangel oder normalen Verschleiß beschreiben. Seine Urteile werden nur angewendet, wenn die meisten Probleme eines Motors in dieselbe Richtung zeigen, damit ein guter Motor mit vielen kleinen Beschwerden nicht unter ihnen begraben wird.

Jedes bestätigte Problem wird außerdem nach zwei getrennten Fragen eingestuft:

• Schweregrad, also wie schlimm es ist, wenn es passiert: das Risiko eines kapitalen Schadens (35 %), Schäden an anderen Teilen (25 %), die Wahrscheinlichkeit, liegen zu bleiben (20 %) und die Reparaturkosten (20 %), abzüglich 10 Punkten, wenn Wartung es verhindert. Das Ergebnis ist Kritisch (ab 80), Hoch (60–79), Mittel (35–59) oder Gering.
• Häufigkeit, also wie oft es passiert, gemessen als Anteil an allem, was zu diesem Motor gemeldet wurde: sehr selten (unter 2 %), selten (2–5 %), gelegentlich (5–10 %), häufig (10–20 %) oder sehr häufig (ab 20 %). Ein Problem, das nur auf einer Plattform gemeldet wird, kann nie über „gelegentlich“ hinauskommen.

Wie Motoren bewertet werden

Die Endbewertung ist der Durchschnitt aus drei unabhängigen Einschätzungen, der dann auf eine feste Skala übertragen wird.

1. Die Belegbewertung

Fünf Fragen, jede in einem eigenen Aufruf von einem Modell beantwortet, das nur die für diese Frage relevanten Belege sieht. Eine Frage zu Wartungskosten sieht zum Beispiel nie kapitale Schäden. Jede Frage wird zweimal beantwortet und gemittelt:

Die gewichtete Summe wird dann mit einer festen Formel, für jeden Motor dieselbe, auf 0–100 gestreckt.

2. Zwei Rufprüfungen

Sprachmodelle von zwei verschiedenen Unternehmen werden jeweils dreimal nach dem etablierten Ruf des Motors bei Besitzern und Mechanikern gefragt. Menschen schreiben, wenn etwas kaputtgeht, nicht wenn ein Motor bei 300.000 km noch gut läuft; Forenbelege allein unterschätzen deshalb gute Motoren. Die beiden Modelle machen außerdem unterschiedliche Fehler, sodass sie zusammen stabiler sind als jedes für sich.

3. Kalibrierung

Der Durchschnitt der drei wird mithilfe von 23 Referenzmotoren auf die Endskala übertragen, deren Bilanz in der Praxis gut belegt ist, von legendär haltbar bis berüchtigt. Kein Motor kann besser oder schlechter abschneiden als der beste oder schlechteste von ihnen, daher reichen die Bewertungen von etwa 18 bis 95. Für jeden Motor gelten dann dieselben Stufen, sodass eine 70 bei einem BMW dasselbe bedeutet wie eine 70 bei einem Toyota:

Die Empfehlung in jedem Bericht legt Code anhand der Bewertung und der bestätigten Probleme fest. Ein Modell schreibt dann das kurze Fazit, die Kaufberatung und die Zusammenfassung dessen, was Besitzer berichten. Es erklärt Zahlen, die bereits feststehen, und darf kein eigenes Problem und keine eigene Zahl hinzufügen.

Reparaturkosten

Jede der 30 Schadensarten hat eine typische Preisspanne in Euro. Arbeiten an Steuerkette und Führungen kosten zum Beispiel 1.000–2.000 €. Derselbe Schaden zeigt bei jedem Motor dieselbe Spanne, und die Kosten zählen außerdem zu 20 % in den Schweregrad eines Problems. Verstehe sie als Anhaltspunkt für die Größenordnung der Rechnung, nicht als Angebot: Sie berücksichtigen noch nicht, dass dieselbe Arbeit bei manchen Motoren den Ausbau des Motors erfordert, und auch nicht die Stundensätze dort, wo du wohnst.

Unabhängigkeit

• Kein Geld aus der Branche. Wir nehmen nichts von Herstellern, Händlern oder Teileverkäufern. Es gibt keine gesponserten Motoren und keine bezahlten Platzierungen, und niemand kann dafür bezahlen, eine Bewertung zu ändern.
• Anzeigen berühren die Daten nicht. Die Seite finanziert sich über Anzeigen von Google AdSense. Google wählt die Anzeigen aus, darunter auch Automarken, und Werbetreibende haben keinen Einfluss auf eine Bewertung oder einen Bericht.

Wann sich Bewertungen ändern

Bewertungen sind nicht endgültig. Wenn wir neue Belege zu einem Motor sammeln oder die Methode überarbeiten, werden die betroffenen Bewertungen nach denselben Regeln neu berechnet, und jeder Bericht zeigt, wann er zuletzt aktualisiert wurde und welche Bewertungsversion ihn erstellt hat. Wer einen Prompt, ein Modell oder eine Gewichtung ändert, muss zuerst neu gegen die Referenzmotoren messen: Vorher verweigert die Pipeline die Bewertung.

Wenn du etwas weißt, das uns entgangen ist, nutze „Stimmt auf dieser Seite etwas nicht?“ am Ende jedes Motorberichts oder das Kontaktformular. Jede Nachricht liest ein Mensch. Kilometerstand, Symptome und die Reparaturkosten sind die Angaben, die eine Bewertung verändern.

Was eine Bewertung nicht sagen kann

• Besitzer schreiben über Probleme. Zufriedene Besitzer melden sich selten. Die Rufprüfungen gleichen das aus; ein Teil jeder Bewertung spiegelt deshalb den etablierten Ruf eines Motors wider, nicht nur die Berichte, die wir gesammelt haben.
• Seltene Motoren haben dünne Belege. Eine Bewertung aus einer Handvoll Berichten ist unsicherer als eine aus Hunderten. Bei jedem Problem steht, wie viele Quellen es stützen und wie sicher wir uns sind.
• Sie wurde an einer begrenzten Zahl von Motoren abgestimmt. Das Lesemodell an 50 von Menschen bewerteten Motoren, die Endskala an 23 Referenzmotoren. Der nächste Schritt ist, die Methode an Motoren zu prüfen, die sie noch nie gesehen hat.
• Es ist nicht dein Auto. Eine Bewertung beschreibt einen Motor über viele Besitzer hinweg, nicht den Zustand des Exemplars vor dir. Schlechte Wartung kann einen guten Motor ruinieren und gute Wartung einen schwachen retten; lass das Auto deshalb immer vor dem Kauf prüfen.