Wenn Hersteller- und Typfelder in Ihren Spend-Daten vertauscht sind

Kurzantwort: Hersteller- und Typfelder vertauschen sich, wenn ein vorgelagerter Export, eine manuelle Eingabevorlage oder eine Systemmigration zwei benachbarte Spalten falsch zuordnet, sodass der Herstellername dort landet, wo der Produkttyp hingehört, und umgekehrt. Die Vertauschung löst keinen Fehler aus, weil beide Felder weiterhin gültig aussehenden Text enthalten. Sie zeigt sich erst, wenn Klassifizierungsergebnisse nicht mehr mit dem übereinstimmen, was Einkäufer wissen, und ein automatisierter Konsistenzcheck über die gesamte Datei ist das, was sie tatsächlich erkennt.

Auf dieser Seite: Wie die Vertauschung tatsächlich passiert · Warum es niemand sofort bemerkt · Wie ein automatisierter Durchlauf sie erkennt · Was nach dem Finden zu prüfen ist · FAQ

Wie die Vertauschung tatsächlich passiert

Jede Spend-Datei hat ein Herstellerfeld und ein Typ- oder Kategoriefeld, die in irgendeiner Form nebeneinanderliegen, ob als native ERP-Struktur oder als Tabellenvorlage, die ein Einkäufer vor Jahren gebaut hat. Die Vertauschung, die ich hier beschreibe, ist kein Tippfehler innerhalb eines Feldes. Es ist der vollständige Platztausch der beiden Felder: „Bosch" erscheint dort, wo die Typbeschreibung stehen sollte, „Bohrmaschine" erscheint dort, wo der Herstellername stehen sollte, konsistent über eine ganze Charge von Zeilen hinweg.

Es passiert aus einer kleinen Zahl vorhersehbarer Gründe. Eine Spaltenzuordnung in einem Datenexport oder einem ETL-Job wird einmal korrekt eingerichtet, und dann verschiebt ein System-Upgrade oder eine Vorlagenänderung die Spaltenreihenfolge, ohne dass jemand die Zuordnung entsprechend aktualisiert. Eine manuelle Eingabevorlage wird von einer älteren Version dupliziert, deren Felder in anderer Reihenfolge stehen, und wer die Daten einträgt, fügt Werte ein, ohne zu prüfen, ob die Überschriften noch stimmen. Eine Migration zwischen Systemen ordnet Felder nach Position statt nach Name zu, was gut funktioniert, solange Quell- und Zielsystem ihre Spalten gleich anordnen. In jedem Fall hat die Person oder das System, das die Zuordnung vorgenommen hat, korrekt gegen das gearbeitet, was sie als Struktur annahmen. Die Struktur hatte sich bereits unter ihnen verändert.

Warum es niemand sofort bemerkt

Der Grund, warum diese Art von Fehler so lange überlebt, ist, dass beide Felder weiterhin plausible, echte Werte enthalten. Ein Herstellerfeld ist Freitext, und das ist ein Typfeld in den meisten Systemen auch, sodass es keine Validierungsregel gibt, die „Bohrmaschine" in einem als Hersteller bezeichneten Feld oder „Bosch" in einem als Typ bezeichneten Feld ablehnen würde. Nichts stürzt ab, nichts löst eine Warnung aus, und eine Person, die die Datei schnell auf offensichtlich kaputte Daten überfliegt, sieht zwei Spalten voller erkennbarer Wörter und macht weiter.

Die Vertauschung wird erst sichtbar, sobald jemand versucht, die Daten für etwas zu nutzen, das darauf angewiesen ist, dass die Felder das bedeuten, was ihre Überschriften sagen. Ein Herstellerbericht, der „Bohrmaschine" und „Schlagschrauber" als Top-Hersteller zeigt, ist für einen Menschen, der direkt auf diesen Bericht blickt, offensichtlich falsch. Aber die meisten Klassifizierungspipelines und die meisten Menschen, die mit einem nachgelagerten Extrakt arbeiten, sehen sich nie das rohe Herstellerfeld direkt an. Sie sehen die Kategorie, die der Klassifizierer zugewiesen hat, und wenn dem Klassifizierer die vertauschten Daten zugeführt wurden, erzeugt er Kategorien, die auf dem falschen Signal aufbauen, ohne ein offensichtliches Anzeichen dafür, wo der Fehler seinen Ursprung hat. Eine aus vertauschten Feldern klassifizierte Charge kann vollständig und zuverlässig aussehen, während sie systematisch falsch ist, in einer Weise, die nur ein erfahrener Einkäufer, der auf bestimmte Zeilen blickt, instinktiv erkennen würde.

Wie ein automatisierter Durchlauf sie erkennt

Das Muster, das dies tatsächlich erkennt, ist ein Konsistenzcheck über die gesamte Charge, nicht eine Validierungsregel für ein einzelnes Feld. Von einem Herstellerfeld wird erwartet, dass es eine kleine, wiederkehrende Menge von Werten enthält, Markennamen, die sich über viele Zeilen wiederholen, weil die meisten Ausgaben über eine überschaubare Zahl von Herstellern laufen. Von einem Typfeld wird erwartet, dass es weit mehr Vielfalt zeigt, weil die Bandbreite der gekauften Dinge naturgemäß breiter ist als die Bandbreite der Marken, von denen sie stammen. Wenn diese beiden statistischen Muster über eine Charge hinweg vertauscht sind, schlägt eine feldbasierte Verteilungsprüfung sofort Alarm, bevor auch nur eine Zeile die Klassifizierung erreicht.

Diese Prüfung ist nur möglich, weil sie die Charge als Ganzes betrachtet, nicht Zeile für Zeile. Eine zeilenweise Validierungsregel kann diesen Fehler nicht erkennen, weil jede einzelne vertauschte Zeile für sich weiterhin zwei gültig aussehende Textwerte enthält; der Fehler wird erst im Muster über viele Zeilen sichtbar. Das ist derselbe Grund, aus dem der Fehler für eine Person unsichtbar ist, die schnell über eine Tabelle blickt: Menschen sind ebenfalls besser darin, Muster über eine ganze Spalte zu erkennen, als eine einzelne Zelle zu erwischen, die technisch gültig, aber semantisch falsch ist.

Was nach dem Finden zu prüfen ist

Sobald eine Feldvertauschung identifiziert ist, ist die eigentliche Korrektur meist mechanisch: die beiden Spalten für die betroffene Charge zurücktauschen und die Klassifizierung erneut laufen lassen, denn der zugrunde liegende Text war nie wirklich falsch, nur falsch beschriftet. Der wichtigere Schritt ist, die Vertauschung bis zu ihrer Quelle zurückzuverfolgen, ob das ein Exportjob, eine Vorlage oder eine Migrationszuordnung ist, und sie dort zu korrigieren, denn eine Korrektur auf Chargenebene verhindert nicht, dass derselbe Export nächsten Monat denselben Fehler erneut erzeugt.

Die Klassifizierungspipeline von Pearstop führt vor Beginn der Klassifizierung einen feldbasierten Konsistenzcheck über jede Charge durch und erkennt eine Hersteller- oder Typfeldvertauschung, bevor sie einen Bericht erreicht, für Procurement- und Finance-Teams, die einer klassifizierten Spend-Datei gleich beim ersten Mal vertrauen müssen, statt erst, nachdem jemand einen Herstellerbericht voller Produktnamen bemerkt. Die Prüfung muss nicht im Voraus wissen, dass eine Vertauschung stattgefunden hat. Sie braucht nur, dass sich die statistische Form eines korrekten Herstellerfelds von der eines korrekten Typfelds unterscheidet, was im Grunde für jeden Spend-Datensatz gilt, unabhängig von der Branche.

Häufig gestellte Fragen

Was verursacht die Vertauschung von Hersteller- und Typfeldern in Spend-Daten?

Die übliche Ursache ist ein Spaltenzuordnungsfehler: Ein Exportjob, eine manuelle Eingabevorlage oder eine Systemmigration ordnet zwei benachbarte Felder falsch zu, sodass der Herstellername dort landet, wo die Typbeschreibung stehen sollte, und die Typbeschreibung dort, wo der Herstellername stehen sollte. Das passiert typischerweise nach einem System-Upgrade, einer Vorlagenänderung oder einer Migration, die Felder nach Position statt nach Name zuordnet.

Warum bleibt eine Hersteller- und Typfeldvertauschung so lange unbemerkt?

Beide Felder sind meist Freitext, sodass beide nach der Vertauschung weiterhin plausible, gültig aussehende Werte enthalten. Keine Validierungsregel lehnt die Daten ab, und eine Person, die die Datei nach offensichtlich kaputten Einträgen durchsucht, sieht zwei Spalten mit erkennbaren Wörtern statt eines Fehlers. Das Problem wird erst sichtbar, sobald sich jemand darauf verlässt, dass die Felder das bedeuten, was ihre Überschriften behaupten.

Wie erkennt man eine Hersteller- und Typfeldvertauschung automatisch?

Durch eine statistische Prüfung auf Chargenebene statt einer zeilenweisen Regel. Ein korrektes Herstellerfeld zeigt eine kleine, sich über viele Zeilen wiederholende Wertemenge, während ein korrektes Typfeld deutlich größere Vielfalt zeigt, weil weit weniger Marken weit mehr Produktarten liefern. Kehrt sich dieses Muster über eine Charge hinweg um, ist die Vertauschung erkennbar, bevor eine Zeile die Klassifizierung erreicht.

Beeinträchtigt diese Art von Feldvertauschung die Klassifizierungsgenauigkeit?

Ja, erheblich. Eine Klassifizierung, die auf dem falschen Signal aufbaut, einen Herstellernamen als Typbeschreibung behandelt oder umgekehrt, erzeugt Kategorien, die vollständig und zuverlässig wirken, während sie systematisch falsch sind, weil das zugrunde liegende Signal, auf das sich der Klassifizierer stützte, das Falsche beschrieb.

Wie erkennt Pearstop Hersteller- und Typfeldvertauschungen vor der Klassifizierung?

Pearstop führt vor Beginn der Klassifizierung einen feldbasierten Konsistenzcheck über die gesamte Charge durch und vergleicht die statistische Form jedes Feldes mit dem, was ein korrekt beschriftetes Hersteller- oder Typfeld zeigen sollte. Eine Vertauschung wird markiert und korrigiert, bevor sie Kategorieergebnisse verfälschen kann, statt erst später in einem nachgelagerten Bericht entdeckt zu werden.

Was sollten wir nach der Korrektur einer Feldvertauschung in unseren Spend-Daten prüfen?

Verfolgen Sie die Vertauschung bis zu ihrer Quelle zurück, statt nur die betroffene Charge zu korrigieren. Prüfen Sie den Exportjob, die Eingabevorlage oder die Migrationszuordnung, die die Datei erzeugt hat, denn eine Korrektur auf Chargenebene verhindert nicht, dass derselbe vorgelagerte Fehler die Vertauschung im nächsten Exportzyklus wieder erzeugt.

Rae Thomas

Director of Operations, Pearstop

Rae heads up operations at Pearstop, in both the traditional and non-traditional sense. She's as committed to the internal success of the business as she is to the value clients get out of it, which is why she leads delivery on most projects and is the main point of contact for clients throughout.

LinkedIn →