Dublettenprüfung

Was ist eine Dublettenprüfung und warum ist sie nötig?

Bei jedem Scanvorgang mit hohem Dokumentenaufkommen entstehen unweigerlich Duplikate: Ein Blatt wird versehentlich zweimal durch den Dokumenteneinzug gezogen, ein Stapel wird doppelt gescannt, oder ein und dasselbe Schreiben liegt in der Papierakte an zwei Stellen, weil es ursprünglich mehrfach kopiert wurde. Die Dublettenprüfung ist der Qualitätssicherungsschritt, der solche doppelten Erfassungen erkennt, markiert und bereinigt, bevor die Digitalisate endgültig in ein Dokumentenmanagementsystem (DMS) oder Archiv übernommen werden.

Ohne systematische Dublettenprüfung sammeln sich in digitalen Archiven über die Zeit erhebliche Mengen redundanter Daten an – mit spürbaren Folgen für Suchqualität, Speicherbedarf und im schlimmsten Fall die rechtliche Nachvollziehbarkeit von Geschäftsvorfällen.

Welche Arten von Dubletten gibt es?

In der Praxis lassen sich drei Kategorien unterscheiden:

• Technische Dubletten: Entstehen durch Scanfehler, meist durch Doppeleinzug im automatischen Dokumenteneinzug (ADF). Zwei oder mehr Blätter werden gleichzeitig eingezogen und als ein oder mehrere identische Digitalisate erfasst.
• Prozessuale Dubletten: Entstehen durch menschliches Versehen, etwa wenn ein Stapel versehentlich zweimal in den Scanner gelegt wird oder derselbe Posteingang doppelt digitalisiert wird.
• Inhaltliche Dubletten: Das Originaldokument selbst lag mehrfach in der Papierakte vor, etwa als Durchschlag, beglaubigte Kopie oder Anlage in mehreren Vorgängen. Hier ist jedes Digitalisat für sich korrekt, die Redundanz liegt im Ausgangsmaterial.

Diese Unterscheidung ist wichtig, weil technische und prozessuale Dubletten in aller Regel bereinigt werden sollen, während inhaltliche Dubletten je nach Aktenlogik durchaus gewollt sein können.

Wie funktioniert die technische Erkennung von Dubletten?

Für die automatisierte Erkennung kommen mehrere Verfahren zum Einsatz, oft kombiniert:

1. Hardware-Erkennung am Scanner: Moderne Dokumenteneinzüge nutzen Ultraschall- oder Doppelblatt-Sensoren, die einen Mehrfacheinzug direkt während des Scanvorgangs erkennen und den Prozess stoppen.
2. Hash-Wert-Vergleich: Für jedes gescannte Bild wird ein Hash-Wert berechnet; identische Hash-Werte weisen auf bitgenaue technische Duplikate hin.
3. OCR-basierter Textvergleich: Nach der Texterkennung werden Dokumente inhaltlich verglichen, um auch dann Duplikate zu finden, wenn sich Scanparameter wie Auflösung oder Ausrichtung leicht unterscheiden.
4. Metadatenabgleich: Übereinstimmungen bei Absender, Datum, Betreff oder Barcode-Kennung liefern zusätzliche Hinweise auf mögliche Duplikate, besonders bei strukturierten Dokumenten wie Rechnungen.

Keines dieser Verfahren ist für sich allein zuverlässig genug – erst die Kombination aus Hardware-Erkennung während des Scans und softwareseitigem Abgleich danach liefert belastbare Ergebnisse.

Wie läuft die Dublettenprüfung im Scanprozess ab?

1. Erfassung am Einzug: Der Scanner meldet erkannte Doppeleinzüge sofort, sodass die Bedienperson den betroffenen Stapel prüfen und neu einlegen kann.
2. Nachgelagerter Softwareabgleich: Nach der Stapelverarbeitung vergleicht die Erfassungssoftware alle Digitalisate eines Auftrags per Hash-Wert und gegebenenfalls OCR-Text.
3. Markierung statt automatischer Löschung: Erkannte Kandidaten werden als mögliche Dublette markiert, nicht automatisch entfernt – die Entscheidung trifft eine Person mit Aktenkenntnis.
4. Manuelle Freigabe: Im Rahmen der Qualitätssicherung wird jede markierte Dublette gesichtet: löschen, als Duplikat kennzeichnen und behalten, oder als eigenständiges Dokument bestätigen.
5. Protokollierung: Jede Entscheidung wird dokumentiert – wichtig für die Nachvollziehbarkeit, besonders bei GoBD-relevanten Unterlagen, bei denen keine ungeprüfte automatische Löschung erfolgen darf.

Welche Rolle spielt Dublettenprüfung für die Datenqualität im DMS?

Ein Archiv mit unentdeckten Dubletten wirkt sich unmittelbar auf die tägliche Arbeit aus: Die Volltextsuche liefert mehrfach denselben Treffer, automatisierte Auswertungen zählen Belege doppelt, und Anwender verlieren das Vertrauen in die Vollständigkeit des Systems, wenn scheinbar willkürlich doppelte Treffer auftauchen. Bei buchhaltungsrelevanten Dokumenten kann eine unerkannte Dublette im schlimmsten Fall zu doppelten Zahlungen oder falschen betriebswirtschaftlichen Auswertungen führen.

Eine saubere Dublettenprüfung ist deshalb kein optionaler Zusatzschritt, sondern fester Bestandteil einer belastbaren Indexierung und Volltextsuche. Sie trägt direkt zur Nachvollziehbarkeit bei, wie sie etwa die GoBD für steuerrelevante Unterlagen verlangen.

Welche Werkzeuge und Softwarelösungen unterstützen die Dublettenprüfung?

In der professionellen Erfassung übernehmen mehrere Systemebenen gemeinsam die Dublettenerkennung. Die Scansoftware selbst prüft während der Stapelverarbeitung auf technische Auffälligkeiten wie ungewöhnliche Seitenanzahl oder identische Bildgrößen in Folge. Nachgelagerte Capture-Software mit OCR-Modul vergleicht den erkannten Text zwischen Dokumenten und markiert hohe Ähnlichkeitswerte. Moderne DMS-Lösungen bieten zudem eine Duplikatsprüfung beim Import an, die verhindert, dass ein bereits vorhandenes Dokument versehentlich ein zweites Mal eingespielt wird.

Wichtig ist dabei die richtige Kalibrierung der Erkennungsschwelle: Ist sie zu streng eingestellt, werden auch tatsächlich unterschiedliche, aber ähnliche Dokumente – etwa zwei aufeinanderfolgende Rechnungen desselben Lieferanten – fälschlich als Dublette markiert. Ist sie zu locker eingestellt, rutschen echte Duplikate unbemerkt durch. Seriöse Scandienstleister passen diese Schwellenwerte projektspezifisch an die jeweilige Dokumentart an und dokumentieren die gewählten Parameter in der Verfahrensdokumentation, damit die Vorgehensweise auch im Nachhinein nachvollziehbar bleibt.

Für wiederkehrende Digitalisierungsprozesse, etwa im laufenden Posteingang, lohnt sich zudem eine regelmäßige Auswertung der Dublettenquote: Ein plötzlicher Anstieg kann auf technische Probleme am Scanner oder auf organisatorische Fehler im Ablauf hinweisen und sollte zeitnah untersucht werden.

Wie viel Aufwand verursacht die Dublettenprüfung in der Praxis?

Der Mehraufwand hängt stark vom Digitalisierungsvolumen ab. Bei kleinen, manuell überwachten Scanvorgängen bleibt der zusätzliche Prüfschritt überschaubar. Bei Massendigitalisierung mit tausenden Seiten pro Tag ist eine automatisierte Vorprüfung praktisch unverzichtbar, um die manuelle Sichtung auf tatsächliche Verdachtsfälle zu begrenzen. Seriöse Scandienstleister integrieren die Dublettenprüfung deshalb standardmäßig in ihre Erfassungssoftware und weisen die Fehlerquote im Qualitätsbericht des Projekts aus. Wer wissen möchte, wie eine belastbare Dublettenprüfung für den eigenen Aktenbestand aussehen kann, erhält eine Einschätzung über unsere Kontaktseite.