Automatisierung priorisiert. Menschen entscheiden.
Schematische, anonymisierte Ansicht. Profile, Rollen und Trefferwerte sind illustrativ; Eingang, Entdopplung, begründetes Matching und menschliche Prüfung bilden den realen Ablauf ab.
Ausgangslage, Aufgabe, Umsetzung.
- Ausschreibungen aus mehreren Portalen als Mail
- Unterschiedliche Formate, starke Überschneidungen
- Jede Mail einzeln gelesen
- Passende Projekte gingen im Volumen unter
- Nur zugelassene Portale werden verarbeitet
- Sammelmails in Einzeleinträge zerlegt
- Portalübergreifend entdoppelt
- Durchsuchbare Liste statt Posteingang
| Branche | Personaldienstleistung, Projektvermittlung |
| Laufzeit | Juli 2026 bis heute, im Betrieb |
| Umfang | Stand Juli 2026: automatisierte Qualitätssicherung und 3 Läufe täglich |
| Erweiterbar | Neue Portale über eine Positivliste, ohne Eingriff in den Kern |
| Kernthema | Entdopplung und Datenschutz — nicht die Extraktion |
Von der Rohmail zum bewerteten Treffer.
Fünf Stufen, jede einzeln nachvollziehbar. Bei einem unerwarteten Ergebnis lässt sich genau bestimmen, in welcher Stufe es entstanden ist.
„Bei automatisierter Datenerfassung ist die Entdopplung nicht der Nebenschauplatz, sondern der Kern. Ohne sie wächst die Datenbasis schneller als der Nutzen."
Technischer Deep-Dive.
Entdopplungslogik, Datenschutz und die Fehler, die im Livebetrieb sichtbar wurden.
Entdopplung — zwei Fehler und ihre Behebung aufklappen
Fehler 1 — Entdopplung nur innerhalb einer Mail
Portale wiederholen dieselben Projekte täglich. Die Liste war formal korrekt gefüllt und praktisch unbrauchbar (Zahlen im Schaubild oben). Behebung: Eindeutigkeitsindex über inhaltliche Merkmale statt über die Mail-Zugehörigkeit, plus einmalige Bestandsbereinigung.
Fehler 2 — Formatierung als Inhalt gelesen
Ein Auszeichnungswort aus der Portaldarstellung landete im Projekttitel — jeder Titel trug ein Wort, das im Original nicht stand. Behebung: Trennung von Darstellung und Inhalt bereits beim Zerlegen.
Was beide gemeinsam haben
Beide Fehler waren erst am gefüllten Livesystem sichtbar — in der Testumgebung mit wenigen Beispielmails traten sie nicht auf. Seitdem gehört eine Sichtprüfung am realen Datenbestand zur Abnahme.
Datenschutz — Positivliste statt Ausschlussliste aufklappen
Ein System, das ein Postfach automatisiert ausliest, ist datenschutzrechtlich heikel: In demselben Postfach liegt zwangsläufig auch private oder projektfremde Korrespondenz.
Umsetzung
- Positivliste statt Ausschlussliste — nur ausdrücklich zugelassene Absenderportale werden verarbeitet. Eine Ausschlussliste hätte jede unbekannte Absenderadresse durchgelassen; die Positivliste dreht die Beweislast um.
- Bereinigung des Bestands — bereits eingelesene, nicht zum Zweck gehörende Mails wurden nachträglich aus der Datenbank entfernt, nicht nur ausgeblendet.
- Zweckbindung — verarbeitet wird ausschließlich, was für den Abgleich gebraucht wird. Die Rohmail bleibt zur Nachvollziehbarkeit erhalten, wird aber nicht ausgewertet.
Das ist die praktische Ausprägung der Datenminimierung: nicht alles einlesen und später filtern, sondern von vornherein nur einlesen, was zum Zweck gehört.
Architektur & Betrieb aufklappen
| Ebene | Umsetzung |
|---|---|
| Hosting | Eigener Cloud-Server in Deutschland, ausschließlich für dieses Mandat |
| Laufzeit | Docker-Container hinter einem Reverse-Proxy mit automatischer Zertifikatsverwaltung |
| Anwendung | Python/Flask, getrennte Module für Abruf, Zerlegung, Abgleich und Verwaltung |
| Daten | SQLite mit Eindeutigkeitsindizes auf inhaltlichen Merkmalen; Rohmails getrennt von strukturierten Einträgen |
| Automatisierung | Zeitgesteuerte Läufe mit Sperrmechanismus gegen Parallelausführung und eigenem Protokoll je Lauf |
| Qualitätssicherung | Automatisierte Prüfungen für Abruf, Zerlegung, Entdopplung und Abgleichlogik |
| Auslösung | Neben dem Zeitplan ein manueller Auslöser in der Oberfläche für Sofortläufe |
Warum ein Sperrmechanismus
Überschneiden sich zwei Läufe — etwa wenn ein manueller Start auf einen planmäßigen trifft — verarbeiten beide dieselben Mails. Ein Sperrmechanismus verhindert das. Bei automatisierten Abläufen ist der Parallelfall der Normalfall, nicht die Ausnahme.