Das Sicherheitsunternehmen RedAccess suchte nach Apps, die mit KI-Programmierwerkzeugen erstellt und auf deren eigenen Hosting-Angeboten veröffentlicht wurden, und fand mehr als 5.000, die praktisch keinerlei Sicherheit oder Authentifizierung boten. Unter den Screenshots, die es mit Wired teilte, war offenbar die Arbeitsverteilung eines Krankenhauses, einschließlich persönlicher Informationen über die Ärzte.
Das Erstellen ist der Teil, den KI-Programmierwerkzeuge einfach gemacht haben. Bei KI-erstellten Apps für HR-Teams kommt die Offenlegung später, wenn eine Urlaubsverwaltung oder ein Bewertungsbogen für Vorstellungsgespräche so online geht, wie sie vorgeführt wurden: ein öffentlicher Link, ein Administratorkonto und dahinter die gesamte Mitarbeitertabelle.
Kurzfassung
- Ein Tool, das mitentscheidet, wer eingestellt oder befördert wird oder wie Personen bewertet werden, kann nach der EU-KI-Verordnung als Hochrisikosystem gelten. Es geht an IT und Rechtsabteilung oder DPO, bevor es jemanden bewertet.
- Mitarbeiterdatensätze gehören niemals auf das eigene Hosting-Angebot des KI-Programmierwerkzeugs. Der Standard ist ein vom Team kontrollierter Server, der nur über ein privates Netzwerk erreichbar ist, mit vorgeschalteter Unternehmensanmeldung, sobald Führungskräfte oder alle Mitarbeiter Zugriff benötigen.
- Die Korrekturen erfolgen über dasselbe KI-Tool, das die App erstellt hat: gelesene Felder reduzieren, HR-Administratoren, Führungskräften und Mitarbeitern unterschiedliche Ansichten geben, Zugangsdaten aus dem Code entfernen, externe Datenübertragungen verringern, Zugriffe auf Datensätze protokollieren und Löschanfragen unter Berücksichtigung von Aufbewahrungspflichten bearbeiten. Jede Korrektur bestätigt eine Prüfung, die Sie selbst durchführen; der Bericht der KI tut das nicht.
- Der Zugriff auf das Tool sollte am letzten Beschäftigungstag enden, eine namentlich benannte Person sollte dafür verantwortlich sein, und die Wahl eines Serverstandorts stellt keine Compliance her.
Bereitstellungsfehler, die Mitarbeiterdaten offenlegen
Ein KI-erstelltes HR-Tool legt Mitarbeiterdaten für jeden offen, der seinen Link findet, für jeden mit Zugangsdaten aus einem Chat oder dem Code, für Kollegen, die fremde Datensätze öffnen, für externe Dienste, an die es Daten sendet, und für ausgeschiedene Personen, ohne festzuhalten, wer hineingesehen hat. Das Lesen der gesamten Mitarbeitertabelle erweitert jeden dieser Wege.
| Fehler | Was offengelegt wird | Lösung | Wo die Korrektur erfolgt |
|---|---|---|---|
| Veröffentlichung auf dem Hosting-Angebot des KI-Tools mit einem öffentlichen Link | Notizen zu Arbeitsplatzanpassungen und krankheitsbedingten Abwesenheiten in einer Abwesenheitsverwaltung, lesbar für jeden mit der URL | Auf einen vom Team kontrollierten Server in einem privaten Netzwerk umziehen | Ausführungsort |
| Ein Datenbankpasswort oder API-Token für HRIS oder Gehaltsabrechnung in den Chat oder Code einfügen | Jeder mit dem Chatverlauf oder Repository kann das HR-System erreichen, einschließlich SSNs und nationaler Identifikationsnummern | Die Zugangsdaten ersetzen und aus dem Code heraushalten | Zugangsdaten |
| Die gesamte Mitarbeitertabelle lesen, obwohl das Tool drei Spalten benötigt | SSNs, Gehalt sowie Einwanderungs- und Arbeitserlaubnisstatus in einem Tool, das Urlaubsansprüche anzeigen soll | Ein Datenbankkonto, das nur auf die vom Tool benötigten Felder zugreifen kann | Felder |
| Alle angemeldeten Personen sehen jeden Datensatz | Führungskräfte sehen die Gehälter anderer Führungskräfte; Leistungsbewertungen sind im gesamten Unternehmen sichtbar | Drei Rollen, auf dem Server geprüft | Rollen |
| Bewerberdaten werden an externe Dienste gesendet | Personenbezogene Daten aus dem Bewerbungsprozess (Lebensläufe, Gesprächsnotizen) werden an eine KI-API oder ein Analyseskript kopiert | Ausgehende Daten prüfen und reduzieren | Ausgehende Daten |
| Zugriff besteht nach Beschäftigungsende weiter | Das Konto einer ausgeschiedenen Person oder das Administratorkonto des Erstellers öffnet weiterhin sämtliche Mitarbeiterdatensätze | Unternehmensanmeldung plus Sitzungswiderruf, damit das Offboarding den Zugriff beendet | Offboarding |
| Keine Aufzeichnung darüber, wer was geöffnet oder gelöscht hat | Niemand kann feststellen, wer eine Akte zu Arbeitsplatzanpassungen angesehen hat, und eine Löschanfrage lässt sich nicht sicher beantworten | Ein Audit-Protokoll, das nur neue Einträge erlaubt, und ein Löschwerkzeug, das Aufbewahrungspflichten berücksichtigt | Audit-Protokoll und Löschung |
Die erste Zeile beschreibt das Problem, das RedAccess in großem Umfang fand. In Wireds Bericht über die Ergebnisse von RedAccess widersprachen drei der vier KI-Programmierunternehmen den Aussagen der Forscher (das vierte antwortete nicht). Sie bestritten aber nicht, dass die von RedAccess gefundenen, per Vibe Coding erstellten Apps offen zugänglich geblieben waren. Ich sehe darin ein Konfigurationsproblem und einen übersprungenen Prüfschritt.
Prüfen Sie, ob das Tool mitentscheidet, wer eingestellt, befördert oder bewertet wird

Dass ein HR-Tool mit einem KI-Programmierwerkzeug erstellt wurde, macht es für sich genommen nicht zu einem Hochrisikosystem nach der EU-KI-Verordnung. Entscheidend ist seine Funktion. Anhang III der EU-KI-Verordnung nennt KI-Systeme zur Anwerbung oder Auswahl von Personen sowie für Entscheidungen über Beförderung, Kündigung, Aufgabenzuweisung oder die Überwachung und Bewertung von Leistungen.
Bevor Sie also entscheiden, wo das Tool läuft, stellen Sie eine Frage: Trifft oder beeinflusst es eine Entscheidung darüber, wer eingestellt, befördert, entlassen, mit Aufgaben betraut oder hinsichtlich seiner Leistung bewertet wird?
Eine Urlaubsverwaltung, eine Onboarding-Checkliste oder ein Organisationsverzeichnis speichert Datensätze und zeigt sie wieder an und gehört damit auf die Seite „Nein“. Ein Interview-Bewertungsbogen, der Bewerber in eine Rangfolge bringt, oder ein Leistungstool, das Personen bewertet (insbesondere wenn ein KI-Modell die Bewertung übernimmt), kann auf der Seite „Ja“ liegen. Wenn ich nicht erkenne, auf welcher Seite ein Tool liegt, behandle ich es als Ja und lasse IT und Rechtsabteilung eine andere Einschätzung begründen.
Die Verordnung gilt nicht nur für EU-Unternehmen: Artikel 2 erfasst Anbieter und Betreiber außerhalb der EU, wenn die Ergebnisse ihres KI-Systems in der EU verwendet werden. Nach Artikel 113 in seiner geänderten Fassung gelten die Pflichten für Hochrisikosysteme aus Anhang III ab dem 2. Dezember 2027. Zu diesen Pflichten gehören ein Risikomanagementsystem, Daten-Governance, technische Dokumentation, Aufzeichnungspflichten, Transparenz gegenüber Betreibern und menschliche Aufsicht (Artikel 9 bis 14). Ihre Bewertung gehört in die Hände von IT und Rechtsabteilung.
Wenn die Antwort Ja lautet, stoppen Sie, bevor das Tool auch nur einen echten Bewerber oder Mitarbeiter bewertet. Geben Sie es an die IT und Ihre Rechts- oder Datenschutzverantwortlichen (den DPO, falls vorhanden). Diese Prüfung entscheidet nicht, ob ein bestimmtes Tool in den Anwendungsbereich fällt; sie zeigt, wer darüber entscheiden muss. Auch einige US-Bundesstaaten regulieren automatisierte Einstellungsentscheidungen. Diese Regeln stehen in der Tabelle weiter unten.
Sie können dieser Prüfung vorarbeiten. Ich würde das KI-Tool bitten, gegen seine eigene Bewertung zu argumentieren, statt sie zu verteidigen:
Diese App bewertet Bewerber oder Mitarbeiter oder bringt sie in eine Rangfolge. Liste jedes Datenfeld und jeden Berechnungsschritt auf, der in die Bewertung oder Rangfolge einfließt. Sage mir für jeden, ob er direkt oder indirekt ein geschütztes Merkmal abbilden könnte: Alter, Rasse, Geschlecht, Staatsangehörigkeit, ethnische Herkunft, Behinderung, Schwangerschaft, Religion oder sexuelle Orientierung. Wenn du unsicher bist, sage es, statt zu raten. Weise anschließend auf alles zur Fairness dieser Bewertung hin, wonach ich nicht gefragt habe, aber hätte fragen sollen.
Prüfung: Behandeln Sie die Antwort als Ausgangsliste für die Personen, die das Tool prüfen, nicht als Urteil, und übergeben Sie sie zusammen mit dem Tool. Das Ausführen dieses Prompts ist keine Bias-Prüfung und erfüllt keine rechtliche Anforderung.
Wo ein HR-Tool laufen sollte

Halten Sie Mitarbeiterdatensätze vom eigenen Hosting-Angebot des KI-Tools fern. Für ein Tool, das nur das HR-Team verwendet, ist der Standard ein vom Team kontrollierter Server, der nur über ein privates Netzwerk erreichbar ist, mit vorgeschalteter Unternehmensanmeldung, sobald Führungskräfte oder Mitarbeiter sie brauchen. Ein Tool, das die Prüfung zu Einstellungsentscheidungen nicht bestanden hat oder für dessen Server niemand verantwortlich ist, geht an die IT.
Bei der Veröffentlichung auf dem Hosting-Angebot eines KI-Programmierwerkzeugs liegt die App unter einer Adresse in der Domain des Anbieters. Sofern ihre Sichtbarkeit nicht auf privat gesetzt ist, kann jeder, der diese Adresse findet, darauf zugreifen. RedAccess identifizierte Tausende solcher Apps durch gewöhnliche Google- und Bing-Suchen nach diesen Domains. Ein privates Netzwerk funktioniert umgekehrt: Das Tool antwortet nur Geräten, die diesem Netzwerk beigetreten sind. Unternehmensanmeldung (Single Sign-on) bedeutet, dass Kollegen das Tool mit ihrem bisherigen Unternehmenskonto öffnen, geprüft durch einen Identitätsanbieter, also den Dienst, der diese Konten verwaltet.
| Ausführungsort | Geeignet, wenn | Ungeeignet, wenn |
|---|---|---|
| Das eigene Hosting-Angebot des KI-Tools | Mit erfundenen Mitarbeiterdatensätzen entwickelt und getestet wird | Ein echter Datensatz hineinkommt |
| Ein vom Team kontrollierter Server, der nur über ein privates Netzwerk erreichbar ist | Tools nur für das HR-Team: Abwesenheitsverwaltung, Onboarding-Verfolgung, Personalplanung | Niemand Verantwortung für den Server übernehmen kann |
| Derselbe Server mit vorgeschalteter Unternehmensanmeldung | Führungskräfte oder alle Mitarbeiter Zugriff benötigen | Niemand Verantwortung für den Server übernehmen kann oder kein Unternehmensidentitätssystem zur Anbindung vorhanden ist |
| Eine verwaltete Bereitstellungsplattform | Größere Organisationen bereits Budget für Plattformanbieter und Anbieterprüfungen vorsehen | Ein kleines HR-Team dafür keinen Budgetposten hat |
| IT oder interne Entwicklung | Das Tool die Prüfung zu Einstellungsentscheidungen nicht bestanden hat, die IT Kapazitäten hat oder niemand einen Server verantworten kann | Nie die falsche Wahl, nur manchmal nicht verfügbar |
Bis das Tool auf dem eigenen Server des Teams läuft, entwickeln und testen Sie es mit synthetischen Daten: erfundenen Namen, Gehältern und Urlaubsdaten im Format echter Daten. Ein kostenloser Tunnel von einem Laptop zu einer öffentlichen Adresse ist genauso öffentlich wie das Hosting des Anbieters und gehört deshalb ebenfalls in die Demophase.
Warum ein privates Netzwerk statt der Anmeldeseite, die die App bereits hat? In einem privaten Netzwerk antwortet das Tool von außen überhaupt nicht. Niemand außerhalb kann es laden, untersuchen oder Passwörter erraten. Eine vom KI-Tool geschriebene Anmeldeseite reicht allein nicht aus. Jeder kann sie erreichen, und sie ist nur so sicher wie der generierte Code dahinter. Laut Veracodes GenAI-Code-Sicherheitsbericht 2025 bestanden 45% der getesteten Codebeispiele aus mehr als 100 Modellen die Sicherheitstests wegen einer OWASP-Top-10-Schwachstelle nicht (einem Risiko aus einer verbreiteten Liste der kritischsten Sicherheitsrisiken für Webanwendungen). Deshalb würde ich lieber ein Schloss vor die App setzen, als mich auf das von der KI geschriebene zu verlassen.
Für die Übergabe läuft das Tool auf einem VPS (einem gemieteten Server, den das Team vollständig kontrolliert) unter einem Bereitstellungswerkzeug wie Coolify oder Dokku, das die App aus ihrem Code ausführt; Coolify kann außerdem ein fehlerhaftes Update über sein Dashboard auf eine frühere Version zurücksetzen. Die Wahl zwischen Coolify und Dokku hängt vor allem davon ab, wie viele Apps auf dem Server laufen sollen und ob die IT-Unterstützung ein Dashboard bevorzugt. Das private Netzwerk stellen Tailscale oder WireGuard bereit. Tailscale ist schneller eingerichtet, aber sein Koordinationsdienst wird von Tailscale betrieben, während WireGuard vollständig selbst gehostet wird. Die Unternehmensanmeldung kommt von einem Identitätsanbieter wie Authentik oder Keycloak. Ein Reverse Proxy wie Caddy oder Nginx Proxy Manager ergänzt HTTPS dort, wo die Anmeldung über das Web erreichbar ist. Diesen Teil geben Sie zusammen mit der abschließenden Checkliste an die IT-Unterstützung.
Die Korrekturen als Prompts für Ihr eigenes KI-Tool
Der Großteil der Arbeit zur sicheren Bereitstellung einer KI-erstellten HR-App erfolgt über das Tool, das sie erstellt hat, aber nur auf Aufforderung. Wie der Sicherheitsforscher Joel Margolis Wired sagte, tun KI-Programmierwerkzeuge „das, was man ihnen aufträgt. Und wenn man sie nicht auffordert, es sicher zu tun, werden sie sich dafür nicht extra anstrengen.“
Behandeln Sie jeden folgenden Prompt als Ausgangspunkt und passen Sie Feldnamen und Rollen an Ihr Tool an. Ich sehe das KI-Tool als Entwickler und mich als Prüfer; sein Bericht über eine fertige Änderung ist deshalb ein Entwurf. Die Prüfung unter jedem Prompt ist der Nachweis, und für keine müssen Sie Code lesen. Wenn eine Prüfung scheitert, geht die Korrektur zurück an das KI-Tool, und die Erkenntnis kommt in eine Regeldatei für Ihr KI-Tool, damit die nächste Sitzung darauf aufbaut. Jeder Prompt bittet das Tool außerdem, Unsicherheiten zu kennzeichnen; ein Assistent, der eine Lücke zugibt, ist nützlicher als einer, der sicher klingt. Führen Sie die Prompts mit Code und erfundenen Datensätzen aus, niemals mit echten Datensätzen oder Passwörtern im Chat.
Ermitteln Sie die vom Tool verwendeten Mitarbeiterfelder und sperren Sie den Rest
Sie können kein Feld sperren, von dem Sie nicht wissen, dass das Tool es enthält. Deshalb ist der erste Prompt eine Bestandsprüfung:
Prüfe Datenbank, Code, Bildschirmansichten und Exporte dieser App. Liste jedes Feld auf, das personenbezogene Daten über einen Mitarbeiter oder Bewerber enthalten könnte: Namen, Mitarbeiter-IDs, SSNs oder nationale Identifikationsnummern, Steuer-IDs, Geburtsdaten, Wohnadressen, Gesundheitsinformationen, Behinderungsstatus, Unterlagen zu Arbeitsplatzanpassungen, Einwanderungs- oder Arbeitserlaubnisdokumente, Gehalt, Bonus, Unternehmensanteile, Leistungsbewertungen und Disziplinarvermerke. Sage mir für jedes Feld, welche Ansicht oder Funktion es verwendet und ob die Hauptaufgabe der App es benötigt. Wenn du das nicht feststellen kannst, kennzeichne es als unsicher, statt zu raten.
Prüfung: Öffnen Sie die Hauptansichten und Exporte des Tools und stellen Sie sicher, dass jedes dort sichtbare Feld mit personenbezogenen Daten auf der Liste steht. Ein sichtbares Feld, das die Liste nicht nennt, bedeutet, dass die Prüfung etwas übersehen hat. Fragen Sie dann erneut.
Der zweite Prompt entfernt, was das Tool nicht braucht. Er setzt auf ein Datenbankkonto (das Konto, mit dem die App mit ihrer Datenbank kommuniziert), dessen Zugriff auf bestimmte Felder beschränkt werden kann.
Ändere diese App so, dass sie nur diese Felder liest: [benötigte Felder auflisten]. Entferne jedes andere Feld mit personenbezogenen Daten aus der Datenkopie der App, dem Code, sämtlichen Ansichten und sämtlichen Exporten. Erstelle anschließend ein separates Datenbankkonto für die App, das nur diese Felder lesen und nur die Daten ändern darf, die das Tool selbst schreibt, etwa Urlaubsanträge. Stelle die App auf dieses Konto um. Berichte Datei für Datei genau, was du geändert hast, und nenne alles, was du nicht umsetzen konntest.
Nur die Ansichten zu ändern reicht nicht aus. Wenn das Datenbankkonto der App die Gehaltsspalte nicht lesen kann, kann auch ein Fehler an anderer Stelle im KI-generierten Code sie nicht anzeigen. Ob die Daten im Ruhezustand verschlüsselt sind, ist eine Frage für die IT. Das hängt von der Server- und Datenträgerkonfiguration ab, die ein codeprüfender Assistent nicht zuverlässig erkennen kann.
Prüfung: Melden Sie sich als gewöhnlicher Nutzer an und öffnen Sie jede Ansicht und jeden Export; keines der entfernten Felder darf erscheinen. Bitten Sie dann die IT-Unterstützung, die den Server verwaltet (oder das KI-Tool mit für Sie sichtbarer Ausgabe), ein entferntes Feld über das Datenbankkonto der App abzufragen. Eine Fehlermeldung wegen fehlender Berechtigung oder eines nicht vorhandenen Feldes bedeutet Erfolg. Ein Verbindungs-, Syntax- oder anderer unzusammenhängender Fehler tut das nicht. Eine leere Spalte oder ein tatsächlicher Wert bedeutet Misserfolg. Bewahren Sie die Bestandsliste auf, denn das Löschwerkzeug verwendet sie.
Geben Sie HR-Administratoren, Führungskräften und Mitarbeitern unterschiedliche Ansichten
Hier gelangen Mitarbeiterdaten an unbefugte Personen innerhalb des Unternehmens: an einen Kollegen, der das Gehalt eines anderen oder eine Notiz zu Arbeitsplatzanpassungen eines Teammitglieds öffnet. Rollenbasierte Zugriffskontrolle behebt das. Der folgende Prompt beschreibt genau, wo die Prüfung stattfinden muss:
Ergänze rollenbasierte Zugriffskontrolle mit drei Rollen, die bei jeder Anfrage auf dem Server geprüft werden, nicht nur durch ausgeblendete Schaltflächen oder Links auf der Seite.
- HR-Administrator: darf alle Mitarbeiterdatensätze lesen und bearbeiten.
- Führungskraft: darf nur die Datensätze ihrer direkt unterstellten Mitarbeiter lesen und sieht niemals Gehalts-, medizinische, Arbeitsplatzanpassungs-, Disziplinar- oder Einwanderungsfelder.
- Mitarbeiter: darf nur den eigenen Datensatz lesen.
Lehne alles andere mit einer Antwort „Zugriff verweigert“ (403) ab. Entnimm die Rolle jedes Nutzers seinem angemeldeten Konto, niemals Angaben, die der Nutzer auf der Seite oder in der Adressleiste eingeben oder ändern kann. Liste jede Stelle auf, an der du eine Prüfung ergänzt hast, und kennzeichne jede Seite oder jeden Export, bei denen du nicht sicher bist, ob sie abgedeckt sind.
Einige Unternehmen lassen Führungskräfte bei Vergütungsprüfungen Gehälter sehen. Wenn Ihr Unternehmen das tut, passen Sie die Zeile für Führungskräfte entsprechend an.
Prüfung: Erstellen Sie eine Testführungskraft und einen Testmitarbeiter. Öffnen Sie als Führungskraft den Datensatz eines direkt unterstellten Mitarbeiters, kopieren Sie die Adresse, ändern Sie die Datensatznummer auf eine Person außerhalb des Teams und laden Sie sie: Sie sollten „Zugriff verweigert“ erhalten. Wiederholen Sie das als Mitarbeiter mit der Datensatznummer eines Kollegen. Bestätigen Sie anschließend, dass die Ansicht der Führungskraft niemals Gehalts-, Arbeitsplatzanpassungs- oder Einwanderungsfelder zeigt.
Entfernen Sie Zugangsdaten aus Code und Chat
Ein Datenbankpasswort oder API-Token für HRIS oder Gehaltsabrechnung (der lange Schlüssel, mit dem sich ein System bei einem anderen anmeldet) kann aus dem heutigen Code entfernt sein und trotzdem in früheren gespeicherten Projektversionen stehen. Deshalb fragt der Prompt auch nach dem Verlauf. Eine Umgebungsvariable löst das Problem im Code. Ihr Wert wird der App beim Start vom Server übergeben, sodass der Code darauf über den Namen verweist, ohne den Wert zu enthalten.
Finde jedes Passwort, jeden API-Schlüssel, jedes Zugriffstoken und jede Datenbankverbindungszeichenfolge in diesem Projekt, auch für unsere HRIS-, Gehaltsabrechnungs- oder E-Mail-Systeme. Ersetze jeden Wert im Code durch eine Umgebungsvariable und gib mir die Liste der Variablennamen. Stelle sicher, dass Dateien mit den tatsächlichen Werten, etwa .env, vom Code-Repository ausgeschlossen sind. Liste anschließend jede Stelle auf, an der ein alter Wert noch im Projektverlauf erscheint, damit ich weiß, welche Zugangsdaten ich ersetzen muss.
Den wichtigsten Schritt kann der Prompt nicht erledigen. Erstellen Sie in der Verwaltungskonsole des HRIS oder der Datenbank neue Zugangsdaten für alle, die jemals in einem Chat oder im Repository standen, und deaktivieren Sie die alten.
Die eigenen Kopien dieser Passwörter gehören in einen Passwortmanager, etwa auf einen selbst gehosteten Vaultwarden-Server (welche Option zu einem Team passt, ist eine eigene Entscheidung). Er speichert Zugangsdaten für Personen und versorgt keine laufende App; diese erhält ihre Werte vom Bereitstellungswerkzeug. Für Geheimnisse, die die laufende App selbst liest, ist HashiCorp Vault die aufwendigere Option, mit zentralen Richtlinien und Rotation für Teams, die das brauchen.
Prüfung: Bitten Sie das KI-Tool, die aktuellen Dateien nach den alten Werten zu durchsuchen, und lesen Sie die angezeigten Suchergebnisse, nicht die Zusammenfassung. In den aktuellen Dateien darf es keine Treffer geben. Treffer im Verlauf sind zu erwarten und müssen nicht entfernt werden; sie bilden die Liste der zu ersetzenden Zugangsdaten. Der Nachweis, dass jeder alte Zugang deaktiviert ist, steht in der HRIS- oder Datenbankverwaltungskonsole: Alle alten Zugangsdaten sind als widerrufen markiert, oder die IT bestätigt, dass das System sie ablehnt.
Prüfen Sie, welche Mitarbeiterdaten das Tool verlassen
Sobald ein Aufruf die Gesprächsnotizen eines Bewerbers an einen externen Dienst gesendet hat, erreicht das Löschen im eigenen Tool nicht die Kopie, die dieser Dienst möglicherweise aufbewahrt. Deshalb besteht die Lösung darin, von Anfang an weniger zu senden.
Prüfe jeden externen Aufruf dieser App: an OpenAI, Anthropic oder jede andere KI-API, an HR-Systeme wie HRIS oder ATS, an Analyse- oder Fehlerverfolgungswerkzeuge und an jeden Webhook. Liste für jeden Aufruf genau auf, welche Mitarbeiter- oder Bewerberfelder in den gesendeten Daten enthalten sind. Kennzeichne jeden Dienst, der empfangene Daten speichern oder protokollieren könnte, und sage mir, welche Aufrufe mit weniger Daten funktionieren könnten. Markiere alles, bei dem du unsicher bist.
Prüfung: Erstellen Sie einen erfundenen Mitarbeiter oder Bewerber mit einem auffälligen erfundenen Namen und verwenden Sie jede Funktion mit externem Aufruf (Interviewzusammenfassung erzeugen, Webhook auslösen, Seite mit Analyseskript öffnen). Öffnen Sie das jeweilige Dashboard des externen Dienstes, etwa des Analysewerkzeugs, der Fehlerverfolgung, das ATS-Protokoll empfangener Webhooks oder das Nutzungsprotokoll des KI-Anbieters, sofern es Anfragen zeigt, und suchen Sie nach diesem Namen. Er darf nur dort erscheinen, wo der Aufruf ihn benötigt. Wenn er andernorts erscheint, geben Sie diesen Aufruf mit weniger Daten zurück an das KI-Tool und wiederholen Sie die Prüfung. Einige Dashboards zeigen nicht, was sie empfangen haben. Für diese und für jeden Dienst, der weiterhin Mitarbeiterdaten erhalten muss, geben Sie die Bedingungen zur Datenaufbewahrung an die Person, die in Ihrem Unternehmen Lieferantenverträge unterzeichnet.
Protokollieren Sie, wer welchen Mitarbeiterdatensatz geöffnet hat
Ein Mitarbeiter fragt, wer im letzten Quartal die Gehaltsübersicht exportiert hat. Ohne Audit-Protokoll (eine laufende Aufzeichnung darüber, wer was mit welchem Datensatz getan hat) kann niemand antworten.
Ergänze ein Audit-Protokoll. Jedes Mal, wenn ein Nutzer einen Mitarbeiterdatensatz ansieht, bearbeitet, exportiert oder löscht, füge eine Zeile mit Nutzer-ID, Mitarbeiterdatensatz-ID, Aktion, geänderten Feldern und Zeitpunkt hinzu. Konfiguriere die Datenbank so, dass das Datenbankkonto der App Zeilen in diesem Protokoll hinzufügen, sie aber weder bearbeiten noch löschen kann. Nur HR-Administratoren dürfen das Protokoll in der App lesen. Sage mir, wie und wo das Bearbeitungs- und Löschverbot durchgesetzt wird.
Die Eigenschaft „nur hinzufügen“ muss durch die Berechtigungen des Datenbankkontos entstehen, nicht durch das Versprechen der App, sich daran zu halten. Das Protokoll ist selbst personenbezogen, weil es zeigt, wer wessen Datensatz angesehen hat. Deshalb lesen es nur HR-Administratoren.
Prüfung: Öffnen Sie als HR-Administrator einen Datensatz, sehen Sie danach ins Protokoll und bestätigen Sie, dass der Eintrag vorhanden ist. Lassen Sie IT oder KI-Tool (mit für Sie sichtbarer Ausgabe) versuchen, eine Protokollzeile über das Datenbankkonto der App zu löschen. Sie sollten die Berechtigungsfehlermeldung selbst sehen.
Bearbeiten Sie Löschanfragen, ohne Aufbewahrungspflichten zu verletzen
Was passiert, wenn ein Mitarbeiter Löschung verlangt und einige seiner Datensätze Gehaltsabrechnungsunterlagen sind, die das Unternehmen aufbewahren muss? Der naheliegende Prompt („lösche sämtliche personenbezogenen Daten dieses Mitarbeiters aus allen Tabellen“) löscht sie trotzdem und verursacht zwei Probleme. Arbeitgeber müssen häufig bestimmte Unterlagen aufbewahren, etwa zu Gehaltsabrechnung, Steuern und Arbeitserlaubnissen. Das Recht auf Löschung nach der DSGVO gilt nicht, soweit die Verarbeitung zur Erfüllung einer rechtlichen Verpflichtung oder für Rechtsansprüche erforderlich ist (Artikel 17(3)(b) und (e)). Außerdem ist eine frei verfügbare Schaltfläche zum Löschen aller Daten gefährlich. Die sicherere Variante trennt „auf Anfrage löschen“ von aufbewahrungspflichtigen Datensätzen, die das Unternehmen unabhängig von der Anfrage behalten muss, und zeigt den Plan, bevor etwas gelöscht wird:
Erstelle ein Werkzeug für Löschanfragen, das nur HR-Administratoren öffnen können. Bei Eingabe einer Mitarbeiter-ID zeigt es zuerst jede Tabelle und jedes Feld mit Daten dieser Person, gruppiert nach den Kategorien der Feldprüfung. Jede Kategorie hat eine Aufbewahrungseinstellung, die ein HR-Administrator festlegt: „auf Anfrage löschen“ oder „behalten: verpflichtende Aufbewahrung“. Nach Bestätigung durch einen HR-Administrator löscht das Tool nur Kategorien mit der Einstellung „auf Anfrage löschen“. Es protokolliert ausschließlich Mitarbeiter-ID, Zeitpunkt, bestätigende Person und gelöschte oder beibehaltene Kategorien, sonst nichts über die Person. Wer kein HR-Administrator ist, erhält „Zugriff verweigert“.
Die Aufbewahrungseinstellungen kommen von Ihrer Compliance-Leitung oder Ihrem DPO, nicht vom KI-Tool oder der besten Vermutung des Erstellers. Weisen Sie darauf hin, dass das Audit-Protokoll die Mitarbeiter-ID nach einer Löschung behält, damit entschieden werden kann, wie lange diese Kennung bestehen bleiben soll. Sicherungskopien und Kopien bei externen Diensten brauchen eigene Aufbewahrungs- oder Löschprozesse.
Prüfung: Erstellen Sie einen Testmitarbeiter mit Datensätzen in zwei Kategorien: eine auf „auf Anfrage löschen“ gesetzt, die andere auf verpflichtende Aufbewahrung. Führen Sie das Tool als HR-Administrator aus und bestätigen Sie, dass nur die erste Kategorie verschwunden ist. Öffnen Sie es danach mit einem Führungskräftekonto und erwarten Sie „Zugriff verweigert“.
Beschäftigungsregeln, die Sie mit Ihrem DPO oder Ihrer Compliance-Leitung klären sollten
Welche Beschäftigungsregeln für ein HR-Tool gelten, hängt von seiner Funktion und den Personen ab, deren Daten es enthält, nicht davon, wie es erstellt wurde. Dies ist eine Liste von Regeln für das Gespräch mit Ihrem DPO oder Ihrer Compliance-Leitung, keine Rechtsberatung. Sie entscheidet nicht, ob eine davon auf Sie zutrifft.
Eine Abwesenheitsverwaltung mit Notizen zu Arbeitsplatzanpassungen für Mitarbeiter in Deutschland und Kalifornien unterliegt anderen Regeln als ein Personalplaner, der nur Stellenbezeichnungen enthält. Die Frage zur EU-KI-Verordnung gehört zur Prüfung von Einstellungsentscheidungen.
| Wenn das Tool… | Zu klärende Vorschrift | Offizielle Quelle |
|---|---|---|
| Automatisierte Bewertungen oder Rangfolgen für Einstellungs- oder Beförderungsentscheidungen über Personen in Colorado verwendet | Colorado SB 26-189 erfasst automatisierte Entscheidungstechnologie für folgenreiche Entscheidungen, einschließlich Beschäftigung, mit Pflichten ab dem 1. Januar 2027 | Colorado SB 26-189 |
| Automatisierte Bewertungen oder Rangfolgen für Einstellungs- oder Beförderungsentscheidungen über Personen in Kalifornien verwendet | Kaliforniens Vorschriften zur automatisierten Entscheidungstechnologie (ADMT) traten am 1. Januar 2026 in Kraft. Unternehmen, die ADMT für wesentliche Entscheidungen verwenden, müssen die ADMT-spezifischen Anforderungen jedoch ab dem 1. Januar 2027 erfüllen | ADMT-Vorschriften der CPPA |
| KI bei Personalgewinnung, Einstellung, Beförderung, Disziplinarmaßnahmen, Kündigung oder anderen Beschäftigungsentscheidungen in Illinois verwendet | Illinois HB 3773 hat den Illinois Human Rights Act ab dem 1. Januar 2026 geändert: Arbeitgeber dürfen KI weder so einsetzen, dass geschützte Gruppen diskriminiert werden, noch Postleitzahlen als Ersatzmerkmal für diese verwenden, und müssen Beschäftigte informieren, wenn sie KI für diese Entscheidungen nutzen | Illinois Public Act 103-0804 |
| Gesundheits-, Behinderungs- oder Arbeitsplatzanpassungsunterlagen von Personen in der EU enthält | DSGVO Artikel 9: Gesundheitsdaten sind eine besondere Kategorie. Ihre Verarbeitung ist verboten, sofern keine Ausnahme gilt, etwa eine zur Erfüllung arbeitsrechtlicher Pflichten erforderliche Verarbeitung (Artikel 9(2)(b)) | DSGVO Artikel 9 |
| Personenbezogene Daten über Mitarbeiter oder Bewerber in der EU enthält | DSGVO Artikel 6: Jede Nutzung benötigt eine Rechtsgrundlage, etwa einen Vertrag oder eine rechtliche Verpflichtung | DSGVO Artikel 6 |
| Daten über Mitarbeiter im Vereinigten Königreich enthält | UK GDPR zusammen mit den ICO-Leitlinien zu Beschäftigungsinformationen | ICO-Leitlinien zu Beschäftigung |
| Daten über Mitarbeiter oder Bewerber in Kalifornien enthält | CCPA/CPRA: Ist die Organisation ein Unternehmen, das der CCPA unterliegt, ist die Ausnahme für Mitarbeiter- und Bewerberdaten am 1. Januar 2023 ausgelaufen. Beschäftigungsbezogene personenbezogene Informationen fallen daher grundsätzlich in den Anwendungsbereich | CCPA-Seite des kalifornischen Justizministeriums |
Der Serverstandort bestimmt, wo die Datensätze physisch liegen; er erfüllt allein keine der obigen Vorschriften. Für Mitarbeiter außerhalb dieser Orte beginnen Sie bei der zuständigen nationalen, bundesstaatlichen oder lokalen Datenschutz- oder Beschäftigungsaufsicht oder bei Ihrer Rechts- oder Compliance-Leitung.
Zugriff endet mit dem Beschäftigungsverhältnis
Wenn das Unternehmenskonto einer ausscheidenden Person am letzten Tag deaktiviert wird, werden E-Mail, Kalender und Dateien in einem Schritt unzugänglich. Das HR-Tool sollte im selben Schritt schließen. Mit vorgeschalteter Unternehmensanmeldung ist das möglich, sofern das Offboarding auch aktive Sitzungen widerruft. Jedes Tool ohne diese Anmeldung erhält einen eigenen Punkt auf der Offboarding-Checkliste, damit jemand das Konto manuell entfernt.
Auch der Ersteller scheidet irgendwann aus. Wenn die Person, die das Tool gebaut hat, das Unternehmen verlässt oder ihre Rolle wechselt, geht die Verantwortung an einen namentlich benannten Nachfolger, der sich als Administrator anmelden kann und weiß, wo der Server steht. Das eigene Administratorkonto des Erstellers wird geschlossen. Ich würde diesen Nachfolger vor dem Produktivstart benennen, denn die Kündigungsfrist ist ein schlechter Zeitpunkt für die Suche.
Prüfen Sie nach einem festen Zeitplan, wer welche Rolle innehat und ob das Tool noch verwendet wird. Muss der Zugriff wachsen, erweitern Sie ihn stufenweise (zuerst HR-Team, dann Führungskräfte, dann alle Mitarbeiter) und wiederholen Sie auf jeder Stufe den Adressleistentest. Wird das Tool nicht mehr verwendet, legen Sie es still: Datenbankkonto und Zugangsdaten deaktivieren, Daten nach den Aufbewahrungseinstellungen des Löschwerkzeugs löschen, das Tool stoppen und aus dem privaten Netzwerk oder Anmeldesystem entfernen.
Der benannte Nachfolger übernimmt einen Server, den jemand einrichten musste, mit Bereitstellungswerkzeug, privatem Netzwerk und für breiteren Zugriff einer Unternehmensanmeldung. Unser Linux-VPS bietet Root-Zugriff. Coolify, Tailscale und Authentik lassen sich jeweils als Ein-Klick-App bereitstellen, sodass die IT-Unterstützung ihre Zeit für die Prüfungen nutzen kann. Zu den Standorten gehören Frankfurt und Amsterdam in der EU, London im Vereinigten Königreich und mehrere US-Städte. Damit steht fest, in welchem Land der Server liegt: eine Information für das Gespräch mit dem DPO, kein Ersatz dafür.
Checkliste für den Produktivstart
Jeder folgende Punkt ist entweder erledigt oder nicht erledigt, bevor Mitarbeiterdatensätze hineinkommen. Diese Liste geben Sie an die Person, die den Server einrichtet.
- Die Frage zu Einstellungsentscheidungen ist beantwortet, und jedes „Ja“ wurde an IT und Rechtsabteilung weitergegeben.
- Das Tool läuft auf einem vom Team kontrollierten Server, nicht auf dem Hosting-Angebot des KI-Tools.
- Es ist nur über das private Netzwerk oder die Unternehmensanmeldung erreichbar.
- Das Datenbankkonto der App liest nur die aufgeführten Felder.
- Testführungskraft und Testmitarbeiter erhalten beim Adressleistentest beide „Zugriff verweigert“.
- Alle Zugangsdaten, die in einem Chat oder im Code standen, wurden ersetzt; die alten wurden widerrufen.
- Die Prüfung ausgehender Daten ist abgeschlossen, und unnötige Felder wurden entfernt.
- Das Audit-Protokoll erfasst Lesezugriffe, und das Konto der App kann es weder bearbeiten noch löschen.
- Aufbewahrungseinstellungen und Beschäftigungsregeln wurden mit DPO oder Compliance-Leitung abgestimmt.
- Eine verantwortliche Person und eine Vertretung sind namentlich benannt.
Häufig gestellte Fragen
Was ist Shadow AI im HR-Bereich?
Shadow AI im HR-Bereich bedeutet, KI-Tools oder damit erstellte Apps ohne Wissen oder Zustimmung der IT auf HR-Daten anzuwenden. Die Sapient Insights 2026 Annual HR Systems Survey ergab laut Cornerstone OnDemand, dass über 80% der HR-Fachkräfte täglich persönliche KI-Tools verwenden, während 3% die in ihre HR-Systeme integrierte KI nutzen.
Darf ich beim Erstellen des Tools echte Mitarbeiterdatensätze verwenden?
Nein. Halten Sie echte Datensätze aus dem Chat heraus, während Sie ein HR-Tool per Vibe Coding erstellen. Sie in einen Chatassistenten einzufügen ist ein eigenes Risiko neben der Bereitstellung der App. Es entsteht im Moment des Einfügens, unabhängig davon, ob das Tool jemals online geht. Entwickeln Sie mit erfundenen Datensätzen, bis das Tool auf einem vom Team kontrollierten Server läuft.
Müssen Mitarbeiter der Nutzung ihrer Daten durch ein HR-Tool zustimmen?
Meist ist Einwilligung die falsche Grundlage. Die Leitlinien zur Einwilligung des EDPB halten es „für problematisch, wenn Arbeitgeber personenbezogene Daten aktueller oder künftiger Mitarbeiter auf Grundlage einer Einwilligung verarbeiten, da diese wahrscheinlich nicht freiwillig erteilt wird“. Welche Rechtsgrundlage nach DSGVO Artikel 6 gilt, ist eine Frage für Ihren DPO.
Erfasst HIPAA die medizinischen Notizen in einem HR-Tool?
In der Regel nicht. HIPAAs Definition geschützter Gesundheitsinformationen schließt Informationen in Beschäftigungsunterlagen einer erfassten Einrichtung aus, wenn diese in ihrer Rolle als Arbeitgeber handelt (45 CFR 160.103). Das bedeutet nicht, dass diese Notizen unreguliert sind. Fragen Sie daher Ihre Compliance-Leitung, welche Vorschriften sie erfassen.
Diskussion
Kommentare
Melden Sie sich an, um mitzudiskutieren.