Ein Angebotsformular, ein Kundenportal, ein Planungstool: Mit KI-Codetools steht es in Tagen statt Monaten. Das ist echter Fortschritt und wir raten niemandem zur Umkehr. Aber wir schauen beruflich unter die Haube solcher Anwendungen und dabei entsteht immer dasselbe Bild. Die Software tut, was die Demo verspricht. Die Probleme stecken in allem, was die Demo nicht zeigt.
Was sind die Risiken von Software, die mit KI gebaut wurde?
Mit KI gebaute Software läuft in der Demo meist tadellos und scheitert an dem, was man nicht sieht: fehlende Eingabevalidierung, APIs, die jedem offenstehen, der die Adresse kennt, personenbezogene Daten, die lecken, DSGVO-Pflichten, die nirgends abgedeckt sind, und Geschäftslogik, die im Browser statt auf dem Server läuft. Forscher der NYU fanden schon 2021, dass rund vierzig Prozent KI-generierten Codes Schwachstellen enthielt. Jede dieser Lücken lässt sich feststellen und schließen, am besten vor dem Go-live.
Jeder baut jetzt selbst und das ist keine schlechte Sache
Die Hürde, Software zu bauen, ist in zwei Jahren eingestürzt. Was früher ein Entwicklungsteam und ein halbes Jahr brauchte, erledigt ein geschickter Mitarbeiter heute in wenigen Wochen. Für ein KMU ist das eine Chance: Sie kennen Ihren Betrieb besser als jeder externe Bauer und können endlich Tools bauen, die exakt zu Ihrem Prozess passen.
Das Problem ist nicht das Bauen. Das Problem ist, dass die Tools auf funktionierenden Code optimieren und nicht auf sicheren Code, und dass dem Bauer meist der Hintergrund fehlt, den Unterschied zu sehen. Die App läuft, alle sind zufrieden und niemand stellt die Frage, die ein Berufsentwickler zuerst stellt: Was passiert, wenn jemand das falsch benutzt?
Die fünf Lücken, die immer wiederkehren
Das sind die fünf Muster, die wir in Reviews selbst gebauter Anwendungen am häufigsten antreffen. Jedes ist in einer Demo unsichtbar und jedes ist nach dem Go-live schmerzhaft.
1. Eingaben werden nicht geprüft
Ein Formular erwartet einen Namen und eine E-Mail-Adresse. Was passiert, wenn jemand ein Stück Code einfügt, eine Datei von 2 Gigabyte oder einen Text mit zehntausend Zeichen? Ohne Eingabevalidierung landet das alles ungefiltert in Ihrer Datenbank oder in den Mails an Ihr Team. Das beginnt mit Müll in Ihren Daten und endet mit einem Angreifer, der über ein Eingabefeld Ihre Datenbank liest.
2. Die API steht jedem offen, der die Adresse kennt
Hinter jeder App sitzt eine Schicht, die Daten holt und schreibt. KI-Tools bauen diese Schicht oft ohne Kontrolle, wer anklopft. Wer die Adresse kennt oder einfach errät, kann dann direkt Bestellungen, Kundendaten oder Preise abfragen, ohne sich je anzumelden. Die Adresse steht zudem lesbar im Code, den jeder Browser erhält.
3. Personenbezogene Daten lecken durch die Seitentür
Fehlermeldungen, die den ganzen Kundendatensatz zeigen, Exportknöpfe ohne Rechteprüfung, Logdateien voller E-Mail-Adressen: Selbst gebaute Apps lecken Daten selten durch die Vordertür und fast immer durch eine vergessene Seitentür. Ein Leck genügt für eine Meldung bei der Datenschutzbehörde und ein unangenehmes Gespräch mit jedem betroffenen Kunden.
4. Die DSGVO ist nirgends abgedeckt
Wer verarbeitet die Daten, wo liegen sie, wie lange werden sie aufbewahrt und auf welcher Grundlage? Ein KI-Tool stellt diese Fragen nicht und der Bauer meist auch nicht. So läuft plötzlich eine App, die Kundendaten an einen amerikanischen Dienst schickt, ohne Auftragsverarbeitungsvertrag, ohne Erwähnung in der Datenschutzerklärung und ohne dass es jemand merkte.
5. Die Geschäftslogik läuft im Browser
Der Klassiker aus Konfiguratoren und Angebotstools: Die Preisberechnung steckt im Code, der an den Besucher geschickt wird. Jeder mit einem Browser kann diesen Code lesen und ändern. Im besten Fall liest ein Wettbewerber Ihre Rabattstruktur ab. Im schlimmsten Fall bestellt jemand zu einem selbst eingetragenen Preis und Sie haben ein juristisches Problem, denn die Bestellung ist bestätigt.
Warum die Demo Ihnen nichts sagt
Eine Demo zeigt den erwarteten Pfad: korrekte Eingaben, ein wohlwollender Nutzer und kein einziger Angreifer. Genau die drei Annahmen, die nach dem Go-live fallen. Echte Nutzer tun Unerwartetes, Bots scannen jede öffentliche URL binnen Tagen und Formulare bekommen binnen einer Woche ihren ersten automatisierten Müll. Die Frage ist nicht, ob etwas schiefgeht, sondern ob es auffällt, wenn es schiefgeht, und das ist bei selbst gebauten Apps selten geregelt: Logging und Alarme fehlen fast immer.
Was Sie heute selbst prüfen können
Vier Prüfungen ohne technischen Hintergrund. Fallen Sie bei einer durch, wissen Sie, dass mehr im Argen liegt.
Erstens: Geben Sie in jedes Feld einmal etwas Falsches ein. Text, wo eine Zahl hingehört, ein leeres Pflichtfeld, ein absurd langer Name. Bekommen Sie saubere Fehlermeldungen oder verhält sich die App seltsam? Zweitens: Öffnen Sie die App im Inkognitofenster und fügen Sie die Adresse einer Seite ein, die hinter dem Login gehört. Sehen Sie trotzdem Daten, steht die Tür offen. Drittens: Fragen Sie, wer die Auftragsverarbeitungsverträge mit jedem externen Dienst hält, den die App nutzt. Schweigen ist eine Antwort. Viertens: Fragen Sie den Bauer, wo die Preisberechnung läuft. Lautet die Antwort "in der App selbst", fragen Sie nach, ob das der Server ist oder der Browser.
Lassen Sie es prüfen, bevor Sie live gehen
Selbst bauen und professionell prüfen schließen einander nicht aus; sie gehören zusammen. Wir führen Software-Audits an genau dieser Art von Anwendungen durch: sechs Prüfdomänen, von Sicherheit und DSGVO bis zu funktionalen Testszenarien und Kontinuität, mit einem Bericht, der pro Befund markiert, was kritisch ist und was warten kann. Ihr Team baut danach einfach weiter, aber mit geschlossenen Lücken.
Selbst gebaut und fast bereit für den Go-live?
Das SEMANU Software-Audit durchleuchtet Ihre Anwendung auf den sechs Domänen aus diesem Artikel und liefert eine Prioritätenliste plus Arbeitssitzung mit Ihrem Team. Fester Ansatz, ab 1.850 Euro.
Häufige Fragen
Ist mit KI gebaute Software unsicher?
Nicht per Definition, aber die Wahrscheinlichkeit von Lücken ist höher. Forscher der NYU fanden schon 2021, dass rund vierzig Prozent KI-generierten Codes Schwachstellen enthielt. Die Tools optimieren auf funktionierenden Code und nicht auf sicheren Code.
Soll ich dann nicht mehr mit KI bauen?
Doch, und für viele interne Tools ist es der schnellste Weg. Der Punkt ist, dass eine App, die Kunden, Geld oder personenbezogene Daten berührt, vor dem Go-live geprüft wird, genau wie man eine selbst renovierte Küche abnehmen lässt, bevor das Gas angeschlossen wird.
Was prüft ein Software-Audit genau?
Sechs Domänen: Sicherheit, personenbezogene Daten und DSGVO, funktionales Verhalten mit Testszenarien, Architektur und Logik, Leistung und mobile Nutzung sowie Kontinuität. Das Ergebnis ist ein Bericht mit dreistufiger Prioritätenliste und einer Arbeitssitzung mit Ihrem Team.
Was kostet ein solches Audit und wie lange dauert es?
Ab 1.850 Euro zuzüglich Mehrwertsteuer, mit rund einer Woche Durchlaufzeit. Für volle Tiefe bitten wir um Lesezugriff auf den Code unter beidseitiger Geheimhaltung; ohne Codezugriff gibt es eine Black-Box-Variante.