Cloud- und Bedrohungsbericht:
KI-Apps im Unternehmen

Ausgangspunkt für das Risiko von GenAI-Apps sind die Anwendungen selbst. In der Praxis sind Anwendungskontrollen auch der Ausgangspunkt für die Kontrolle dieses Risikos, die normalerweise als Zulassungs- oder Sperrlisten innerhalb einer Inline-SWG oder eines Proxys implementiert werden.

Die meisten Organisationen haben die Verwendung von GenAI-Apps zum Schutz ihrer Daten eingeschränkt. 77 % der Organisationen blockieren seit Juni 2024 mindestens eine GenAI-App. Dies ist ein Anstieg von 45 % gegenüber 53 % im Juni 2023.

Dieser Trend deutet auf eine gute Reife und Akzeptanz grundlegender Kontrollen rund um die Nutzung von GenAI-Anwendungen hin. Die Kontrolle darüber, welche Apps in einer Organisation verwendet werden, ist ein notwendiger Ausgangspunkt zur Risikominderung. Um wirksam zu sein, sind jedoch detailliertere Kontrollen erforderlich. Der konkrete Verwendungszweck einer Anwendung bestimmt oft, ob die Aktivität erlaubt sein sollte oder nicht. Beispielsweise sollte eine allgemeine Suche in ChatGPT erlaubt sein, die Übermittlung von Quellcode jedoch nicht.

Bei genauerer Betrachtung der blockierten Anwendungen ist auch die durchschnittliche Anzahl der für alle Benutzer in einer Organisation blockierten Anwendungen gestiegen, von 0,6 Apps im Juni 2023 auf über 2,6 Apps im Juni 2024. Dass es im Vergleich zu den Hunderten von GenAI-Apps auf dem Markt so wenige unternehmensweite Verbote für GenAI-Apps gibt, deutet auf die Beliebtheit anderer, differenzierterer Kontrollmechanismen hin, auf die wir später in diesem Bericht noch genauer eingehen werden.

Die am häufigsten blockierten genAI-Anwendungen unterliegen in gewissem Maße einer gewissen Popularität, es werden jedoch auch viele weniger beliebte Apps am häufigsten blockiert. Von den Organisationen, die genAI-Apps blockieren, blockieren 28 % Beautifal.ai (was es zur am häufigsten blockierten genAI-App macht) und 19 % blockieren Perplexity AI, die zehnthäufigste blockierte App. Sperren können oft eine vorübergehende Maßnahme sein, während neue Apps bewertet werden, um festzustellen, ob sie legitimen Geschäftszwecken dienen und für bestimmte Anwendungsfälle sicher sind.

Welche Anwendungen konkret blockiert werden, hängt von den Unternehmensrichtlinien ab. Wenn die Prozentsätze jedoch hoch genug sind, wie in der obigen Top-10-Liste, lohnt es sich für alle Unternehmen zu prüfen, ob die spezifischen Anwendungen in ihrer eigenen Umgebung verwendet werden und ob Kontrollen rund um die Anwendungskategorie angepasst werden müssen. Die folgende Tabelle zeigt, dass die am häufigsten blockierten Apps eine Vielzahl unterschiedlicher Anwendungsfälle im GenAI-Bereich abdecken.

Am häufigsten blockierte GenAI-App-Kategorien

Wenn Organisationen über Listen zulässiger Anwendungen hinausgehen, neigen sie dazu, feinere Kontrollen hinsichtlich der Verwendung der zulässigen Anwendungen einzuführen. Es überrascht nicht, dass DLP-Kontrollen als GenAI-Datenrisikokontrolle immer beliebter werden. Die Popularität der Verhinderung von Datenverlust hat von 24 % im Juni 2023 auf über 42 % der Organisationen zugenommen, die DLP verwenden, um die Arten von Daten zu kontrollieren, die an genAI-Apps gesendet werden, im Juni 2024. Dies entspricht einem Wachstum von über 75 % im Vergleich zum Vorjahr.

Die Zunahme der DLP-Kontrollen spiegelt ein Verständnis in allen Organisationen darüber wider, wie sich das Datenrisiko angesichts des größeren Trends zur zunehmenden Nutzung von GenAI-Apps wirksam mindern lässt. Im Rahmen von DLP-Richtlinien versuchen Organisationen, bestimmte Datenflüsse zu kontrollieren, insbesondere um GenAI-Eingabeaufforderungen mit sensiblen oder vertraulichen Informationen zu blockieren. In Organisationen mit Datenschutzrichtlinien ist der Quellcode für fast die Hälfte (46 %) aller DLP-Verstöße verantwortlich, 35 % entfallen auf regulierte Daten aufgrund von Branchenvorschriften oder Compliance-Anforderungen und 15 % auf geistiges Eigentum. Regulierte Daten waren schon vor der Einführung der neuen KI ein Bereich mit den häufigsten Verstößen. Die manuelle Schulung der Benutzer im Hinblick auf die unzulässige Weitergabe regulierter Daten verschärft die Herausforderungen noch.

Das Posten vertraulicher Daten in GenAI-Apps spiegelt nicht nur die aktuellen Prioritäten in Organisationen wider, sondern zeigt auch den Nutzen verschiedener GenAI-Apps. Beispielsweise könnte die Popularität von GitHub Copilot in Verbindung mit dem Marktanteil von Microsoft als Softwareentwicklungsplattform dazu führen, dass genAI künftig stärker zur Codegenerierung eingesetzt wird.

Während offensichtlich bösartige Anwendungen oder Aktivitäten durch Blockierungs- und Warnkontrollen gut geschützt sind, handelt es sich beim Datenrisiko häufig eher um eine Grauzone. Coaching-Kontrollen können eine äußerst effektive Methode sein, um mit Grauzonen umzugehen, insbesondere in frühen, sich schnell verändernden Technologiezyklen wie GenAI. Darüber hinaus können Unternehmen Coaching nutzen, um Sicherheitskontrollen zu informieren und zu verfeinern, ohne die Produktivität durch Fehlalarme und langsame Genehmigungsprozesse zu beeinträchtigen.

Coaching-Steuerelemente zeigen dem Benutzer während der Interaktion mit genAI-Apps einen Warndialog an, sodass er seine Aktionen abbrechen oder fortsetzen kann. Es funktioniert wie die in Browsern integrierten Funktionen zum sicheren Surfen. Die Vorteile liegen darin, dass es dem Benutzer ein benutzerfreundlicheres Erlebnis bietet, seine Arbeit nicht blockiert, sondern ihn informiert und ihm ermöglicht, sein Verhalten zu verbessern.

Von den Organisationen mit Richtlinien zur Kontrolle der Nutzung von GenAI-Anwendungen nutzten im Juni 2024 31 % Coaching-Dialoge, verglichen mit 20 % der Organisationen im Juni 2023. Dies entspricht einer Steigerung der Nutzung um über 50 %.

Dies steht im Einklang mit der zunehmenden Kompetenz von Organisationen bei der Anwendung ähnlicher Coaching-Kontrollen aus anderen Sicherheitsbereichen auf neuere Bereiche wie das GenAI-App-Risiko. Während das Wachstum abgeflacht ist, sind Coaching-Kontrollen im Vergleich zu völligen Blockaden und Warnungen auf DLP- oder Anwendungsbasis relativ neu. Wir erwarten, dass die Akzeptanz weiter zunimmt, da immer mehr Unternehmen verstehen, wie sie die mit Daten verbundenen Grauzonenrisiken durch Coaching bewältigen können.

Wenn wir die tatsächliche Benutzerreaktion auf die aufgetretenen Coaching-Dialogwarnungen aufschlüsseln, erkennen wir ein Maß für die Wirksamkeit. Bei allen Benutzern, die Coaching-Dialogwarnungen für genAI-Apps erhielten, entschieden sich 57 % der Benutzer, die ausgeführte Aktion abzubrechen. Dies reduzierte das Risiko, da die Benutzer das Senden vertraulicher Daten in Eingabeaufforderungen von genAI-Apps vermieden oder die Verwendung unbekannter oder neuer genAI-Apps vermieden. 57 % sind hoch genug, um die These zu untermauern, dass Coaching eine wirksame Maßnahme zur Ergänzung expliziter Anwendungssperren und DLP-Richtlinien sein kann. Darüber hinaus ermöglicht Coaching auch Feedback. Bei der Entscheidung, fortzufahren, legen die meisten Organisationen Richtlinien fest, die von den Benutzern verlangen, ihre Aktionen während der Coaching-Interaktion zu begründen.

Dies bedeutet nicht, dass die Entscheidungen der Benutzer die Grundlage für die Sicherheitsrichtlinie bilden sollten. Es deutet vielmehr darauf hin, dass bei Organisationen, die Coaching einsetzen, etwa die Hälfte der nicht gänzlich blockierten Nutzung der genAI-App durch Entscheidungen der Benutzer weiter reduziert werden könnte. Ebenso wichtig ist, dass Benutzerentscheidungen als Reaktion auf Coaching-Dialogfelder in die Überprüfung und Anpassung der Sicherheitsrichtlinien einfließen können und sollten. Obwohl Benutzerentscheidungen fehlerhaft und riskant sein können, bilden die beiden Kategorisierungen die Grundlage für eine weitere Überprüfung. Anwendungen, bei denen sich ein Benutzer aufgrund eines Coaching-Dialogs entschieden hat, sie nicht zu verwenden, sollten auf eine vollständige Sperrliste analysiert werden. Anwendungen, die ein Benutzer zu verwenden beschlossen hat, sollten überprüft werden, um sie in eine Liste zulässiger Unternehmensstandards aufzunehmen oder sie möglicherweise zu blockieren, wenn es eine bessere oder akzeptablere App gibt. Die Reaktionen der Benutzer auf die Coaching-Eingabeaufforderungen könnten auch dazu verwendet werden, differenziertere Richtlinien (wie etwa DLP-Richtlinien) zu verfeinern, damit sie gezielter angewendet werden können.

Wir sehen erste Anzeichen einer erweiterten Erkennung verdächtigen Benutzerverhaltens im Hinblick auf Datenbewegungen, die von Verhaltenserkennungs-Engines erkannt wurden. Verdächtige Datenbewegungen umfassen häufig mehrere Indikatoren für verdächtiges oder unerwartetes Verhalten eines Benutzers im Hinblick auf den normalen Aktivitäts-Basiswert des Benutzers oder der Organisation. Zu den Indikatoren können anomale Download- oder Upload-Aktivitäten, neue oder verdächtige Datenquellen oder -ziele wie neue GenAI-Apps sowie anderes verdächtiges Verhalten wie die Verwendung einer unerwarteten oder verschleierten IP-Adresse oder eines Benutzeragenten gehören.

Ein Beispiel für eine erkannte erweiterte Verhaltenswarnung bei verdächtiger Datenbewegung ist die Bewegung von Daten aus einer von der Organisation verwalteten Anwendung und das Hochladen in eine nicht genehmigte, persönliche genAI-App.

Ähnlich wie beim Coaching kann die Liste der in diesen Warnungen angezeigten Apps auch verwendet werden, um Kontrollbemühungen bei der Nutzung von genAI-Anwendungen zu priorisieren. Beispielsweise kann sich die Funktionalität zweier häufig genutzter Apps überschneiden. Schon allein deshalb sollten Maßnahmen zur Reduzierung der App-Anzahl Vorrang erhalten.

Der Einsatz von verhaltensbasierten Warnungen zeigt, dass sich Organisationen frühzeitig mit der Erkennung von Bedrohungen befassen und diese frühzeitig in Angriff nehmen. Zu diesen Bedrohungen zählen traditionell kompromittierte Anmeldeinformationen, Insider-Bedrohungen, Lateral Movement und Datenexfiltrationsaktivitäten durch böswillige Akteure.

Bei genauerer Betrachtung der Bewegungen sensibler Daten stellen wir fest, dass die Top-Anwendungen, aus denen die sensiblen Daten stammen, die Popularität von Cloud-Apps von Unternehmen widerspiegeln, wobei OneDrive (34 %) und Google Drive (29 %) an der Spitze stehen, gefolgt von SharePoint (21 %), Outlook (8 %) und Gmail (6 %).

Bei den Top-3-Apps handelt es sich allesamt um Cloud-Speicher- und Collaboration-Apps, und sie waren in 84 % der Fälle die Quelle der vertraulichen Daten, während die wichtigsten E-Mail-Cloud-Apps in 14 % der Fälle die Quelle waren. Wenn die Sicherheitsteams wissen, welche spezifischen Anwendungen häufiger an der Übertragung vertraulicher Daten beteiligt sind, können sie die Kontrollen entsprechend anpassen, zum Beispiel durch die Platzierung zusätzlicher DLP-Kontrollen bei File-Sharing-Anwendungen. Unternehmen sollten der Bewertung von Sicherheitsrisiken und der Implementierung von Kontrollen im Zusammenhang mit der Datenbewegung zwischen Apps Priorität einräumen, insbesondere bei der Bewegung von verwalteten Apps zu nicht verwalteten genAI-Apps, da diese immer häufiger vorkommt und potenziell große Auswirkungen auf den Datenverlust haben kann.