Cloud, On-Prem, Edge: Die richtige KI-Infrastruktur für Werkhalle & Büro

Wo soll die KI laufen? Diese Frage ist für Mittelständler entscheidend, aber nicht trivial. Die Möglichkeiten reichen von Cloud-Computing (Rechenleistung aus der Datenwolke), über On-Premises (lokale Server im eigenen Rechenzentrum) bis hin zu Edge-Computing direkt an den Maschinen und Geräten. Jedes Modell hat Vorzüge und Tücken:

• Cloud: praktisch unbegrenzte Skalierung, einfache Dienste, aber Daten verlassen das Unternehmen; es gibt Abhängigkeiten von Anbietern und Latenz durch die Netzverbindung.
• On-Prem: volle Kontrolle über Daten und Systeme, aber eigene Infrastruktur muss gestemmt werden; begrenzte Skalierung, höherer Wartungsaufwand.
• Edge: extrem geringe Latenz, da Verarbeitung am Ort der Entstehung (z. B. in der Werkhalle), weniger Bandbreitenbedarf, oft bessere Datensouveränität; dafür beschränkte Rechenpower pro Gerät und komplexere Verteilung der KI-Modelle.

Gerade der Mittelstand muss abwägen zwischen Datenhoheit und Kosten, zwischen Reaktionsgeschwindigkeit und Flexibilität. In diesem Artikel betrachten wir die Kriterien: Wann eignet sich Cloud-KI (etwa für Büro-Anwendungen oder globale Services)? Wann ist On-Premises im Vorteil (besonders bei sensiblen Daten oder schlechter Internetanbindung)? Und wann führt kein Weg an Edge-KI vorbei (z. B. bei echtzeitkritischen Prozessen in der Produktion)?

Wir greifen aktuelle Entwicklungen wie EuroHPC (europäische KI-Supercomputer) und Nvidias „Sovereign AI“ Cloud auf, um zu zeigen, wohin die Reise geht. Am Ende wissen Sie, wie Sie Ihre KI-Workloads richtig verorten – von der Werkhalle bis zum Büro.

 

Herausforderungen: Latenz, Bandbreite und Datenhoheit

Bevor wir die Optionen im Detail beleuchten, zunächst die wichtigsten Anforderungen, die KI-Infrastrukturen erfüllen müssen:

• Latenz: Viele KI-Anwendungen – besonders in der Produktion – haben Echtzeitanforderungen. Ein Visionsystem an der Fertigungslinie muss in Millisekunden entscheiden, ob ein Werkstück fehlerhaft ist, sonst stoppt die Linie unnötig oder lässt Fehler durch. Cloud-Computing über weite Entfernungen kann hier kritisch sein: Die Datenübertragung ins Rechenzentrum und zurück verursacht Latenz. Edge oder On-Prem können diese Latenz minimieren, weil Rechenleistung nahe am Entstehungsort ist.
• Bandbreite: Ein einzelnes KI-Modell in der Cloud mag performant sein, aber was, wenn Dutzende Maschinen HD-Videostreams simultan zur KI auslagern? Die Netzwerkanbindung (und Kosten) werden massiv belastet. Edge-Computing verarbeitet Daten lokal und sendet nur aggregierte Ergebnisse – das entlastet das Netz. Ein Beispiel: Ein autonomer Roboter in der Lagerhalle erzeugt pro Sekunde zig MB Sensordaten. Würde er alle in die Cloud schicken, wäre das unpraktisch. Stattdessen verarbeitet er vieles intern (Edge) und meldet nur relevante Informationen.
• Datenhoheit & Sicherheit: Gerade im Mittelstand sind Produktionsdaten oder Kundendaten das Kronjuwel. Viele Firmen sind skeptisch, diese komplett in eine Public Cloud zu geben – sei es aus Sorge vor Spionage, Cloud-Ausfällen oder regulatorischen Gründen (DSGVO, Geheimschutz). „Wie steht es um die Datenhoheit, ein extrem wichtiges und oft unterschätztes Thema?“ (KI jetzt!, S. 141) – diese Frage muss bei jeder Cloud-Überlegung gestellt werden. On-Prem und Edge behalten Daten im eigenen Haus, Cloud erfordert Vertrauen in den Anbieter. Allerdings: Cloud-Anbieter investieren stark in Security – kleine Firmen können das Niveau oft nicht selbst erreichen. Hier gilt es abzuwägen zwischen Kontrolle und Kompetenz.
• Skalierung & Flexibilität: KI-Workloads können sehr dynamisch sein. Eine Trainingsphase braucht mal eben 100 GPUs für 2 Tage – das kann die Cloud problemlos zur Verfügung stellen (Pay-per-use). Eine eigene Infrastruktur vorzuhalten, die 95% der Zeit im Leerlauf ist, wäre ineffizient. Für solche volatilen Lasten ist Cloud ideal. Anders bei kontinuierlichen, gleichbleibenden Lasten (eine KI, die 24/7 in gleicher Größe läuft) – hier kann ein eigenes System kostengünstiger sein auf Dauer.
• OT/IT-Konvergenz: In der Werkhalle (Operational Technology, OT) gelten oft andere Anforderungen als im Büro (Information Technology, IT). Produktionsanlagen haben etwa Echtzeit-Betriebssysteme, streng isolierte Netze (zur Sicherheit). KI-Infrastruktur muss hier bridging betreiben, ohne Risiken einzuschleppen. Edge-Geräte können direkt in OT integriert werden, ohne dass die Produktionslinie ans Internet muss. Das minimiert die Angriffsfläche. Wenn KI aber übergreifend lernen soll (z. B. aus Daten mehrerer Werke), braucht man eine Instanz, die Daten zusammenführt – das könnte wiederum Cloud oder zentrales Rechenzentrum übernehmen. Es entsteht also eine verteilte Architektur.

Mit diesen Punkten im Hinterkopf betrachten wir nun die Optionen:

 

Cloud-KI: Skalierung und Services aus der Wolke

Vorteile der Cloud:

• Skalierbarkeit & neueste Technologie: Cloud-Anbieter (AWS, Azure, Google, aber auch europäische wie AWS/Stackit-Kooperationen) bieten Zugriff auf Hochleistungs-GPUs, TPUs, FPGAs – nach Bedarf. Man kann experimentell auch mal einen neuen KI-Service nutzen (etwa einen neuen NLP-Dienst), ohne Hardware kaufen zu müssen. Mit anderen Worten, für allgemeine Anwendungsfälle bietet Cloud eine bequeme, sofort verfügbare Infrastruktur. Gerade im Bürobereich – KI-gestützte SaaS-Lösungen wie Microsofts Copilot (Schreibassistent) – wird Cloud-first der Ansatz sein.
• Kostenmodell & Wartung: Statt hohe Investitionskosten (CAPEX) hat man nutzungsabhängige Kosten (OPEX). Das kann Budgetierung erleichtern. Die Wartung der Hardware übernimmt der Anbieter. Gerade kleine IT-Abteilungen sind entlastet.
• Globale Verfügbarkeit & Integrationen: Wenn ein Unternehmen mehrere Standorte hat, können Cloud-KI-Modelle zentral bereitgestellt werden, ohne dass man an jedem Standort Hardware aufbauen muss. Auch Integration mit anderen Cloud-Datenquellen ist simpel (z. B. KI greift gleich auf Daten im Cloud-Data-Lake zu).
• EuroHPC & europäische Cloud-Initiativen: Die EU investiert via EuroHPC in KI-Supercomputer (sog. AI Factories). Bis 2025 sollen spezielle AI-Supercomputer in Finnland, Deutschland, Italien, Luxemburg und Schweden entstehen[1]. Diese könnten über Cloud-ähnliche Zugänge von europäischen Firmen genutzt werden – ein Weg, auf Hochleistungs-KI zuzugreifen, aber in europäischer Regulierung. Wenn Ihnen Datenresidenz in EU wichtig ist, könnten solche Angebote attraktiv sein.
• Sovereign AI Clouds: Um Bedenken zu adressieren, bieten Hyperscaler auch „Clouds in der Cloud“ an – abgeschottete Bereiche nur für europäische Kunden mit speziellen Key-Management usw. (Beispiel: Azure Digital Sovereign – gemeinsam mit der Deutschen Telekom). Ziel: Vorteile der Cloud, aber Datenzugriff streng kontrolliert.

Nachteile/Bedarfe:

• Latenz & Ausfallsicherheit: Echtzeitkritische Steuerungen sollten nicht von Internet-Verbindung abhängen. Ein Netzwerkausfall, und die KI steht. Produktionsanlagen brauchen >99,99% Verfügbarkeit – das erreichen lokale Systeme eher als eine Cloud, die mal Routing-Probleme haben kann. Viele Unternehmen setzen hier auf Hybrid: kritischer Teil läuft lokal, Cloud nur für übergeordnete Optimierungen.
• Datenvolumen: Wenn täglich Terabytes an Maschinendaten generiert werden, diese alle in Cloud zu pumpen ist teuer (Netzwerkkosten, Cloud-Storage-Kosten) und ineffizient. Hier rechnet sich Edge-Vorverarbeitung.
• Compliance & IP-Schutz: Bestimmte Daten dürfen schlicht nicht raus. Bei KI fällt dies z.B. auf, wenn es um vertrauliche Muster oder personenbezogene Inhalte geht. Ein Beispiel: Ein KI-Modell, das anhand von Produktionsdaten geheime Fertigungsparameter lernt – würde man dieses Modell in eine US-Cloud stellen, besteht (in der Theorie) ein Risiko, dass US-Behörden Zugriff fordern könnten (Cloud Act). Daher zögern viele, ihre Kern-IP in Cloud-Modellen zu halten.
• Lock-in & Kostensteigerung: Anfangs günstig, kann Cloud teuer werden, sobald man massiv skaliert. Es gilt, das Preismodell im Blick zu behalten. Manche Unternehmen berichten, dass KI-Workloads überraschend hohe Cloud-Rechnungen erzeugen. Strategisch überlegt man dann, Teile on-prem zu verlagern.

Fazit zur Cloud: Für Büro-Anwendungen (z. B. Dokumentenanalyse, generative KI für Marketingtexte) ist Cloud oft die erste Wahl – geringe Latenz-Anforderungen und keine besonderen Datenschutzprobleme, dafür sofort nutzbare KI-APIs. Im Industrie-Kontext hingegen ist Cloud ergänzend sinnvoll: Sammeln & Analysieren globaler Daten (z. B. zur KI-Modellentwicklung oder zentralen Überwachung), aber operative KI-Entscheidungen in Echtzeit eher nicht. Dort kommen On-Prem oder Edge ins Spiel.

 

On-Premises KI: Kontrolle im eigenen Rechenzentrum

Wann On-Prem? Wenn Datenhoheit und Integration ins Firmennetz oberste Priorität haben. Etliche Mittelständler haben bereits kleine Rechenzentren vor Ort für ERP, Datenbanken etc. Diese können um KI-Hardware (GPUs) erweitert werden. Vorteile:

• Daten bleiben intern: Alles passiert hinter der Firewall. „Wir behalten die Kontrolle“ lautet das Gefühl – wichtig bei sensiblen Daten (etwa in der Medizin, wo Krankenhäuser oft aus Datenschutzgründen lokale KI-Lösungen bevorzugen).
• Geringere Latenz zur OT: Das Unternehmens-LAN ist meist schneller und stabiler als die Internetleitung. Modelle im eigenen Rechenzentrum können Maschinen in der Fertigung mit <10 ms Latenz ansprechen (sofern Netz gut). Es ist zwar nicht so schnell wie Edge (wo es quasi 0 ms gibt, weil direkt am Gerät), aber besser als Cloud (vielleicht 30–100 ms plus unvorhersehbare Schwankungen).
• Customization & Flexibilität: Sie können jede gewünschte Software aufsetzen, sind nicht auf Cloud-API-Formate beschränkt. Es ist Ihr System – auch etwaige Offline-Fähigkeit (wenn Internet weg, läuft KI trotzdem).
• Regulatorik einfacher: Manche Industrien haben Anforderungen, wo Cloud-Lösungen zertifizieren zu lassen kompliziert wäre. In-house kann man das System genau an die Normen anpassen.

Herausforderungen On-Prem:

• Fachpersonal & Kosten: Der Betrieb von KI-Hardware erfordert Know-how (Thermomanagement, Updates, Sicherheit). KI-Server (mit GPUs) sind auch in Anschaffung teuer. Das rechnet sich nur, wenn die Auslastung stimmt. „Diese Entscheidung [Cloud, on prem oder on device] sollte in jedem Fall vor dem Start der tatsächlichen Entwicklung getroffen werden.“ (KI jetzt!, S. 99) – also früh überlegen, ob man Ressourcen aufbauen will.
• Skalierungsgrenzen: Angenommen, Ihr KI-Einsatz wächst rasant – On-Prem-Cluster müssten erweitert werden, Lieferzeiten, Kapital etc. In der Cloud wäre Zukauf trivial. Ein hybrides Konzept kann helfen: Basislast on-prem, Spitzenlast in die Cloud auslagern (Cloud-Bursting).
• Upgrades & Innovationsdruck: KI-Entwicklung geht schnell. Neue GPUs, neue Frameworks – man muss am Ball bleiben, um effizient zu bleiben. Cloud nimmt einem das ab (die updaten von selbst).

Beispiel: Ein mittelständischer Automobilzulieferer entscheidet sich, KI für die Bildprüfung on-prem im firmeneigenen Rechenzentrum zu hosten. Die Kamera-Streams aus der Produktion werden über das lokale Netzwerk an die KI-Server geschickt, die Ergebnisse fließen zurück in die Produktions-IT. Die KI-Auswertung passiert in <5 ms – Latenz kein Problem. Alle Daten bleiben inhouse, was den Kunden (Autohersteller) beruhigt, der strenge NDA vorgibt. Das KI-Team hat die volle Kontrolle, kann bei Bedarf Modelle anpassen, ohne Cloud-Deployment-Prozesse. Allerdings: Nach 2 Jahren will man eine neue Deep-Learning-Methode probieren, die erfordert mehr GPUs – Nachinvestition nötig. Hier muss man dann entscheiden, ob man lieber temporär Cloud nutzt, oder investiert.

 

Edge Computing: KI direkt an der Quelle

Edge-KI bedeutet, die KI-Modelle laufen auf oder nahe der Geräte, die die Daten liefern – z. B. auf einem Industrie-PC an einer Maschine, in einer Kamera selbst (Smart Camera) oder auf einem IoT-Device. Vorteile:

• Minimalste Latenz: Da die Verarbeitung lokal erfolgt, sind Reaktionszeiten im Bereich Mikro- bis Millisekunden möglich. Für Anwendungsfälle wie Robotersteuerung, autonome Fahrzeuge im Werksgelände oder hochfrequente Messdatenauswertung (z. B. Schwingungsanalyse für predictive Maintenance in Echtzeit) ist Edge unschlagbar.
• Entkopplung vom Netzwerk: Die KI-Funktion läuft weiter, auch wenn das Netzwerk oder Internet ausfällt. Wichtig für Produktionssicherheit.
• Datenmengenreduktion an der Quelle: Nur anormale oder zusammengefasste Informationen werden ans zentrale System geschickt. Beispielsweise erkennt eine Edge-KI-Kamera den Defekt und sendet nur „Defekt Alarm“ und ein kleines Bild, statt ständig Videostream.
• Privatsphäre: Im Büro-Kontext kann Edge ebenfalls helfen: Etwa ein Edge-Gerät im Konferenzraum transkribiert gesprochenes Wort zu Text für ein Meeting-Protokoll – ganz ohne dass Audio jemals die Firma verlässt. Ein Edge-Sicherheitskamera-System könnte Gesichter intern erkennen, ohne Videofeed nach außen zu geben.

Herausforderungen Edge:

• Rechenleistung begrenzt: Edge-Geräte sind aus Kostengründen und Formfaktor meist schwächer als Rechenzentrums-Hardware. Es braucht optimierte, kompakte Modelle (Stichwort Small Models wieder relevant!). Fortschritte gibt es jedoch – Nvidia z. B. bietet Jetson-Module mit GPU für Edge, es gibt Neuromorphic Chips, FPGAs etc. Aber oft muss man Genauigkeit vs. Geschwindigkeit abwägen.
• Wartung & Update-Management: 50 Edge-KI-Module verteilt in Maschinen – wie hält man die alle up-to-date, wer überwacht deren Zustand? Das erfordert gute Management-Tools (Edge-Orchestrierung). Ohne Cloud-Anbindung fehlt evtl. zentrales Monitoring, also muss man das implementieren (z. B. via IoT-Plattform, die Telemetrie sammelt).
• Physische Sicherheit: Edge-Geräte sind vor Ort – potenziell manipulierbar (jemand könnte an einem Gerät Ports ausnutzen). Hier gilt es, Zero-Trust-Prinzipien auch an der Edge umzusetzen (Härtung der Geräte, physischer Schutz).
• Kosten bei großer Verteilung: Viele kleine Rechner können in Summe teuer sein und mehr Wartungsaufwand erzeugen als ein zentrales System. Es ist eine betriebswirtschaftliche Abwägung, wie viel Intelligenz pro Gerät wirklich nötig ist.

Beispiel: Ein Landwirtschaftsmaschinen-Hersteller stattet seine Traktoren mit KI aus, die Unkraut auf dem Feld in Echtzeit erkennt und gezielt Spritzmittel dosiert. Hier ist Edge gesetzt, weil das Fahrzeug im Feld nicht ständig Internet hat und die Entscheidung in Millisekunden pro Pflanze fällt. Jeder Traktor hat ein Edge-Modul mit einem Computer-Vision-Modell. Die Trainingsdaten und Updates kommen abends, wenn der Traktor im Hof im WLAN ist, vom zentralen Server (oder Cloud). Hier sieht man: Ein Hybridansatz. Edge übernimmt die Laufzeitentscheidung, zentral (On-Prem oder Cloud) werden Modelle trainiert, evaluiert und verteilt.

 

Entscheidungsfindung: Welche KI läuft wo?

Es empfiehlt sich, pro Use-Case zu entscheiden, welche Infrastruktur passt. Oft kommt eine hybrider Architektur heraus, in der verschiedene Ebenen kooperieren:

• Edge für die Echtzeitentscheidung,
• On-Prem für lokale Aggregation und kurzfristige Speicherung,
• Cloud für globale Auswertung oder rechenintensives Training.

In „KI jetzt!“ heißt es treffend: „Im Wesentlichen gibt es drei Möglichkeiten: 1. Cloud, 2. lokale Rechenzentren (on prem), 3. im Gerät der Datenentstehung (on edge device). Jede dieser drei Arten ist eine Wissenschaft für sich.“ (KI jetzt!, S. 100). Das unterstreicht: Man kann nicht pauschal sagen, Cloud ist immer besser als On-Prem oder umgekehrt – man muss die Besonderheiten meistern.

Stellen Sie sich daher folgende Fragen:

• Wie kritisch ist Latenz? Wenn >50 ms Reaktionszeit okay sind, kann Cloud gehen. Wenn <5 ms nötig, Edge oder On-Prem.
• Wie groß/flüchtig ist der Rechenbedarf? Hoher, aber konstanter Bedarf → On-Prem investieren. Spitzenbelastungen oder sehr variabler Bedarf → Cloud erwägen (flexibel hoch/runter).
• Wo fallen die Daten an und dürfen sie raus? Daten an sehr vielen Orten → Edge näher dran. Sehr sensible Daten → lieber On-Prem/Edge, damit sie im Haus bleiben. Weniger heikel → Cloud möglich.
• Haben wir Infrastruktur/Personal? Gute IT und eigenes Rechenzentrum vorhanden → On-Prem-Ausbau realistisch. Kein IT-Team → Cloud auslagern (aber hier ggf. externe Dienstleister für Beratung).
• Kosten/Nutzen-Analyse: Cloud hat Opportunitätskosten (mögliches Pay-per-use) vs. On-Prem Fixkosten. Oft kann ein Mix Kosten optimieren: Basis-Workloads on-prem, Ausreißer in Cloud. Oder Edge-Hardware vs. Datentarif-Kosten bei Cloud-Anbindung – manchmal ist Edge billiger, weil es Mobilfunk-Daten spart.

Auch regulatorische Trends spielen rein: Der EU AI Act wird bestimmte KI (Hochrisiko) Auflagen machen, z. B. Logging aller Entscheidungen, menschliche Override etc. Das kann je nach Architektur leichter oder schwerer umzusetzen sein. In der Cloud bekommen Sie solche Funktionen vielleicht als Service, on-prem müssen Sie es selbst lösen.

Das Ziel muss sein: KI dort betreiben, wo sie am effizientesten und sichersten ihre Aufgabe erfüllt. Das kann durchaus bedeuten: Das eine KI-Modell läuft auf der Maschine, das andere in der Cloud.

 

Fazit: Die richtige Mischung macht’s

Für Werkhallen (OT) wird häufig ein Edge-zentriertes Vorgehen sinnvoll sein, flankiert von einem On-Premises Knoten oder einer souveränen Cloud für übergeordnete Analysen. Für Büro und Verwaltungs-KI dürfte oft Cloud-first passen, außer besonderen Datenschutzfällen, wo On-Prem-Infrastruktur gefragt bleibt (man denke an eine Bank, die Kundendaten per KI auswertet – hier ist On-Prem oder Private Cloud oft gesetzt).

Nicht zuletzt spielen Unternehmensphilosophie und Partner eine Rolle: Manche Mittelständler fühlen sich bei einem bewährten deutschen IT-Dienstleister mit eigener Cloud aufgehoben (Stichwort GAIA-X Initiative), andere nutzen unbekümmert die US-Clouds. Technologisch aber gilt:

„Diese Entscheidung nimmt euch niemand ab“ (KI jetzt!, S. 99) – man muss sie bewusst treffen. Und „Jede der drei Optionen ist eine Wissenschaft für sich“ (KI jetzt!, S. 100) – das heißt, Know-how aufbauen egal wofür man sich entscheidet. Ein schlechtes Edge-Setup kann genauso problematisch sein wie eine schlecht gemanagte Cloud-Lösung.

Der Vorteil im Mittelstand ist die Agilität: Man kann pilotieren. Warum nicht einen KI-Anwendungsfall einmal in der Cloud, einmal on-prem parallel testen und vergleichen (auch im Hinblick auf Performance und Kosten)? Aus solchen Experimenten lernt man enorm. Zum Beispiel stellte ein Unternehmen fest, dass ihre Bildverarbeitung in der Cloud zwar gut lief, aber Netzwerkausfälle Probleme machten – ergo entschieden sie, dafür eine Edge-Lösung einzuführen.

Am Ende ist die Wahl der KI-Infrastruktur kein Entweder-Oder, sondern ein Sowohl-als-auch in Balance. Wichtig ist, dass Sie Ihre Anforderungen genau kennen und die Entscheidung regelmäßig überprüfen. Dann können Sie die optimale KI-Umgebung schaffen – maßgeschneidert für Werkhalle und Büro.

 

Mehr praxisnahe Tipps zur Implementierung von KI im Unternehmen – von Infrastruktur bis Kulturwandel – finden Sie im Buch „KI jetzt!“ von Kai Gondlach und Mark Brinkmann. Dort beleuchten die Autoren detailliert, wie Sie KI-Projekte erfolgreich aufsetzen und worauf es bei Technik- und Standortentscheidungen ankommt. Sichern Sie sich Ihr Exemplar im zukunft.shop oder und gestalten Sie die KI-Zukunft Ihres Unternehmens auf dem für Sie richtigen Fundament: zukunft.shop/products/buch-ki-jetzt-2024/

Sie möchten mehr über diese Themen erfahren? Buchen Sie eine Keynote mit Kai Gondlach zu den gesellschaftlichen, wirtschaftlichen und politischen Auswirkungen von Künstlicher Intelligenz: kaigondlach.de/vortraege/

Sie möchten die nächsten Schritte für Ihr Unternehmen konkret umsetzen? Dann buchen Sie ein Beratungsgespräch zu unseren PROFORE-Leistungen: profore-zukunft.de/kontakt/

 

 

[1] https://www.eurohpc-ju.europa.eu/selection-first-seven-ai-factories-drive-europes-leadership-ai-2024-12-10_en