Die Preise für aufwendigere KI-Dienste könnten in den kommenden Jahren massiv in die Höhe schnellen. Zwar sinken die Kosten für einzelne Tokens und Basismodelle aktuell, jedoch steigt gleichzeitig die Komplexität der Anwendungen. Insbesondere agentische Systeme benötigen deutlich mehr Rechenleistung als einfache Chatbots. Gartner spricht in diesem Zusammenhang vom «Inference Paradox»: Effizientere Modelle senken zwar die Kosten pro Verarbeitungseinheit, ermöglichen aber zugleich immer leistungsfähigere und komplexere Anwendungen. Dadurch wachsen die gesamten Inferenzkosten schneller, als die Preise einzelner Tokens zurückgehen.
Ein einfacher Chatbot müsse eine Anfrage lediglich interpretieren und eine passende Antwort erzeugen, erläutert Gartner-Analyst Will Sommer. Ein KI-Agent mus hingegen über mehrere Schritte hinweg planen, Entscheidungen treffen, Ergebnisse überprüfen und sein Vorgehen laufend anpassen. Die Weiterleitung einer Aufgabe an ein agentisches Reasoning-Modell erhöht deshalb die Inferenzkosten gegenüber einer einfachen Chatbot-Interaktion um mindestens den Faktor fünf. Und bei komplexeren Aufgaben kann der Unterschied noch deutlich grösser ausfallen.
Für Anbieter bedeutet das laut
Gartner, dass sie ihre KI-Infrastruktur gezielt optimieren müssen. Dazu gehören der Einsatz verschiedener Modelle je nach Aufgabe sowie intelligentes Routing und eine abgestufte Nutzung unterschiedlich leistungsfähiger Systeme. Wer dagegen standardmässig auf besonders leistungsfähige autonome Modelle setzt, muss mit erheblich höheren und schwer kontrollierbaren Kosten rechnen.
(sta)
