Auf Augenhöhe: Frei verfügbare LLMs erreichen nahezu Frontier-Niveau

Frei verfügbare Sprachmodelle entwickeln sich rasant und erreichen bei bestimmten Aufgaben bereits die Leistungsfähigkeit kommerzieller Frontier-Modelle.

Viele alltägliche Aufgaben in Unternehmen lassen sich damit schon heute in hoher Qualität und vollständig lokal bearbeiten. Das eröffnet neue Möglichkeiten für die digitale Souveränität und reduziert die Abhängigkeit von grossen Cloud-Anbietern. Das Einzige was benötigt wird, ist entsprechende Hardware. Um die Modelle komfortabel und reaktionsschnell laufen zu lassen, braucht es moderne Apple Computer oder gute Grafikkarten. Dass die Hardware aktuell nicht günstiger wird, ist eine Herausforderung. Aber man kann alles, was Nino Ricchizzi gezeigt hat, auf einem aktuellen MacBook genau so nachbauen (also ~ 2300 CHF).

Nino zeigte anhand eines selbst aufgebauten Systems mit OpenClaw und lokal betriebenen KI-Modellen, was aktuell mit frei verfügbaren LLMs möglich ist: Mehrere spezialisierte KI-Agenten arbeiten dabei koordiniert zusammen, um Aufgaben im Bereich Pentesting weitgehend autonom zu bearbeiten. Auch die parallele Ausführung mehrerer Agenten wurde demonstriert, um komplexe Aufgaben effizienter zu lösen. Eine eindrückliche Demonstration des Potenzials lokaler KI-Systeme.