Der Webbrowser Brave integriert jetzt RTX-beschleunigte KI und ermöglicht Nutzern den Zugriff auf KI-Tools über Leo AI. Jene kann sowohl in der Cloud als auch lokal auf dem PC über Ollama ausgeführt werden. Besonders interessant ist laut Nvidia die lokale Ausführung, denn hier kommen RTX-Grafikkarten mit ihren Tensor-Cores zum Einsatz. In Kombination mit der lokalen LLM-Unterstützung von Ollama verspricht das zumindest beeindruckende Ergebnisse.
Man arbeite kontinuierlich an der Optimierung von Tools wie Ollama für die eigene Hardware. Ziel ist es, die Reaktionszeiten der KI auf RTX-Grafikkarten zu verbessern. Aktuell sind Geschwindigkeiten von bis zu 149 Token pro Sekunde möglich, was ungefähr 110 Wörtern pro Sekunde entspricht. Llama.cpp, eine Open-Source-Bibliothek und Framework, spielt dabei eine wichtige Rolle. Durch CUDA, Nvidias Software-Programmierschnittstelle, nutzt Llama.cpp die Tensor Cores von RTX-Grafikkarten zur Beschleunigung.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.