spass muss sein – Page 2

OpenWebUI und Ollama – Lokale LLMs ausführen

Large Language Models (LLMs) sind derzeit überall zu finden. Mit riesigen Datenmengen trainiert, können sie menschliche Sprache verstehen und generieren. Dabei gibt es immer mehr LLMs die größer und besser werden. Die bekanntesten sind derzeit GPT-4o, Claude 3.5 Sonnet und Gemini 1.5.

Die Stärke der LLMs liegt in ihrer Fähigkeit, Zusammenhänge zu erkennen und kontextbezogen zu antworten. Dazu nutzen sie komplexe neuronale Netzwerke und Aufmerksamkeitsmechanismen, um Intentionen zu erfassen und Antworten mit ihrem erlernten Wissen zu verarbeiten. Die großen LLMs haben aber auch Nachteile: Datenschutzbedenken, mögliche Verzerrungen in den Trainingsdaten und die Tendenz, gelegentlich falsche Informationen zu produzieren. Eine mögliche Lösung für diese Probleme sind lokale LLMs wie LLama 3.1 (Meta), Gemma2 (Google).

Bei lokalen LLMs ist meist auch eine spezielle Metrik bekannt: die Anzahl der Parameter. In einem LLM bestimmen Gewichte, wie stark Eingaben (z. B. Wörter) bestimmte Muster aktivieren. Sie regeln, wie stark ein Neuron (hier ein mathematischer Knotenpunkt) ein anderes beeinflusst. Biases verschieben die Aktivierungsschwelle eines Neurons, sodass das Modell auch ohne spezifische Eingaben aktiviert werden kann. Zusammen formen Gewichte und Biases die „Entscheidungen“ des Modells. Je mehr Parameter (Gewichte und Biases) vorhanden sind, desto feiner kann das Modell Details erkennen und komplexe Zusammenhänge verarbeiten, was seine Genauigkeit und Sprachfähigkeiten verbessert. Aber es braucht auch dementsprechend mehr Speicher. Llama 3.1 8B braucht ungefähr 16 GB VRAM. 405B braucht dabei bereits 860 GB VRAM.

Der einfachste Weg ist Ollama mit OpenWebUI. Es gibt auch andere Möglichkeiten, wie LM Studio und Jan.ai. Dennoch liefert OpenWebUI zusammen mit Ollama die besten Ergebnisse, besonders für Benutzer einer Nvidia GPU. Hier kommen wir zum größten Problem für lokale LLMs: Sie benötigen viel RAM oder VRAM. 16GB für die GPU-Version und 32 GB für die CPU-Version. Das hängt aber auch sehr von der Parametergröße des Modells ab. Meine Empfehlung: Derzeit ist es am sinnvollsten, LLMs auf der GPU auszuführen, sie laufen dort in der Regel deutlich schneller, da GPUs mehr parallele Operationen ausführen können. Apple M1-M3 können auch verwendet werden, die untenstehende Anleitung funktioniert größtenteils auch damit (Ollama muss selbst installiert werden). Wenn man hier viel RAM hat (64 GB ), läuft Llama 3.1 70B sogar schneller als auf einer RTX 4090.

Wie installiere ich jetzt OpenWebUI und Ollama (GPU-Support) unter Windows?

Zuerst installiert ihr das WSL (Windows Subsystem für Linux) mit dem Befehl „wsl -update“ im Terminal.
Danach installiert ihr die für euer System passende Version von Docker Desktop von https://docker.com und öffnet sie nach der Installation (ihr müsst euer System mindestens einmal neustarten).
Im Terminal könnt ihr nun folgenden Befehl eingeben: „docker run -d -p 3000:8080 –gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:ollama“. Überprüft den Befehl auch über diesen Link, um sicherzugehen.
Nachdem der Prozess abgeschlossen ist, solltet ihr in „Docker Desktop“ einen Container namens „open-webui“ mit dem Status „Running“ haben.
Nun geht ihr auf localhost:3000 und erstellt einen Account. Die Mailadresse ist dabei nicht wichtig und wird nur als Benutzername benötigt.
Ihr seht jetzt ein ChatGPT ähnliches Interface, wählt von hier aus das Modell oben links, hier ist kein Tor installiert. Am besten startet ihr mit „llama3.1“ und klickt dann auf „Pull llama3.1 from ollama.com“.
Fertig. Eine Liste von möglichen Modellen findet ihr auf ollama.com/models

OpenWebUI bietet viele erweiterte Funktionen wie Websuche, Erinnerungen, aber auch OpenAI-API-Unterstützung. Es können eigene Modelle und API-Schnittstellen hinzugefügt werden. Ollama muss auch nicht lokal installiert werden. Es gibt auch Tools, um Paperless-NX zu integrieren oder WolframAlpha. So lässt sich sogar der eigene Datensatz zu Hause als Kontext einbinden. Wichtig ist noch zu erwähnen, dass die Größe des RAM oder VRAM entscheidend ist. Wenn das Modell sehr langsam ist oder euer PC unbenutzbar wird, ist das Modell wahrscheinlich zu groß und ihr solltet das nächst kleinere wählen. Llama 3.1 405B (405 Milliarden Parameter) ist lokal noch unrealistisch. Wer das Modell trotzdem laufen lassen will, kann es mithilfe von OpenRouter.ai oder ähnlichen Diensten einbinden. Das kostet zusätzliches Geld und läuft natürlich auch nicht mehr lokal.

Angebot

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.

Gothic: Das offizielle Kochbuch soll euch „Volles Pfund ins Maul“ geben

Volles Pfund ins statt aufs Maul: THQ Nordic hat bestätigt, dass ihr ab dem 20. August 2024 im Handel das offizielle Gothic-Kochbuch erstehen könnt. In der Tat handelt es sich hier um ein Kochbuch mit Rezepten, die Gerichten aus dem Spiel nachempfunden sind. Dafür hat sich der Autor Tom Grimm mit dem Essen aus der Spielereihe beschäftigt und 60 Gerichte für die reale Küche abgewandelt.

Warum „abgewandelt“? Na ja, z. B. Fleischwanzenragout lässt sich in der Realität schwer zubereiten, wenn man nicht zumindest ein wenig kreativ wird. Das Buch beinhaltet auch Rezepte für Stollengrollen, Stewarker Schmortopf und eingelegtes Feuerkraut oder brandneue Kreationen wie Trollsülze, gefüllte Scavenger-Eier, Beißer-Rippchen und Blutfliegensüppchen. Dabei sollen Gerichte für sowohl Koch-Anfänger als auch -Experten dabei sein.

Oben seht ihr einmal einige Beispiele aus den Rezepten – ist da vielleicht etwas für euch dabei? Der Verkaufsstart des Kochbuchs wird vom herausgebenden Panini Verlag und Rechteinhaber THQ Nordic auf der Gamescom in Köln (21.-25. August 2024) mit Aktionen und einer Sonderedition des Buches gefeiert.

Das offizielle Gothic-Kochbuch ist ab dem 20. August zum Preis von 33,00 € im Buchhandel sowie im THQ Nordic Store erhältlich. Am Stand von Panini (Merchandising-Halle 5.2, Stand B 12) auf der gamescom wird es obendrein eine auf 222 Exemplare limitierte und handnummerierte Sonderausgabe des Bandes geben. Diese wurde von Tom Grimm und dem Food-Fotografen Dimitrie Harder, der die Gerichte für das Buch ins rechte Licht gerückt hat, signiert.

Den Bänden liegt zudem noch ein limitierter Druck bei, signiert von Game Director Reinhard Pollice und Gothic-Komponist Kai Rosenkranz. Dieses Sammlerstück kostet 66 Euro und ist nur auf der gamescom am Panini-Stand und im THQ Nordic Store erhältlich.

Frohlocket, die Weise hebt an: teenage engineering EP–1320 medieval vorgestellt

teenage engineering ist schon für abgefahrene Geräte und Designs bekannt. Mit dem nun vorgestellten EP–1320 medieval übertrifft man sich wieder selbst. Auf Mittelalter-Märkten, für Games-Soundtracks und mehr soll man das gute Stück nutzen können.

Der Teenage Engineering EP-1320 Medieval setzt auf dem Groove-Sampler EP-133 K.O. II auf. Gedacht ist der Spaß für mittelalterliche Klänge. Nische? Ja. Schräg? Sicher. Der EP-1320 medieval umfasst Hunderte von spielbaren mittelalterlichen Instrumenten – verarbeitet durch analoge Dynamik, Band, Vinyl und mehr; von Saiten und Bögen über Trommeln, Percussion bis hin zu Foley.

Husqvarna Automower: Zur EM 2024 mit spezieller Torjubel-Funktion

Es gibt so Dinge, da fragt man sich (und das sicher nicht nur als Fußball-Desinteressierter) doch hin und wieder, ob das nun alles so notwendig sein muss. Darum verlege ich diesen Beitrag mal ganz klar in die Kategorie „Spass muss sein“ und überlasse euch das Feld. Heute startet die Fußballeuropameisterschaft 2024. Das Unternehmen Husqvarna nimmt dies zum Anlass, knapp 150.000 seiner Mähroboter mit einem speziellen Systemupdate auszustatten.

So sind danach sämtliche unterstützten Automower in der Lage, bei einem Tor eurer Lieblingsmannschaft während der EM 2024 einen von drei Torjubeln aufzuführen. Das Update soll bei euch bereits eingetrudelt sein. Zur Auswahl stehen: der Roboter, der Tornado sowie die 180°-Drehung. In der Husqvarna Automower Connect App wählt ihr einfach euer Lieblingsteam aus, der Roboter wird dann entsprechend bei einem Tor einen der Tänze aufführen, seine Lichter blinken lassen und sogar eine Fanfare abspielen. Zugegeben, bei einer privaten Fan-Feier kommt das mit Sicherheit gut an. Eine Anzeigetafel auf dem Display des Mähroboters zeigt den Spielstand während des Spiels in Echtzeit an.

Das Software-Update ist für die Mährobotermodelle Automower 405X, Automower 415X, Automower 320 NERA, Automower 430X NERA, Automower 450X NERA, Automower 310E NERA und Automower 410XE NERA von Husqvarna erhältlich. Derzeit gibt es weltweit über 150.000 Husqvarna Mähroboter, die diese neue Funktion unterstützen. Die Nutzer werden über die Husqvarna Automower Connect App über das Update informiert. Das Update wird vom 14. Juni bis zum 14. Juli 2024 verfügbar sein.

Bahn: Administrator für Windows 3.11 gesucht

Aus dem Bereich der Kuriositäten, die wir aber gerne mal erwähnen. Eine aktuelle Stellenausschreibung spricht davon, dass ein Administrator für Windows 3.11 gesucht wird. Zur Erinnerung: Windows 3.11 wurde am 8. Dezember 1993 veröffentlicht und hat damit also schon etliche Jahre auf dem Buckel. Konkret scheint es sich wohl um eine Stellenausschreibung der Bahn, bzw. Siemens zu handeln. Beschrieben wird die Stelle wie folgt:

Das Ergebnis Ihrer Arbeit ist eine hochwertige Anzeigesoftware, deren Schnittstellen zur Fahrzeugsteuerung reibungslos funktionieren. Das Führerstandsanzeigesystem in Hochgeschwindigkeits- und Regionalzügen zeigt dem Fahrer die wichtigsten technischen Daten in Echtzeit an.

Der Bewerber soll über Kenntnisse in Windows 3.11 und ältere Betriebssysteme und Windows-Manager (insbesondere MS-DOS und Windows for Workgroups) verfügen, wie es heißt. Anscheinend geht es da um die Anzeigen in den von Siemens realisierten Zügen, da als Standort Erlangen angegeben ist und ferner noch Sibas erwähnt wird, das „Siemens Bahnautomatisierungssystem“.

Sicherlich nicht das einzige Uralt-System in Unternehmen. Oft gilt das Motto „Wenn es nicht kaputt ist, repariere es nicht“. Anfang der 2000er hatte der Bahnhof in Dortmund beispielsweise auch ein Problem. Dort lief ein uraltes Intel-310-System auf Xenix-Basis mit einem 80286-Prozessor. Die Festplatte fiel aus, das Gerät konnte nicht mehr in Gang gebracht werden und so standen Anzeigen und Info-Monitore still. Damals hieß es fälschlicherweise, dass die Bahn zur Steuerung einen C64 eingesetzt habe.