Danke, wollte auch schon etwas dazu schreiben, das deepseek-R1 32B-Modell läuft bei mir (unter ollama)...

Andudu, Montag, 27.01.2025, 11:43 (vor 20 Tagen) @ Dragonfly2120 Views
bearbeitet von Andudu, Montag, 27.01.2025, 11:50

...hab dafür extra 64 GByte RAM gekauft, Grafikkarte ist allerdings eine angestaubte Geforce1050TI, die wird auch kaum benutzt (sieht man im Taskmanager), wird fast alles auf CPU gerechnet. Entsprechend langsam ist es, so ca. 1-2 Wort Output die Sekunde unter CPU-Vollast :-)

Trotzdem beeindruckend, weil das Modell seinen Denkvorgang ausgibt, man sieht, was es aus der Eingabe alles schlußfolgert und sich dabei ständig selbst wieder hinterfragt.

Meines Wissens ist das mit einem anderen Modell, Qwen (eine chinesische Programmier-KI) kombiniert, eigentlich wollte ich die Logik- und Programmierfähigkeiten mal testen, die an jene von ChatGPT4-O1 heranreichen sollen. Ich bin aber gestern daran gescheitert, das vernünftig in VSCode zu integrieren und hatte dann keine Zeit und auch keine Lust mehr, da muss ich mich nochmal ransetzen, das macht mich echt kribbelig...

Schade, dass gute Hardware wegen dieses Booms so unglaublich teuer geworden ist. Die neueste nvidia-Karten-Generation Geforce 5090 kostet mehr als 2300 Euro und ist damit teurer, als der ganze restliche Rechner und das, obwohl sie nur minimal mehr Leistung als der Vorgänger hat und ein echter Stromfresser ist. AMD hinkt mächtig hinterher und intel steckt mit eigenen Karten noch in den Kinderschuhen... Ich schätze es wird noch eine Weile dauern, bis die Kapazitäten auf dem Niveau sind, dass das ordentlich verfügbar und billig wird.


gesamter Thread:

RSS-Feed dieser Diskussion

Werbung