[go: up one dir, main page]

  • 0 Posts
  • 34 Comments
Joined 3 months ago
cake
Cake day: January 18th, 2026

help-circle




  • Ja, momentan laufen die M4 Chips nur mit Mac OS. Ist aber nicht wirklich schlimm, sobald man das terminal öffnet ist’s quasi Linux mit extra steps.

    Für ältere M Chips gibt’s mittlerweile auch eine Linux distro, damit habe ich mich aber noch nicht beschäftigt, zumal da der Support der M-Gpu äußerst unwahrscheinlich ist.

    Seit kurzem gibt’s via docker auch Metal Support, zumindest für llama.ccp vllm wird auch kommen. -> Docker model Runner (DRM)

    Wenns nur 64 GB sein sollen bist du mit 2k€ dabei. Dann gibt’s noch die Möglichkeit fürn 10gbits Netzwerk und ssds. Das ist aber so erstmal nicht unbedingt nötig.

    Wenn ein Lotto gewinnen ansteht kannste direkt mit dem kubernetes Cluster mehrere zusammenschalten, dann wird’s witzig, aber naja auch teuer:D



  • 1 m4 Mac Mini mit 64gb RAM ist günstiger & kann größere Modelle laden als 1x 5090. Und du bekommst noch einen ganz Computer dazu uuuund der zieht maximal 65w anstatt 400w(??).

    Darauf laufen mittlerweile (fast) alle model Runner.

    Habe heute bei mir via docker+ open web UI qwen3.5(Q4 ggfu) am laufen. Morgen probiere ich noch das neue Mistral in Q3 und qwen3.5 unlocked q6 aus.

    Die 3.5er Version läuft ohne reasoning sehr schnell, mit reasoning ist’s ah h nicht schlecht, aber er denkt schon sehr sehr viel :D.

    Setup ist: M4 Mini mit 64gb Docker (desktop) model Runner OpenwebUI

    Ggfs auch Mal nach dem gebrauchten Mac Studio gucken, vll gibt’s da gebrauchte mit ordentlich RAM für nicht ganz so absurd viel Geld.













  • Try a Debian based distro. So Debian, mint, Ubuntu, kubuntu.

    Ubuntu comes with gnome, looks and feels Mac os ish Kubuntu comes with KDE and looks like windows. Mint is kinda like kubuntu Debian comes with what ever DE you’ll install.

    Debian (based) distros are usually the most stable ones with good (Driver) support all around. I’ve had to come across a device which had any issue after an install with those distros. All of them will game, if that’s something you worry about.

    You could also try Fedora with KDE or Gnome.