Hej!
Jag drev ett numera avslutat projekt där vi körde Kungliga Bibliotekets språkmodeller (typ Chat-GPT fast mindre) åt Trafikverket och fick behålla grafikkortet som bara använts i min server några månader och sen vilat i ett år.
specar:
https://www.pny.com/nvidia-rtx-a5000
prestanda är ungefär som ett 3090 (som dock inte får användas i en server pga licens)
lite om projektet:
https://github.com/nutte2/TRV
Nypris idag 29'.
Kan bidra med tips på hur man kommer igång. Den rätt tysta Ubuntu MSI Värddatorn, skärm mm kan skickas med för några tusen extra,
