Официальная ссылка: https://docs.privategpt.dev/quickstart/getting-started/quickstart
git clone https://github.com/zylon-ai/private-gpt.git cd private-gpt
Запускаем:
docker compose --profile ollama-cpu up
Запускаем хост http://localhost:8001
Примечание: хост может быть не поднят сразу, т.к. в фоне будет грузиться модель с huggingface (https://huggingface.co/)