A reading list

Conferences

2024

1. ✅ Ежегодный митап MLOps и ML-инженеров.

GPU

1. Как разбить видеокарту и поделиться с коллегами? Динамический шеринг GPU в Kubernetes с помощью MIG, MPS и TimeSlicing.
2. ✅ Как разбить GPU на несколько частей и поделиться с коллегами: практическое пособие по работе с MIG.
3. https://forums.developer.nvidia.com/t/docker-doesnt-detect-mig-gpu-devices/201921
4. https://habr.com/ru/companies/selectel/articles/699282/
5. https://habr.com/ru/companies/selectel/articles/724558/
6. https://habr.com/ru/companies/selectel/articles/703460/
7. https://developer.nvidia.com/blog/how-to-deploy-an-ai-model-in-python-with-pytriton/
8. https://github.com/triton-inference-server/server
9. https://kubernetes.web.cern.ch/blog/2023/01/09/efficient-access-to-shared-gpu-resources-part-1/ https://developer.nvidia.com/blog/improving-gpu-utilization-in-kubernetes/
10. https://docs.nvidia.com/deploy/mps/index.html
11. https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
12. https://leimao.github.io/blog/CUDA-Stream/
13. Непреодолимая легкость повышения утилизации GPU.
14. Делим неделимое в Kubernetes: шеринг GPU с помощью MIG и TimeSlicing.
15. Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU.
16. ClearML Fractional GPU.