Перейти к содержанию

2024

  • В Learning
  • Читать 2 мин

Инструменты кэширования для ML-функций в Python 3.11

Работа инференса ML-проекта может быть очень интенсивной по CPU и требовать значительной RAM. С ростом RPS, числа подов и при наличии нескольких DC, вопрос приобретает ещё большее значение, т.к. неэффективность умножается на число инстансов приложения.

Ресурсы в РФ всегда дорогие, поэтому имеет смысл рассмотреть вариант Server-Side кэширования вызовов таких функций. Кэширование позволяет значительно сократить время выполнения, сохраняя результаты предыдущих вычислений.

В этом посте я рассмотрел популярные инструменты кэширования, которые могут быть полезны для оптимизации вызовов дорогостоящих CPU-bound ML-функций в Python 3.11.

  • В Learning
  • Читать 3 мин

Изучил «Рекомендательные системы» из курса Hard ML

С сентября 2024 года я работаю в RUTUBE и первая же задача связана с микросервисом рекомендательной системы. С MLOps технологиями проекта у меня явных сложностей нет, но чтобы быть более эффективным в разработке и эксплуатации, я решил изучить теорию.

Эта тема мне всегда была интересна. Впервые о подходах к их реализации я услышал в 2017 году в курсе MITx: 15.071x The Analytics Edge на примере Netflix. Далее были видео от ШАД и команды Яндекс.Дзена с теорией и обширная практика работы в контентном портале, где я подробно изучал рекомендательные системы платформ дистрибуции контента.

Но время идёт, информация забывается, подходы меняются. Поэтому, я решил изучить блок «Рекомендательные системы» из более свежего курса Hard ML.

Это мой конспект данного блока. Содержание дополняется по мере изучения материалов.

  • В Learning
  • Читать 17 мин

Прослушал курс "MLOps for ML Engineers", МФТИ, весна 2024

В одном MLOps чате я увидел ссылку на плейлист с видео этого курса. В первую очередь меня заинтересовал контент, связанный с NVIDIA GPU и Triton Inference Server.

Посмотрел первую лекцию, понял, что материал годный и решил прослушать полностью. На изучение ушло примерно 30 рабочих часов (я трекал).

Читайте мои впечатления от курса и конспект.

  • В Learning
  • Читать 7 мин

Как подготовиться и пройти System Design Interview — конспект и анализ выступления Александра Поломодова

У меня есть цель стать в будущем Solution Architect и я ищу пути её достижения.

Поэтому я нашел и послушал доклад Александра Поломодова c ArchDays 2022, в котором он показал путь, который сам когда-то проходил и кажется ему правильным.

Написал конспект с основными мыслями. Привел ссылки на: книги, записи видео, обучающие курсы и прочие ресурсы.

Сделал свои выводы. Помимо прочего, в них я показал альтернативный способ, как можно стать Solutions Architect.

Если у вас такая же цель, как и у меня, читайте, будет полезно!