Thread by @dsunderhood

Контейнеры

1.1/
Я обожаю контейнеры. Они радикально упрощают настройку энвайромента как для обучения (нужная версия куды, питона и всех остальных либ), так и пайплайна в целом (взаимодействие между моделями, сбор метрик и т.п.)

1.2/
У нас после внедрения сборки и запуска средствами docker и docker-compose, благодаря которым их мог сделать каждый, разработка в команде ускорялась в разы - каждый человек становился гораздо более автономным.

1.3/
Исчезал огромный оверхед на коммуникацию и косяки, связанные с человеческим фактором. Не нужно было ждать пока кто-то обновит твою модель, или бояться что пока ты считашь со своей моделью сквозные метрики по пайплайну кто-то заменит другую его часть.

1.4/
Ну и конечно унификация кодовой базы с тем что в проде сильно упрощалась поддержку этого монстра.

1.5/
Нужно было лишь потратить время на написание скриптов-надстроек и помощь коллегам на начальных этапах, что быстро окупалось.

2.1/
При этом конкретно к докеру у меня неоднозначное отношение. Во-первых, проект не очень быстро развивается в последнее время. Во-вторых, для работы в интерактивном режиме докер не подходит вообще.

2.2/
Если вам приходилось что-то обучать в нем, вы наверняка чувствовали боль, когда каждый раз прописывали команды запуска контейнера, чтобы примонтировать все нужные вольюмы, дать доступ к гпу, прописать правильного юзера, etc.

3.1/
Отдельная проблема это root-права, которые включены по дефолту. Особенно когда речь идет об общем кластере, что в глубоком обучении довольно распространено, каждому под стол тачку с 4мя картами не поставишь.

3.3/
Кто-то обязательно пожалуется, что не может удалить файлы, созданные в контейнере, находясь снаружи него, и что ему нужно sudo. А получив его, обязательно сделает 'rm -rf /' или 'сhmod 777 -R /'

3.4/
Второе веселее - эта команда не спросит, уверен ли ты, а система работать практически перестанет. Попробуйте на досуге в виртуалке. Не на реальной тачке!

3.5/
И сделать это может как джун, вчера впервые в жизни открывший консоль, так и матерый разраб, который просто поставил пробел не в том месте и не заметил. Знакомые рассказывали, что кто-то подобным образом сломал ось на DGX.

3.6/
Не говоря уже о проблемах с безопасностью в случае когда кто-то специально захочет что-то сломать.

4.1/
Существует отличная альтернатива докеру под названием singularity. sylabs.io,: работает только под вашим юзером, монтирует текущую рабочую директорию по умолчанию, из коробки умеет работать с гпу, полностью поддерживает образы от докера.

4.2/
Я когда-то делал доклад про нее youtube.com/watch?v=z0tP4w… (c середины). Он немного устарел, часть проблем которые я там обозначил уже исправлены, но общий расклад не поменялся. По крайне туманным для меня причинам, к сожалению, она почти никем не используется.

Обучаете ли вы модели в докере

Можете ли вы задеплоить весь пайплайн сами и если нет, замедляет ли оно вас?