В общем, подкаст. Как я писал вчера я и @tiulpin пилим (пилили?) подкаст @ParrotCast. В треде расскажу историю как, зачем и почему. И пойдут лайфхаки для тех, кто хочет и сам записывать подкаст @tiulpin @ParrotCast Вернемся в ноябрь прошлого года. Пандемийные ограничения сходят, но все еще скучно. Мозг требует развлечений. Да еще и таких, где можно приобрести навыков и вырасти как профи.

Подкаст, подумал я, и написал Виктору

Забились мы делать это после обсуждении этого аккаунта, хех!

Поговаривают, по четвергам у вас тут в твиттерах странные обычаи. Но у меня будет тред с моим котом #нюдсочетверг завели кота в карантин, когда жили в деревне

Меня часто спрашивают, как пройдет датафест
1) зарегистрируйтесь datafest.ru/2021/ обязательно!
2) 22 мая будут стримы и нетворкинг, нужно обязательно зарегистрироваться, чтоб ничего не пропустить...
#datafest 3) с 23 мая начнется публикация докладов и прочих активностей, но обязательно зарегистрироваться, чтоб не пропустить доклады и прочее расписание
4) в некоторые субботы мы проведём стримы-прямые_включения, 29 мая стрим будет из Ярославля, но обязательно зарегистрируйтесь...

Сегодня поговорим про инженерную инфру в DS, всякий MLOps #MLOps
Начнем с #Jupyter -а... Jupyter конечно говно, но очень удобное. Код, текст, графики, вывод: все в одном месте, как статья. Можно заставить на жирном сервере, не давать доступ по ssh, не мучаться с удаленным запуском, профилировать процессы

Возможно вы еще помните такое приложение, как clubhouse? Если уже не помните, давайте смахнем пыль. Вот, что расскажу.
В феврале мы начали там проводить дата завтраки... #datazavtrak Каждое утро (последний месяц только пн, ср, пт) в 9:30 мы стартуем комнату в clubhouse, где обсуждаем все вопросы связанные с данными: задаем вопросы, отвечаем, обсуждаем новости и питчим идеи

Добавим немного личных историй про HighLoad. В программный комитет онтиковских конференций я попал 2 с небольшим года назад, пригласил меня туда Роман Поборчий. Роман тогда хотел сделать дата-конференцию под онтиковских брендом. В итоге она прошла в 2019 году- UseData #conference Так же я стал ПК конференций онтико, где есть дата секции: хайлоады Москвы, Питера и Сибири.

Канада!
Не могу не начать с хорошей новости, которую вы наверняка уже слышали - только в 2021 году Канада хочет принять овер 400к иммигрантов
No time like the present ;)
cicnews.com/2021/05/canada… Я попала туда по программе PNP - Provincial Nominee Program
Есть другой путь - Express Entry, где нужно набрать опр. количество баллов по разным критериям полезности для страны - языковые скиллы, опыт работы, возраст и тд
С PNP всё гораздо проще и ВНЖ через пару лет гарантирован

Это, наверное, самая тихая неделя в сообществе :)
Наверное, мне должно было бы быть стыдно, что не справилась, не придерживалась плана и тд, но знаете что? НЕТ
Обидно, что не смогла поделиться кучей мыслей, статей, решений, задать сто интересных вопросов, но не стыдно :) Хочется немножко затронуть тему выхода из строя (порой ВНЕЗАПНОГО) самого главного и самого сложного органа в нашей тушке
Точно знаю, что страдаю тут от них не одна :)
Иногда мы строим планы и даже их придерживаемся, а иногда мозг не даёт нам этого сделать и сильно мешает работе

Неделька выдалась тяжелой, попробуем наверстать.
Все говорят, что BatchNorm -- это хорошо, но давайте обсудим)
Предположим, речь идет про картинки, на вход в BN приходит тензор [bs, channels, height, width].
Сколько в BN обучаемых параметров? В каком порядке правильно-то размещать BN и остальные слои?

Пояснения к опросам я выложу завтра. А пока поговорим про сетки в проде.
В какой прод вы катите ML/DL модельки? В основном на курсах по ML/DL речь идет про обучение моделек. MVP делается на слегка подправленной кодовой базе с питоном и фласками.
Моделька создается кодом, в нее подгружаются веса из чекпоинта.
Если проект не умер на первых порах, дальше пойдет эволюция.

Что стоит знать в фреймворке (для определенности pytorch):
- как строится вычислительный граф (у тензоров есть backward-функция, за которую можно дернуть для бекпропа)
- как представлять данные (условно складываем картинки в тензора [bs, channels, height, width]) - как вычисляется лосс (давайте опросом, что должно быть у сети для многоклассовой классификации в голове?)

Пояснения на всякий случай:
- в доку не подглядывать!
- FC=Linear (иначе не лезло)
- если не понимаете о чем речь => reply с вопросом

Про инструменты.
Я в основном пишу код на питоне, эпизодически на C++, иногда JS/bash и на чем еще придется по задаче.
Все хоббийное и учебное я пишу на Pytorch, почти все рабочее на TF. Самый богатый источник граблей - рабочие инструменты.
Очень часто наблюдаю как люди тонну времени тратят на войну с инструментами, а не задачей.
Распространенная история - человек что-то делал, получил результаты, но им нельзя доверять => работу надо переделывать.

Как я попал в калифорнию. Тред На первом курсе универа на колабе МИСиС, MIT и Сколково подружились с Олегом Уржумцевым. Нас преподы из MIT учили делать игрушки на 3D принтерах и лазерных резаках.

На пути в JetBrains: в 2017 году я обратил внимание на статью на хабре habr.com/ru/company/gri…
Там ребята из компании @gridgain сделали копию @ApacheMahout поверх in-memory database @ApacheIgnite

Потом мне удалось с ними пообщаться вживую (помогли старые EPAM-вские связи) Оказалось они только стартуют и челленджей непочатый край. Я начал работу над OpenSource проектом с баг-фикса в алгоритме перемножения распределённых блочных матриц и понеслось. 102 коммита, 300k+ строк кода, 15 моделей, PMC проекта.

DEThread: Перебравшись в СПб я уже вплотную занялся прокачкой навыков DE, пытаясь устроиться чистым DS. На чистого DS брали только на мало денег, поэтому я раз за разом выбирал DE проекты (presale/прототипы) и рос очень быстро, играя роль FullStackBigData Одновременно пошел просто огромный поток джавистов, дотнетчиков, database administrators, бегущих из старых рынков в новый сияющий мир "BigData: Hadoop, Hive, Spark". В EPAM мы открыли менторинг (учеба с куратором) по BigData, через который прошло 300+ человек в 16-18 годах

Кстати, о "воронцовских курсах" пост - zaleslaw.medium.com/24-%D0%BB%D0%B…

https://twitter.com/dsunderhood/status/1335916415556128768

Занимаясь машинным обучением в России, редкий человек избежал искушения обучиться базовым навыкам посредством знаменитого курса от Воронцова. Многие пытались использовать его как первый и единственный доступный материал и убегали в страхе, раздавленные уже первой лекцией.

DSThread: К 2013 году стало ясно, что есть кластер Hadoop, а есть мат.методы в распределенной среде. И за первое первый мир уже готов платить, а за второе - пока не очень, но интересно именно второе, ведь там какая-никакая математика (к тому моменту я видел только KMeans/KNN) У нас на работе возник кружок изучения DS (старое название ML), где мы в нерабочее время разбирали мат.методы: деревья, регрессии, метрические и прочее.
Смотрели подпольные материалы ШАД (которых тогда почти не было в открытом доступе)

CareerThread: свои первые деньги я заработал вкопав ракету в одном омском дворе. Потом на утреннике для школьников. Если первое мне показалось тяжелым, то второе чуток понравилось, но не костюме индейца. Хотелось заработать головой, но в 2006 в Омске было мало junior-вакансий. 0 Один из преподов, не веривших в нас, рекомендовал всем не сдавшим зачет по матлогике идти в 1С. Хоть зачет я и сдал, в 1С я пошёл. Шел 2007, там брали молодых и шустрых, а программировать на русском диалекте VB казалось лайфхаком.

BioThread: Мне скоро 33 и я стал как-то спокойнее к славе, быстрым деньгами и выяснению какой язык программирования лучше и т.д.

Началась моя история с Math с того, что однажды осенним днем 1999 года мой сосед Димка не вышел гулять - он решал задачки для маткружка. Что за кружок, что за линии и кружочки, кто такой Дырыхле, что за комбинационный взрыв, какие фальшивые монеты? В общем, упросил маму свозить меня в этот кружок и обеспечил себе "веселые субботы" под олимпиадными задачками на весь 5,6 и 7 классы.

Добрый день, меня зовут Зиновьев Алексей, в миру @zaleslaw
Сейчас я работаю в JetBrains в команде Kotlin for Data Science, создаю DL/ML библиотеки на Kotlin; также несколько лет жизни я посвятил @ApacheIgnite разрабатывая фреймворк распределенного машинного обучения.
Семейный. План на неделю следующий:
1. Биография (матфак ОмГУ->аспирантура->начало трудовой карьеры->рынок труда в небольшом городе)
2. ML на JVM, текущее состояние
3. SparkML/Ignite ML
5. Kotlin for Data Science
6. Tensorflow, кишки
7. Разное (работа на удаленке, взгляды на жизнь)

И на закуску, десяток топовых книжек этого года, без какого-либо ранжирования, как будут в голову приходить Образование для образованных 2020, Левенчук.

Хоть автор и противоречивая фигура в наших кругах, но про образование он пишет великолепно и обладает даром систематизировать и раскладывать по полочкам.

"Системное мышление" тоже рекомендую, но если выбрать одну, то берите первую