Thread by @mr_mig_by

Я обещал и я сделяль.

Очень длинный тред про дизайн процесса интервью (для разработчиков)

Или "что должен знать каждый собеседующий" 🧵👇

Я часто встречаю в твитторе мнение по типу такого: "я провел(а) сотни интервью, и я знаю как отличить крутого кандидата от фигни". Обычно в таких тредах дальше идет список личных когнитивных искажений, карго-культ практики и отсылка к популярным шаблонам типа "10х разработчиков".

Я называю такой подход "интуитивным подходом к наёму сотрудников", и он вреден как для интервьюера, так и для компании.

⚠️ Пара замечаний перед тем, как мы приступик к "начинке" треда:

1. Я максимально упростил этот тред. Специально, чтобы новичкам в теме было понятней.

По моей личной статистике интервьюеров - большинство не понимают базовых проблем. Мы рассмотрим только верхушку айсберга, но она показательна (сильно влияет на весь процесс).

2. Я пишу этот тред с позиции человека, которого тренировали дизайну интервью специально обученные люди, специализирующиеся на этой теме (хотите так же - пишите facebook.com/mira.grigorenko, например).

Мое обучение включает курсы интервьюирования в Майкрософте и ГитХабе.

Во время раннего обучения я был молод и глуп, и думал, что ВСЕХ интервьюеров тренируют интенсивно и детально, поэтому ссылки на материалы НЕ коллекционировал.

Курсы крупных компаний для рядовых интервьюеров в такие детали не углубляются.

Это была достаточно серьезная ошибка, потому что мой пукан горит 🔥🔥 полыхает 🔥🔥 практически каждый раз, когда речь заходит об интервьюировании и построении процесса. А противопоставить толком нечего 🤷‍♂️

3. Этот тред - не результат глубокого исследования темы с нуля. Это подбивка источников, на основе которых меня обучали.

Если вы знаете более релевантные источники, либо я делаю неправильные выводы - показывайте пальцем, будем разбираться.

Почему про дизайн собеседований мало говорят?

Я не знаю, и меня это сильно удивляет.

Программистов на рынке все еще не хватает, и многим компаниям реально лучше нанять спеца, который будет справляться, чем не нанять никого.

Эта тему достаточно глубоко изучается, потому что компании тратят миллионы денег на кривой найм. Но слишком часто процесс найма выглядит криво, а все участники не в курсе (или забивают болт, потому что никто не слушает - нет ответственных).

Я готовил этот тред почти месяц, спасибо всем за лайки, терпение и поддержку! ❤️

Берите попкорн 🍿 и/или любимый напиток ☕️, устраивайтесь поудобней. Мы начинаем!

Итак, далее я попробую поверхностно объяснить почему стоит углубиться в тему дизайна собеседовагний и как можно улучшить подход к собеседованию и отбору кандидатов. Основные мысли, которые я хочу донести:

1⃣Скорее всего ваши собеседования имеют мало смысла и близки к карго-культу 🤷‍♂️

2⃣Если вы подходите к собеседованиям "интуитивно", то вы скорее вредите процессу - качество нанятых сотрудников становится менее предсказуемым.

3⃣Процесс собеседования можно улучшить даже если у вас нет прав/ответственности его переделывать.

4⃣Если вы как собеседующий хотите получить результаты получше, то практически всегда есть что улучшить, даже если гайдлайны жесткие.

5⃣Эта область изучена достаточно, чтобы у нас были "лучшие практики". Эти практики не интуитивны, и их стоит изучать.

Углубление в эту тему сделает нашу индустрию лучше (чуть более справедливой и чуть более качественной).

6⃣Собеседования - это сбор информации для выявления и сравнения определенных требуемых компетенций (они могут быть разными в разных компаниях/командах), а не экзамен и не проверка знаний.

И уж тем более не объективное "мерило крутости" каждого кандидата.

В чем суть задачи, которую мы решаем при собеседовании кандидатов?

Нам нужно нанять человека, который будет ХОРОШО справляться с работой в вашей компании/проекте, и при этом будет обладать нужными нам компетенциями.

При этом, если наша компания растет и меняется, нам нужно делать это cистематически правильно.

Эта задача достаточно сложная, чтобы этими вопросами занималась целая дисциплина психологии: организационная психология.

Да, это изучают и пишут статьи и научные работы на тему интервьюирования и подбора персонала.

⚠️ Если вы не знакомы с темой, не изучали теорию, которая лежит за этим всем, и не проходили специальные тренинги, то ваши действия как интервьера чаще всего будут ВРЕДИТЬ процессу!

В чем вообще проблема выстроить фильтрационный процесс подбора специалистов?

Проверяем знания/опыт людей, фильтруем мудаков и готово! Так ведь?

Проблема в том, что если вы не проектируете процесс найма на основе организационной психологии, а делаете это "на основе здравого смысла", то вы получите результаты отбора, которые статистически ХУЖЕ БРОСКА МОНЕТКИ.

Это означает, что из 10 нанятых человек вы удачно отберете менее 5.

Или другими словами: если бы вы не проводили собеседование, а бросали бы каждый раз монетку, вы бы получили результат ЛУЧШЕ.

Скорее всего тут ваш мозг задает вопрос: "Как вообще такое может быть? Это какая-то чушь!"

Давайте разбираться.

Процесс "фильтрации" на самом деле представляет из себя процесс "предсказания успеха" кандидата...

Есть два основных показателя при дизайне этого процесса: предиктивная валидность и надежность.

Предиктивная валидность - какова вероятность нанять кандидата, который будет ХОРОШО справляться с работой (т.е. будет приносить компании деньги и пользу).

Надежность - насколько хорошо процесс воспроизводится для разных ролей/уровней кандидата, и устойчивы ли результаты (валидность) во времени и к помехам.

Собеседуя сегодня и через год, будем ли мы получать такие же результаты?

Что мы знаем о МЕТОДАХ проведения собеседований сегодня?

Большинство ОТДЕЛЬНЫХ методов имеют валидность НИЖЕ 0.5 (50% отобранных кандидатов в итоге не подходят под роль).

Это реально хуже броска монетки!

Т.е. реально можно заменить некоторые интервью броском монетки, и результат будет ЛУЧШЕ, чем результат интервью!

Как так получается в цифрах, я надеюсь, вы увидете дальше.

На валидность влияют разные факторы, в том числе постановка вопроса.

Но как показывают исследования и их метаанализ (ссылки будут ниже), валидность сильнее всего зависит от самой методики (как именно мы оцениваем человека).

Мне говорили, что в компаниях, которые оттачивают свои процессы собеседования и ведут серьезную статистику, валидность может доходить до 80% (т.е. 8 из 10 нанятых кандидатов в будущем успешны внутри компании).

⚠️Т.е. понимаете, недостижимый идеал для нас лежит в районе валидности 0.8 для всего процесса интервью!

8 из 10 отобранных кандидатов окажутся успешными и полезными для компании.

Дальше в треде я буду указывать значения валидности отдельных методов, информация взята из самого известного метаанализа на эту тему: researchgate.net/publication/23…

Что же делать с этой проблемой?

Решать известными методами, конечно же!

Самым валидным способ собеседования является смесь из методов с высокой валидностью + проведение панельного интервью (для уменьшения интерпретаций и когнитивных искажений/biases отдельных людей).

Однако, есть важный нюанс: дизайн процесса с высокой валидностью очень дорог.

С другой стороны, найм неподхолящего сотрудника сильно дороже. Иногда вплоть до больших репутационных потерь.

А на больших цифрах, кривой процесс собеседования выливается в огромные затраты и потерю компетенций в бизнесе.

Получается, что в каждом конкретном случае (в каждой отдельной компании или даже в отдельной части жизненного цикла компании) нужно проектировать процесс собеседования с учетом уникальных факторов и требований, используя комбинацию методов с высокой валидностью ☝️

Давайте теперь поговорим конкретней о методах собеседования.

Посмотрим сначала на методы с НИЗКОЙ валидностью?

Готов поспорить, они вам очень знакомы!

- Проверка референсов - валидность 0.26

- Неструктурированные собеседования ("индивидуальный подход" или "посидеть поговорить за жизнь") = валидность 0.38

- Годы рабочего опыта = 0.18

- Тестовые задачи, МАЛО похожие на ежедневную работу (привет, алгосики!) = 0.35

- Возраст = -0.01 (понимаете? это вообще худший способ отсева)

Тут вы должны были среагировать на алгосики 😁

Эти методы можно использовать, но только как дополнительные шаги в вашем процессе.
Я лично считаю, что некоторые из них настолько дорогие, что их нет смысла внедрять. Особенно, если вы не хотите, чтобы в вашем процессе было 7 шагов

Вернемся к алгосикам.

Чаще всего алгосики - это "стандартные задачки из сборника".

Есть другой вариант - метод рабочей симуляции. Он может быть сильно валидней.

Почему стандартные задачки "из сборника" как метод хуже рабочей симуляции?

Цифры ниже взяты этого метаанализа: people.vcu.edu/~mamcdani/Publ…

ℹ️ Скорректированная средняя валидность для задач, похожих на реальную работу = 0.62

⚠️ Для зачад, не похожих на реальную работу = 0.35

Валидность отличаетя практически в 2 раза!

При этом, валидность задач, разработанных локально под конкретный тип работ сравнима с лучшими высоковалидными методами.

Пара цитат:

"Implications for selection would suggest to employers that when tests of job knowledge are used, there is much to be gained by developing them to be job specific."

"For the combined moderator effect, the data show that a job-specific test is always a superior to an off-the-shelf test."

Job-specific test - это тестирование, контент которого максимально похож на реальные рабочие задачи.

Ок, надеюсь с низкой валидностью понятно.

А теперь давайте посмотрим список методов с высокой валидностью:

1⃣Структурированное интервью - у интервью есть структура (список вопросов для выявления компетенций, симуляционных задач, и т.д.), которая применяется к каждому кандидату

2⃣Поведенческое интервью - интервью выявляет компетенции, примеры которых кандидат может привести из своего предыдущего опыта.

Подробней гляньте тут: opm.gov/policy-data-ov…

3⃣ Проверка рабочих знаний, приближенных к реальной работе - оценка специфических знаний кандидата.

Это НЕ проверка знания общей теории, это проверка КОНКРЕТНЫХ рабочих знаний - как работает конкретное оборудование или конкретный техпроцесс.

4⃣Рабочая симуляция (work samples) - симуляция реальных рабочих задач (например, парный кодинг над реальной таской, если вы такое практикуете постоянно).

Либо техзадание, которое максимально похоже на реальную работу.

Подробней тут: nap.nationalacademies.org/read/1898/chap…

5⃣Тесты уровня интеллека (GMA или IQ. Ой, что щас начнется!) = валидность 0.54

⚠️ Важное замечание: эти методы НУЖНО кобминировать, чтобы получить более валидные результаты.

А теперь самое страшное: примеры валидности для кобминаций.

- GMA + a work sample test = (mean validity of .63)
- GMA + an integrity test = (mean validity of .65)
- GMA + a structured interview = (mean validity of .63)

Как видите, комбинация двух высоковалидных методов дает результат чуть лучше броска монетки...

Но это все же лучше броска монетки 😁

Кстати, почему IQ или GMA тесты особо никто не дает, если это высоковалидный метод?

Потому что это НЕЗАКОННО в США 🫠 (считается дискриминацией) + многие кандидаты относятся к таким тестам негативно (а у нас рынок кандидата все еще, не забываем про это).

Дальше - еще интересней.

Валидность страдает не только от выбора методов.

Что ещё ухудшает валидность?

🛑 Когнитивные искажения собеседующего - когда мы дискриминируем людей по своим скрытым признакам, или ищем людей "похожих на нас".
Искажений много, и некоторые их них проявляются очень неявно.

🛑 Отсутствие внятных критериев оценки (когда не понятно, как оценивать ответы кандидата. Или к разным кандидатам применяются разные критерии.)

🛑 Вопросы или методы, проверяющие несколько компетенций одновременно.

🛑 Неправильная формулировка вопросов!

🛑 Общение интервьюеров друг с другом между этапами собеседования ("ну чо как тебе кандидат?") - это влияет на оценку и объективность

Самое удивительное открытие для меня было в том, что формулировка вопросов может значительно влиять на валидность!

Как так?

Некоторые вопросы помогают кандидату подобрать правильный ответ на основе вашего диалога. Например, вопросы начинающиеся с "Если бы..."

Если кандидат специально трениуется проходить собеседования, то он может научится "хакать" некоторые формулировки вопросов так, что интервьюеру будет крайне сложно оценить ответ или выявить ложь.

Самая частая ошибка: некоторые вопросы сподвигают кандидатов "мечтать" или "выдумывать". Это вопросы типа "а как бы ты сделал в таком-то случае?"

Вторая по частоте ошибка: вопросы не связаны с проверяемой компетенцией напрямую.

Вот вам пример: "Я даю кандидату задачку на event loop. Через неё я увижу, интересуется ли кандидат фронтендом глубже, чем просто базовый уровень."

Этот вопрос будет сильно уменьшать валидность.

В нем нету прямой связи компетенции «эффективное обучение» и результата решения задачи.

Более валидный способ: спросить напрямую о поведении, которое кандидат уже проявлял в прошлом: «Приведи пример, когда тебе хотелось разобраться в сложной теме заранее, и ты самостоятельно что-то изучил»

Так, ок, к этому моменту должно было стать понятно, что грамотное собеседование это сложно.

Что же делать?

Есть несколько вариантов:

1. Забить и продолжать делать как раньше, но осознавая, что ваше собеседование это карго-культ.

2. Упростить процесс до проверки базовых навыков ("кандидат умеет решать наши задачи") + отсева неадекватов по стандартизированным критериям в вашей команде/компании ("мы не работаем с гениями-мудаками")

3. Спроектировать более валидный интервью-процесс из стандартных практик + подогнать их под уникальные требования компаний.

Давайте теперь посмотрим, как создать валидный интервью процесс в вакууме. Как это делают компании с деньгами (а точнее HR-агентства, которые на этом специализируются):

1⃣Анализ текущей работы и выявление критических компетенций (технических и общих)

2⃣Выявление критериев успешности (как мы узнаем, что нанятый кандидат хорош?)

3⃣Корреляция компетенций с критериями

4⃣Корреляция компетенций с существующими уровнями специалистов (более высокий уровень = ролевая модель в нужных компетенциях)

5⃣Создание структурированного интервью.
Включает в себя Техническое (симуляция реальной работы) и Поведенческое (ситуационное) интервью

6⃣Разработка матрицы оценки компетенций.
Шкала от "не демонстриует компетенцию", "слабо демонстрирует", "сильно демонстрирует", до "ролевая модель"

7⃣Подготовка и "обкатка" собеседующих:

- "Внутренние" интервью - собеседуем друг друга и экспертов в компании, чтобы посмотреть на то, как выглядят реальные удачные кейсы.
- Shadowing - инртервьюеры-новички ходят на собеседования, которые проводят их более старшие коллеги

8⃣Разработка курсов подготовки линейных собеседующих и устранение biases.

Устранение biases - обучение об unconsious biases и методы их предотвращения.

9⃣Налаживание процесса панельного собеседования:
- Дублирование инервьюеров - на каждом интервью присутствует два собеседующих.
- Разделение сбора информации, кросс-обсуждений и принятия решения
- Налаживание системы сбора и хранения "выявленных фактов"

1⃣0⃣Анализ и оценка валидности и эффективности процесса пост-фактум и внесение корректировок

Ну что, оно вам надо? 🤯

Перед ответом на этот вопрос, давайте еще посмотрим как выглядит классное собеседование со стороны кандидата:

Вы приходите на собеседование, где присутствуют как минимум два интервьюера. Если они отличаются друг от друга (пол, раса, возраст, уровень), то это еще лучше.

Интервьеры задают вопросы из списка. Всем кандидатам задают одинаковые вопросы.

Вопросы направлены на прошлые рабочие ситуации.

Интервьюеры независимо друг от друга ведут записи ваших ответов.

Никто из интервьюирующих не принимает решение единолично. Они не дают вам фидбек сразу. И не дают вам знать свои оценки ваших ответов.

Они собирают факты, а не оценивают ответы. Единственный фидбек - это то, что интервьюеры все записали и правильно все поняли.

На технической части вам дают задачи, максимально приближенные к реальному проекту. С вами по-сути симулируют ежедневную работу.

Можно пользоваться любыми рабочими инструментками, в том числе гуглом и стек оверфлоу (и иногда звонком другу).

После интервью у вас фоллоу-ап с понятными дедлайнами на принятие решений и дополнительные этапы.

Ну что, это похоже на ваше обычное интервью? 🤬

Чтобы вы не ушли полностью деморализованными, я предлагаю вам чуть упрощенную схему дизайна интервью:

1. Собрать набор 5-7 компетенций, которые вы хотите выявлять (обсудите с вашими топами)

2. Составить список поведенческих вопросов, которые выявляют каждую компетенцию

3. Составить матрицу оценки: каждый вопрос оценивается от "компетенция не продемонстрирована" до "может быть ролевой моделью данной компетенции"

4. Провести несколько внутренних собеседований, где самый опытный интервьюер собеседует разных коллег, с последующим разбором процесса и результатов.

5. Разделить этапы сбора информации и принятия решения (это может быть один человек, но этапы стоит разделить - сначала сбор инфы, затем вывод в конце процесса)

В компании на 50 человек силами одного ответственного для каждой роли это можно проделать за 1-2 недели.

Часть компетенций будет общей.

⚠️ Такая схема сработает с нуля, и при условии, что ваши HRы вообще прислушиваются к вашему мнению.

Что делать, если это не так?

1. Замените общие задачки на более специфические для вашей работы. Надо спрашивать алгосики? Тогда спрашивайте те, которые хотя бы как-то соотносятся в вашей работой.

2. Задавайте поведенческие вопросы в такой форме: "Приведи пример как ты это делал раньше?" вместо "А как бы ты решил проблему?"

3. Стандартизуйте набор вопросов (основные + на замену), чтобы каждому кандидату на одну и ту же вакансию задавать одинаковые вопросы.

4. Уменьшайте влияние своих unconsious biases: отлавливайте ваши автоматические реакции и "прыжки к оценке" во время собеседования и делайте об этом пометки.

И рассказывайте про когнитивные искажения своим коллегам-интервьюерам. Осознание - первый шаг к контролю

5. Записывайте факты, о которых вам сообщает собеседующий, чтобы вы могли в будущем сделать валидный вывод, и чтобы вы не забыли важные детали.

6. Перестаньте писать треды "я прособесил 100 человек в 10 командах и вот МОИ критерии отбора крутых разработчиков" 🤦‍♂️

Итак, надеюсь вы поняли основную идею: к проведению собеседований стоит подходить осознанно, потому что это влияет на бизнес очень неинтуитивным и неявным образом.

У вас как у собеседующего есть достаточно влияния, чтобы улучшить хотя бы часть процесса - пользуйтесь этим!

За скобками я оставил ряд других важных факторов, как например дизайн интервью для удобства собеседуемого и облегчения логистики процесса.
Это тоже отдельные навыки, которые можно качать и использовать.

Но мы ограничимся сегодня только вопросом валидности, так как он имеет самое большое значение в этом уравнении.

Отдельный большой вопрос - анализ имеющихся/желаемых для компании/команды компетенций, которые в процессе интервью и будут выявляться.

Но к этому шагу у вас скорее всего не будет доступа, и вы не можете на него повлиять будучи "рядовым собеседующим", поэтому изучайте сами

👍 Ставьте ваши лайки и ретвитьте этот тред. Возможно, он попадет в ленту тому, кому надо!

Материалы для углубления:

researchgate.net/publication/23… - самая известный метаанализ на тему собеседований. Именно он задал рамки оценки и проектирования интервью и считается источником базовых знаний.

researchgate.net/publication/23… - метаанализ методов собеседования, показывающий валидность комбинаций различных методов.

people.vcu.edu/~mamcdani/Publ… - метаанализ методов тестирования рабочих знаний (job knowledge tests). Помогает понять, почему "стандартные тесты знаний" (ака алгосики) работают плохо.

qualified.io/blog/posts/tru… - статья о том, как улучшить интервью для найма Software Engineer. По сути похожа на этот тред.

educative.io/blog/enterpris… - статья о том, как сделать собеседование приятней для кандидата.

opm.gov/policy-data-ov… - информация о структурных интервью от U.S. Office of Personel Management

opm.gov/policy-data-ov… - обзор подходов к оценке персонала от того же U.S. Office of Personel Management

nap.nationalacademies.org/read/1898/chap… - обзор доступных знаний про work samples - на сколько хорошо тестовые задачи предсказывают будущую успешность кандидата.

На этом все, спасибо за внимание!

P.S. я обещал отдельно тегнуть @dbalakov, @tinathedev, @gotonomad, @_ramoona, @cyberamazon, @vltansky✌️

P.P.S. Комментарий для самых образованных и внимательных:

https://twitter.com/mr_mig_by/status/1554219511120891904