امروز برخی سرویس‌های گوگل برای ۴۵ دقیقه خوابید و رفت در خبرها. بیشتر outageهای بزرگ حاصل تعامل چند اشکال با همه، این بار در file system توزیع‌شده‌ی گوگل (Colossus) برای سرویس‌دهی به سیستم احراز هویت گوگل (GAIA). بهانه‌ایست تا یک رویکرد سازمانی مرتبط و خیلی مهم رو مرور کنیم: (۱)
یک مثال که معمولا در کلاس‌های دوره‌ی معارفه مرور می‌شه اینه که یک بار یک بابایی یک configای در سیستم مدیریت jobها (سیستم Borg که بابای Kubernetes است) push کرد و کلّ گوگل رفت پایین! pagerها شروع کرد به زنگ و SREها این ور اون ور می‌دویدن و این حرفا. (۲)
این بابا، با این pushاش ظاهرا نامرتبط بود و بعید بود کار اون باشه، سریع به همه خبر داد و rollback هم کرد. و قضیه حل شد. این شخص که کل گوگل رو برای چند دقیقه آورده بود پایین، توبیخ شد؟ نه اتفاقا جایزه گرفت (peer bonus که هم‌کار به هم‌کار می‌ده) چون دقیقا کارِ درست رو کرده بود. (۳)
این بخشِ مهمی از فرهنگ برخورد با مشکلاته که مرتبا به همه یادآوری می‌شه مثلا در آموزش‌های دوره‌ای و سخنرانی‌ها و ارتباطاتِ درون‌سازمانی (مثلا فصل‌نامه‌ی جالبی که ۵ حادثه‌ی برترِ محصولات گوگل در فصل رو با مایه‌ی آموزش و طنز مرور می‌کنه هر بار اینو تکرار می‌کنه) که: (۴)
«وقتی مشکلات رخ می‌دن ما دنبال اینیم که چه چیزی رو در سیستم‌ها و فرآیندها بهبود بدیم نه این که چه کسی هنگام مشکل چی کار کرد». ما حتی در کالبدشکافی‌ها (postmortem، مستندی که پس از حادثه می‌نویسیم) ترجیح می‌دیم نام افراد رو نیاریم، فقط نقش‌شون رو بیاریم یا افعال مجهول بنویسیم. (۵)
این مساله مهمه، چون افراد باید ترغیب بشن اشتباهاتشون رو خیلی باز و سریع اطلاع‌رسانی کنن، نه این که مخفی کنن. مقصریابی (blaming) سوتی‌دهنده هیچ‌وقت مطرح نیست - از قضا یک بار مطرح شد همراه با گفتگوی جدی، و اون نه برای اشتباه شخص بلکه برای مخفی‌کردنش وسرِ کار گذاشتنِ بقیه بود. (۶)
از هم‌کارانی از شرکت‌های معروف دیگر بهتره نام نبرم، مثال‌های برعکس شنیدم مثلا کسی که سوتی داده دیگه حالا حالاها شانسی برای ترفیع نداره. این فرهنگ بده چون باعث می‌شه دو زهر «سکوت» و «ترس از تغییر» مُد بشه.
بد نیست در شرکتتون روی این زیرساخت فرهنگی کار کنید. (۷)
#سیستم_همیشه_بالا
بد نیست در شرکتتون روی این زیرساخت فرهنگی کار کنید. (۷)
#سیستم_همیشه_بالا
Further reading: sre.google/sre-book/postm…
• • •
Missing some Tweet in this thread? You can try to
force a refresh
