اگر برای سرویستون پایش و هشدار (monitoring & alerting) انجام می‌دید شاید این به دردتون بخوره. از تیم‌هایی که روی هم سرویس فعلی ما رو می‌سازن، برخی‌ها هم یک نیروی گوش‌به‌زنگ (oncall) از تیم توسعه‌دهنده (dev) دارن و هم یکی از SRE (سرویس‌های ... (۱)
#پاسخ_به_حادثه
#سیستم_همیشه_بالا
#پاسخ_به_حادثه
#سیستم_همیشه_بالا
... حیاتی‌تر و پیچیده‌تر)، برخی فقط SRE و برخی فقط dev. همه جورش، ذیل یک سرویس مادر یکسان، هست. سرویس دیگر (CDN) که کوچک‌تر بود هم، هم SRE گوش‌به‌زنگ داشت و هم dev. برخی هشدارها به این گروه می‌ره و برخی به اون. دربسیاری مواقع، این دو همدیگر رو (یا تیم‌های دیگر رو) فرامی‌خونن. (۲)
این جزییات رو برای این می‌گم که نقش SRE اخیرا در بازار ایران پررنگ شده و درباره‌ش می‌پرسن. طبیعتا کاری که ما می‌کنیم مرجع نیست، هدف فقط دادن داده‌ی پراکنده هست. درباره‌ی هم‌کاری‌های dev و SRE و غیره اگر به درد می‌خوره می‌تونم بیشتر بنویسم. (۳)
هنگام یک outage غیربدیهی معمولا نماینده‌های چندین تیم (از جمله رهبران فنی اگر نصف شب نباشه، نه فقط شخص گوش‌به‌زنگ فعلی که شاید تازه‌کار باشه) به گروه پاسخ میان و هم‌کاری می‌کنن، در چارچوب یک پروتکل ساده‌ی پاسخ به حادثه (incident response roles) برای جلوگیری از دور خود چرخیدن. (۴)
این کار ممکنه چند دقیقه یا چند روز طول بکشه - بسته به پیچیدگی سیستم و outage. توصیه می‌شه اشخاص پس از چند ساعت جایگزین بشن و یک ماراتن طولانی پای خط پاسخ و debug نباشن تحت آدرنالین. به خصوص SREها خوب اینو رعایت می‌کنن. devهای نکرده، پشیمونن. راستش پاسخ به حادثه به نوعی جذابه. (۵)
شاید مهم‌ترین بخش: هنگام هشدار، یک اشتباه شایع، آغاز به «ریشه‌یابی» توسط پاسخ‌دهنده‌ست ولی نخستین گام باید بررسی شدت (impact) حادثه و درجه‌دهی باشه، سپس تسکین (mitigation) یا اصطلاحا جلوگیری از خون‌ریزی (مثلا برگردوندن اجزای سیستم به حالت پیشین یا دور کردن بار از محدوده‌ی ... (۶)
... تحت تاثیر)، و در نهایت «ریشه‌یابی». البته در برخی موارد گزینه‌های موجود برای تسکین، مشکل رو حل نمی‌کنه و دو گام آخر ترکیب می‌شه که معمولا یکی کار dev و دیگری کار SREهاست و معمولا همین موارده که به چند ساعت و چند روز می‌رسه.
بعدتر درباره‌ی پایش و هشدار بیشتر می‌نویسم. (۷)
بعدتر درباره‌ی پایش و هشدار بیشتر می‌نویسم. (۷)
@threadreaderapp unroll
• • •
Missing some Tweet in this thread? You can try to
force a refresh
