Facebook’un Türk Mühendisi, çöküş gecesini anlattı: Film gibi hikayesi var
Dünyanın en güçlü şirketlerinden Facebook, tarihin en büyük internet krizini yaşadığında milyarlarca insan iletişimden yoksun kaldı. Yaklaşık 8 saat süren kesinti sebebi ile şirket 99,75 milyon dolar zarar etti.
Facebook bir anda internetin altyapısından silindi, nasıl oldu da mühendisleri kendi şirketlerinin koruma kalkanlarını kesmek zorunda kaldı? 7 ay önce Uber’den Facebook’a Kıdemli Yazılım Mühendisi olarak transfer olan Eren Algan çöküş gecesi yaşananları Webtekno’ya anlattı.
"Herhangi bir internet adresine ulaşabilmeniz için bu iki sistem de gereklidir. DNS (internetin telefon rehberi’ diyebiliriz. Tarayıcıya "facebook.com" yazdığınızda bu adresin hangi IP’ye 'bir nevi kimlik numarasına' sahip olduğunu söyleyen sistemdir) size yazdığınız karakterlerin hangi IP’ye ait olduğunu söylerken, sizin bulunduğunuz ağdan gitmek istediğiniz ağa en hızlı biçimde nasıl gideceğinizi söyleyen sistem ise BGP (Kısaca ‘internetin posta servisi’ gibi denilebilir. WhatsApp’tan bir mesaj göndermek istediğinizde bu bilgiyi en hızlı/verimli şekilde karşıdaki kişiye göndermek için çalışır) diyor. Basit bir örnekle anlatalım: WhatsApp’a girdiniz arama kutusuna bir kişinin adını yazdınız; sonuçlar karşınıza geldi ve kişi adı telefon numarası/profili ile eşleşti (DNS). Kişiyi aradınız, komut bilgisi önce size en yakın baz istasyonuna, ardından en yakın uydu ve karşıdaki kişiye en yakın baz istasyonuna son olarak telefonuna ulaştı (BGP).
Facebook'un "Kendi bilgi işlem merkezleri (data center’ları) olan, devasa bir ağ yapısına sahip bir kurum" diyen Eren Algan "Hatta ve hatta Pasifik Okyanusu'nun altından kendi fiber optik kablolarını geçiren muazzam boyutta bir şirketten söz ediyoruz. Bütün bu kablolu ağlar ise Facebook’un ‘backbone network' adını verdiği bir kablolama sistemi üzerinden geçiyor" diyor.
Yani çoğunlukla kablosuz olarak bağlantı kurduğumuz Facebook, aslında internetin doğası gereği tüm sistemlerini kablolara borçlu. Dolayısı ile şirket, bu kablolu altyapıya düzenli olarak bakım yapması gerekiyor, sadece bu işle ilgilenen mühendislik ekipleri düzenli olarak testler gerçekleştiriyor.
MÜHENDİSİN YANLIŞ KOMUTU SONU GETİRDİ
"4 Ekim'de rutin bir 'backbone' bakım işlemi sırasında bir mühendis, bu ağın ne kadar kapasitesinin olduğunu anlamak için bir komut çalıştırdı. Bu komut, istenmeyen bir biçimde 'backbone' ağının bütün bağlantılarını alaşağı etti; Facebook'u bütün bilgi işlem merkezlerini çevrimdışı hale getirdi."
Facebook sistemlerinin normalde bu tarz hataları engellemek üzerine kurulu olduğunu söyleyen Eren Algan; "Ancak talihsizlik olacak ki bu hataları anlamak için geliştirilen yazılımda da bir hata meydana geldi, bu nedenle mühendisin girdiği hatalı komut durdurulamadı. Sonucunda Facebook’un bilgi işlem merkezleri ile internet arasındaki bağ koptu."
Algan "Facebook'un DNS sunucuları; eğer kendi bilgi işlem merkezlerine ulaşamazsa, kendilerini 'ulaşılamaz/hatalı' olarak işaretliyor, durumu posta servisine (BGP’ye) bildiriyor. Çöküş gecesi ise DNS sunucuları ‘Biz evde yokuz, hatta ev bile yok’ anlamına gelen hata verdi."
DÜNYANIN EN BÜYÜK İNTERNEK ŞİRKETİ İNTERNETSİZ KALDI
Facebook ve bağlı tüm uygulamalarında bir sorun olduğunu anlayan hemen mühendislerin işe koyulduğunu söyleyen Eren Algan "Hiç de hoş olmayan diğer bir sürprizle karşılaştılar. Bütün bilgi işlem merkezleri çevrimdışı olduğu için hiç kimsenin internet üzerinden müdahale etme ihtimali yoktu." diyor. Yani dünyanın en büyük internet şirketlerinden Facebook’un çalışanları, yeryüzünde internet varken "internetsiz" kalıyor.
"Tek yapılabilecek şey, fiziki olarak bilgi işlem merkezlerine gidip, DNS sunucularını ayağa kaldırmak olacaktı. Tabii ki de bu o kadar basit değildi. Facebook, hacker’lar bilgi işlem merkezlerine girmesinler diye ekstra güvenlik önlemleri almıştı. Mühendisler bu bilgisayarlara ulaşmak için spiral testere makinesi alip adeta bir hırsız gibi kendi şirketlerinin fiziki güvenlik engellerini kesmek zorunda kaldılar."
*Haberin tamamını yukarıdaki linkten okuyabilirsiniz.
