1994’te WebCrawler web sayfalarını dizine eklemek için ilk botu icat ettiğinde olayların buralara varacağını tahmin edemezdi. 1996’da BackRub olarak adlandırılan Googlebot internet dünyasını bambaşka bir evrene dönüştürdü. Ancak oluşturulan ‘iyimser’ botlara bir rakip gerekiyordu: Sub7 ve Pretty Park gibi botnet programları bizleri Trojan ve solucan gibi zararlı botlarla tanıştırdı.
Günümüzde kullanılan bazı botlar, arama motorları ve dijital asistanlar (ör. Siri, Alexa) gibi faydalı hizmetler için gereklidir. Çoğu şirket, sitelerinde bu tür botları memnuniyetle karşılar. Ancak diğer botlar, örneğin kimlik bilgisi doldurma, veri kazıma ve DDoS saldırıları başlatma amacıyla kullanılanlar kötü amaçlı olabilir. Yetkisiz web tarayıcıları gibi daha iyi huylu “kötü” botlardan bazıları bile, site analitiğini bozabilecekleri ve tıklama sahtekarlığı oluşturabilecekleri için sıkıntı yaratabilir.
Tüm İnternet trafiğinin %40’ından fazlasının bot trafiğinden oluştuğuna ve bunun önemli bir kısmının da kötü niyetli botlar olduğuna inanılıyor. Bu nedenle birçok kuruluş sitelerine gelen bot trafiğini yönetmenin yollarını arıyor. Günümüzde çoğu internet sitesinde robot olmadığını doğrulama adımları bulunuyor.
Botlar nasıl anlaşılıp tespit edilir?
Web mühendisleri, sitelerine gelen ağ isteklerine doğrudan bakabilir ve olası bot trafiğini belirleyebilir. Google Analytics veya Heap gibi entegre bir web analizi aracı da bot trafiğini tespit etmeye yardımcı olabilir. Aşağıdaki analitik anormallikler, bot trafiğinin ayırt edici özellikleridir:
- Anormal derecede yüksek sayfa görüntüleme sayısı
- Anormal derecede yüksek hemen çıkma oranı
- Şaşırtıcı derecede yüksek veya düşük oturum süresi
- Beklenmedik bir yerden gelen trafikte ani artış
Yukarıda belirtildiği gibi, yetkisiz bot trafiği, sayfa görüntüleme, hemen çıkma oranı, oturum süresi, kullanıcıların coğrafi konumu ve dönüşümler gibi analitik ölçümlerini etkileyebilir. Metriklerdeki bu sapmalar site sahibi için hayal kırıklığı yaratabilir; bot etkinliğiyle dolup taşan bir sitenin performansını ölçmek çok zordur. A/B testi ve dönüşüm oranı optimizasyonu gibi siteyi iyileştirme girişimleri de botlar tarafından oluşturulan istatistiksel gürültü tarafından engellenebilir.
Çok miktarda bot trafiği göndermek, saldırganların DDoS saldırısı başlatması için çok yaygın bir yoldur. Bazı DDoS saldırıları sırasında, bir web sitesine o kadar çok saldırı trafiği yönlendirilir ki, kaynak sunucu aşırı yüklenir ve site yavaşlar veya meşru kullanıcılar için tamamen kullanılamaz hale gelir. Sunucudaki ağırlaşma sonrası Google arama motorunda indexlenen sayfalarınız sıralamada gerilere düşebilir. Dolayısıyla bu durum kazancınızı da etkileyebilir.
Bot saldırısı nasıl durdurulur?
Bir web sitesine gelen bot trafiğini durdurmanın veya yönetmenin ilk adımı bir robots.txt dosyası eklemektir. Bu, sayfayı tarayan botlar için talimatlar sağlayan bir dosyadır ve botların bir web sayfasını ziyaret etmesini veya bir web sayfasıyla etkileşime girmesini tamamen engelleyecek şekilde yapılandırılabilir. Ancak robots.txt’de sadece iyi botların kurallara uyacağına dikkat edilmelidir; kötü niyetli botların bir web sitesini taraması engellemez.
Kötü niyetli botları engellemenin en önemli ve kısa yolu kısa süreli (örneğin 5 dakikalığına) websitenizin barındığı sunucuyu kapatmaktır. Bu kapatma sonrası kullanıcılar url trafiği oluşturmaz ve botlar sitenizden ayrılmaya başlar. Ta ki ikinci bir saldırı gelene kadar! Günü kurtarmak gibi görünen bu yöntem, bir gözünüzün Analytics metriğinde olmasını gerektirebilir.
Youtube’da yaptığımız araştırmalarda Hint aksanlı İngilizce konuşan bir kanalın Cloudflare isimli bir aracı kullandığını öğrendik. New York Menkul Kıymetler Borsası’nda NET koduyla işlem gören bu şirket bir DDoS saldırı önleme hizmeti sunuyor. Cloudflare müşterisinin barındırma sağlayıcısı arasında gerçekleşir ve web siteleri için ters proxy görevi görür. Böylece DDoS saldırılarından minimum oranda etkilenmenizi sağlar. Cloudflare’ın çözümleri sayesinde websitenizde bulunan botlar tespit ediliyor. Bot Fight Mode seçeneğini aktif kılarak zararlı botları engelleyebiliyorsunuz.