Robots TXT Ayarları

Web sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek, SEO'nun en temel ve kritik adımlarından biridir. İşte bu noktada devreye giren sihirli dosya: robots.txt. Bu dosya, sitenizin dijital kapı bekçisi gibidir; hangi arama motoru botunun nereye girebileceğini ve nereye giremeyeceğini belirler. Doğru yapılandırılmış bir robots.txt dosyası, taranma bütçenizi optimize eder, sunucu yükünü azaltır ve sitenizin önemli sayfalarının daha hızlı dizine eklenmesine yardımcı olur.

1. Robots.txt Nedir ve Ne İşe Yarar?

Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına (crawler/spider) sitenin hangi bölümlerine erişip erişemeyeceklerini bildiren basit bir metin dosyasıdır. Bu dosya, "Robot Dışlama Protokolü" (Robots Exclusion Protocol) standardına uyar.

Temel işlevleri şunlardır:

• Taranma Bütçesini Yönetme: Arama motorlarının siteniz için ayırdığı sınırlı tarama kaynağını (crawl budget), önemsiz sayfalar (yönetim paneli, arama sonuçları, etiket sayfaları vb.) yerine önemli sayfalarınıza yönlendirir.
• Sunucu Yükünü Azaltma: Botların siteyi çok sık tarayarak sunucuyu yormasını engeller.
• Düşük Değerli Sayfaları Engelleme: Yinelenen içerik veya kullanıcıya değer katmayan sayfaların taranmasını ve potansiyel olarak dizine eklenmesini önler.

Önemli Not: Robots.txt bir güvenlik önlemi değildir. Sayfaları gizlemek için kullanılmaz, sadece iyi niyetli botlara bir yol haritası sunar. Kötü niyetli botlar bu dosyayı görmezden gelebilir. Hassas bilgileri korumak için parola koruması gibi yöntemler kullanılmalıdır.

2. Robots.txt Dosyasının Temel Yapısı ve Komutları

Bir robots.txt dosyası, bir veya daha fazla kural grubundan oluşur. Her grup bir `User-agent` ile başlar ve ardından `Disallow` veya `Allow` direktifleri gelir.

Temel Direktifler:

• User-agent: Kuralın hangi bot için geçerli olduğunu belirtir. `Googlebot` (Google), `Bingbot` (Bing) gibi özel botlar veya `*` (tüm botlar) kullanılabilir.
• Disallow: Belirtilen botun erişmemesi gereken dosya veya dizini tanımlar. Boş bırakılırsa hiçbir şey engellenmez.
• Allow: Engellenmiş bir dizin içinde yer alan belirli bir dosya veya alt dizine erişim izni vermek için kullanılır.
• Sitemap: Sitenizin site haritasının konumunu belirtir. Bu, botların tüm önemli URL'lerinizi bulmasına yardımcı olur. Genellikle dosyanın en altına eklenir.

3. Pratikte Robots.txt Ayarları: Örnek Senaryolar

Aşağıda en sık karşılaşılan senaryolar için bazı robots.txt örnekleri bulunmaktadır.

Senaryo 1: Tüm Sitenin Taranmasına İzin Verme

Senaryo 2: Tüm Sitenin Taranmasını Engelleme (Geliştirme Aşamasındaki Siteler İçin)

Senaryo 3: Belirli Bir Klasörü Engelleme

Senaryo 4: Engellenen Klasör İçindeki Bir Dosyaya İzin Verme

4. Robots.txt Oluşturma ve Siteye Ekleme

Robots.txt dosyası oluşturmak ve sitenize eklemek oldukça basittir.

1. Dosya Oluşturun: Herhangi bir metin düzenleyici (Not Defteri, VS Code vb.) kullanarak `robots.txt` adında bir dosya oluşturun. İsmin tamamen küçük harflerle yazıldığından emin olun.
2. Kuralları Yazın: Siteniz için uygun olan direktifleri dosyanın içine yazın.
3. Kök Dizine Yükleyin: Dosyayı, sitenizin kök dizinine (public_html, www, httpdocs gibi) yükleyin. Dosyaya `https://www.alanadiniz.com/robots.txt` adresinden erişilebilmelidir.

5. Robots.txt Test Etme ve Doğrulama

Robots.txt dosyanızı yayınladıktan sonra doğru çalıştığından emin olmanız çok önemlidir. Yanlış bir yapılandırma, sitenizin tamamının arama motorlarından kaybolmasına neden olabilir.

Bunun için en güvenilir araç Google Search Console'dur. Search Console hesabınızda bulunan "Robots.txt Test Aracı", dosyanızdaki hataları görmenizi ve belirli URL'lerin engellenip engellenmediğini test etmenizi sağlar. Bu aracı kullanarak dosyanızı canlıya almadan önce olası sorunları tespit edebilirsiniz.

6. Sık Yapılan Hatalar ve Kaçınılması Gerekenler

• CSS ve JavaScript Dosyalarını Engellemek: Google'ın sayfalarınızı doğru bir şekilde görmesi ve anlaması için bu dosyalara erişmesi gerekir. Bu dosyaları engellemek, sitenizin mobil uyumluluk ve render (oluşturma) sorunları yaşamasına neden olabilir.
• `noindex` ile Karıştırmak: Bir sayfayı `robots.txt` ile engellemek, o sayfanın dizine eklenmesini %100 engellemez. Eğer başka sitelerden link alıyorsa, sayfa URL'si yine de dizine eklenebilir. Bir sayfanın kesinlikle dizine eklenmemesini istiyorsanız, o sayfanın HTML koduna `` etiketini eklemelisiniz.
• Yazım Hataları (Syntax Errors): `Disallow` yerine `Dissallow` yazmak gibi basit bir yazım hatası, kuralın tamamen geçersiz olmasına neden olur.
• Büyük/Küçük Harf Duyarlılığı: URL yolları büyük/küçük harfe duyarlıdır. `/Klasor/` ile `/klasor/` farklıdır. Kurallarınızı yazarken buna dikkat edin.

Sonuç

Doğru yapılandırılmış robots.txt ayarları, teknik SEO'nun temel taşlarından biridir. Sitenizin arama motorları ile olan iletişimini düzenleyerek hem kullanıcı deneyimini iyileştirir hem de organik sıralamalarda daha iyi performans göstermenize olanak tanır. Bu rehberdeki adımları izleyerek sitenizin dijital kapı bekçisini en etkili şekilde yönetebilirsiniz.