robots.txt ve Sitemap.xml Rehberi: Doğru Kurulum ve Sık Hatalar

Bir sitenin aramadan tamamen kaybolması için gereken şey bazen tek satırdır:

User-agent: *
Disallow: /

Bu iki satır, geliştirme ortamında doğru; canlıya yanlışlıkla taşındığında siteyi Google'dan siler. Yayına alma sonrası en sık yapılan ve en pahalıya patlayan teknik hatalardan biridir.

robots.txt ve sitemap.xml, arama motoruyla kurduğunuz iki temel iletişim kanalıdır. Bu rehberde ikisinin de ne yaptığını, nasıl doğru yazılacağını ve nerelerde yanlış yapıldığını anlatıyoruz.

robots.txt Nedir, Ne Yapar?

Sitenizin kök dizininde (siteniz.com/robots.txt) duran düz metin dosyasıdır. Arama motoru botlarına hangi adresleri taramamaları gerektiğini söyler.

Kritik ayrım: robots.txt taramayı engeller, dizine girmeyi değil.

Bu ikisi çok karıştırılıyor. Bir sayfayı robots.txt ile engellerseniz Google o sayfayı okuyamaz — ama başka sitelerden ona link veriliyorsa içeriğini görmeden dizine alabilir. Sonuç, arama sonuçlarında açıklaması olmayan tuhaf bir kayıt olur.

Son satır önemli: robots.txt ile engellenen bir sayfadaki noindex etiketi Google tarafından görülemez. Bir sayfayı dizinden çıkarmak istiyorsanız önce noindex verin, düştüğünü doğruladıktan sonra engelleyin.

Doğru robots.txt Nasıl Yazılır?

Çoğu site için gereken dosya bu kadar sadedir:

User-agent: *
Disallow: /wp-admin/
Disallow: /sepet
Disallow: /odeme
Disallow: /arama
Allow: /wp-admin/admin-ajax.php

Sitemap: https://siteniz.com/sitemap.xml

Kurallar:

• User-agent hangi bota seslendiğinizi belirtir; * hepsi demektir.
• Disallow taranmayacak yolu belirtir. Boş bırakılırsa (Disallow:) her şey serbest demektir.
• Allow bir Disallow'un içindeki istisnayı açar.
• Sitemap satırı site haritanızın tam adresini verir; birden fazla olabilir.
• Dosya UTF-8 olmalı ve kök dizinde durmalıdır. Alt klasördeki robots.txt geçersizdir.

Engellenmesi mantıklı olanlar: yönetim panelleri, sepet ve ödeme adımları, site içi arama sonuç sayfaları, sonsuz filtre kombinasyonları, kişisel veri içeren alanlar.

Asla engellenmemesi gerekenler: CSS ve JavaScript dosyaları. Google sayfayı kullanıcının gördüğü gibi işlemek için bunlara ihtiyaç duyar; engellenirse sayfa bozuk görünür ve mobil uyumluluk değerlendirmesi olumsuz etkilenir.

Sitemap.xml Nedir?

Site haritası, sitenizdeki önemli adreslerin listesidir. Google'a "şunları taramanı istiyorum" demenin en doğrudan yoludur.

Temel yapı:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://siteniz.com/</loc>
    <lastmod>2026-08-13</lastmod>
  </url>
  <url>
    <loc>https://siteniz.com/hizmetler</loc>
    <lastmod>2026-07-02</lastmod>
  </url>
</urlset>

Sınırlar: tek dosyada en fazla 50.000 URL ve 50 MB (sıkıştırılmamış). Daha büyük sitelerde sitemap index kullanılır:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap><loc>https://siteniz.com/sitemap-urunler.xml</loc></sitemap>
  <sitemap><loc>https://siteniz.com/sitemap-blog.xml</loc></sitemap>
</sitemapindex>

Bölerek yazmanın gizli faydası: Search Console'da her sitemap ayrı raporlanır, böylece hangi bölümün dizine girmediğini doğrudan görürsünüz. Ürünlerin %90'ı dizinde ama blogun %30'u dizindeyse sorunun yerini bir bakışta bulursunuz.

Site Haritasında Yapılan Altı Hata

1. Dizine girmemesi gereken URL'leri listelemek. noindex olan, canonical'ı başka sayfayı gösteren veya 301 veren adresler sitemap'te olmamalı. Sitemap "bu önemli" demektir; canonical "bu asıl değil" der. İkisi çelişince Google canonical etiketinizi yok sayabilir.

2. lastmod alanını her gün güncellemek. İçerik değişmediği halde tarihi yenilemek güven kaybettirir; Google bir süre sonra bu alana bakmayı bırakır. Sadece içerik gerçekten değiştiğinde güncelleyin.

3. priority ve changefreq alanlarına anlam yüklemek. Google bu iki alanı büyük ölçüde yok sayıyor. Zaman harcamaya değmez.

4. Farklı protokol/alt alan adı karıştırmak. Sitemap içindeki adresler, sitemap'in bulunduğu alan adıyla aynı olmalı ve canonical sürümle eşleşmeli.

5. 404 veren adresleri bırakmak. Silinen sayfaların sitemap'ten de çıkması gerekir; aksi halde tarama bütçeniz boşa gider.

6. Sitemap'i hiç göndermemek. Dosyayı oluşturup Search Console'a eklemeyi unutmak sık görülür. robots.txt'e Sitemap: satırını eklemek de ayrıca faydalıdır.

Tarama Bütçesi ile İlişkisi

Küçük siteler için tarama bütçesi (crawl budget) bir sorun değildir. Ama on binlerce URL üreten sitelerde şu döngü kurulur: Google sınırlı sayıda sayfa tarar; bu sayfalar filtre kombinasyonlarıyla doluysa gerçek ürün sayfalarınıza sıra gelmez.

Bu durumda robots.txt gerçek bir kaldıraç haline gelir:

• Sonsuz filtre kombinasyonlarını engelleyin (Disallow: /*?renk=)
• Site içi arama sonuçlarını engelleyin
• Takvim/tarih bazlı sonsuz sayfaları engelleyin

Ama dikkat: engellediğiniz sayfalara verdiğiniz iç linkler artık kör noktaya gider. Engellemeden önce o sayfalara giden iç link yapısını gözden geçirin.

Kurulum Sonrası Doğrulama

1. siteniz.com/robots.txt adresini tarayıcıda açın. 200 dönmeli ve içeriği okunabilir olmalı.
2. Search Console → Ayarlar → robots.txt raporunda dosyanın alındığını ve hata olmadığını doğrulayın.
3. URL Denetimi aracıyla birkaç önemli sayfayı test edin; "Tarama izni verildi mi?" satırı Evet demeli.
4. Sitemap'i Search Console'a gönderin ve birkaç gün sonra "Bulunan URL" sayısıyla "Dizine eklenen" sayısını karşılaştırın.
5. Aradaki fark büyükse Sayfalar raporundaki dışlanma sebeplerine bakın.

Bu adımların hepsi Search Console rehberimizde ekran ekran anlatılıyor.

Yayına Alırken Kontrol Listesi

Yeni site yayına alırken en sık unutulan iki madde şunlar:

• Geliştirme ortamındaki Disallow: / satırı kaldırıldı mı?
• Tema/şablon ayarlarındaki "Arama motorlarını engelle" seçeneği kapatıldı mı?

İkisi de tek tıkla düzelen ama fark edilmesi haftalar alabilen hatalardır. Yayın gününde ilk yapılacak iş robots.txt'i açıp bakmaktır. Daha geniş bir kontrol için teknik SEO kontrol listesi yazımıza göz atın.

Sık Sorulan Sorular

robots.txt olmayan site cezalandırılır mı?

Hayır. Dosya yoksa Google her şeyi taranabilir kabul eder. Yine de sitemap satırını barındırdığı için oluşturmak faydalıdır.

Yapay zekâ botlarını engellemeli miyim?

Karar sizin. GPTBot, ClaudeBot, PerplexityBot gibi kullanıcı aracıları robots.txt ile engellenebilir. Ancak içeriğinizin yapay zekâ yanıtlarında kaynak gösterilmesini istiyorsanız engellemek görünürlük kaybettirir — bu dengeyi GEO rehberimizde tartıştık.

Sitemap'i ne sıklıkla güncellemeliyim?

Otomatik üretin. İçerik yönetim sisteminiz yeni sayfa eklendiğinde sitemap'i güncellemiyorsa elle bakım sürdürülebilir olmaz.

Engellediğim sayfa Google'da hâlâ çıkıyor, neden?

robots.txt taramayı engeller, dizine girmeyi değil. Sayfayı dizinden çıkarmak için noindex gerekir — ve noindex'in okunabilmesi için sayfanın taranabilir olması gerekir.

İlgili Makaleler:

• Teknik SEO Kontrol Listesi: 30 Madde
• Google Search Console Rehberi
• Canonical Etiketi Rehberi
• SEO Uyumlu Site Mimarisi ve URL Yapısı
• 404 Hatası Rehberi