Robots.txt Nedir? Ne İşe Yarar, Nasıl Oluşturulur?

Robots.txt, arama motoru botlarının bir siteye girdiklerinde okudukları ilk dosyadır ve hangi alanların taranacağını belirleyen yönergeleri taşır. Bu rehberde dosyanın çalışma mantığını, user-agent, disallow ve allow komutlarının doğru kullanımını, WordPress ve e-ticaret altyapılarında oluşturma adımlarını, Search Console üzerinden doğrulama akışını ve tarama bütçesini koruyan stratejileri kopyalanabilir örneklerle ele aldık.
Robots.txt Nedir ve Nasıl Çalışır?
Robots.txt, bir alan adının kök dizininde yer alan ve arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini bildiren düz metin dosyasıdır. Dosyanın geçerli adresi her zaman alanadiniz.com/robots.txt biçimindedir. Alt klasörlere yerleştirilen kopyalar botlar tarafından okunmaz.
İçeriği satır satır, yukarıdan aşağıya değerlendirilen basit bir yapıya sahiptir ve her satır belirli bir bot grubuna yönelik bir yönerge taşır. Dosyanın işlevi tarama davranışını yönlendirmekle sınırlıdır. Sayfaların dizine eklenip eklenmeyeceğini ya da arama sonuçlarında nasıl görüneceğini doğrudan belirlemez.
Robots.txt Dosyasının Tanımı ve Temel Amacı
Robots.txt bir erişim izni mekanizması değil, gönüllülük esasına dayanan bir yönerge setidir. Googlebot, Bingbot ve Yandex gibi büyük arama motoru botları bu yönergelere uyar. Öte yandan içerik kazıyan scraper yazılımları, spam botları ve kötü niyetli tarayıcılar dosyayı tamamen yok sayabilir.
Gerçek bir erişim kısıtlaması gerektiğinde sunucu tarafında kimlik doğrulama, IP filtreleme veya güvenlik duvarı kuralları devreye girer. Dosyanın asıl değeri, tarama kaynağının değerli sayfalara yönlendirilmesinde ve sunucu üzerindeki gereksiz isteklerin azaltılmasındadır. Bu nedenle robots.txt, bir güvenlik aracı olarak değil, teknik SEO altyapısının trafik yönlendirme katmanı olarak konumlandırılır.
Arama Motoru Botları Robots.txt Dosyasını Nasıl Okur?
Bir bot siteye ulaştığında herhangi bir URL'yi talep etmeden önce kök dizindeki robots.txt dosyasını ister. Bu davranış, 1994'ten bu yana kullanılan ve 2022'de RFC 9309 ile resmileştirilen Robots Exclusion Protocol'den gelir.
Bot, dosyadaki user-agent bloklarını tarar ve kendi adıyla eşleşen bloğu bulduğunda yalnızca o bloğun kurallarını uygular; eşleşme yoksa yıldız işaretiyle tanımlanan genel bloğa döner. Kurallar arasında çakışma oluştuğunda Google yol uzunluğuna göre en spesifik kuralı uygular; joker karakterli kurallar dahil çakışmanın sürdüğü durumlarda ise en az kısıtlayıcı kural geçerli sayılır. Dosya bulunmadığında ise sitenin tamamı taranabilir kabul edilir.
Robots.txt, Noindex ve Canonical Arasındaki Fark
Üç yöntem de arama motorlarındaki görünürlüğü etkiler ancak farklı işlevlere sahiptir ve birbirinin yerine kullanılamaz. Robots.txt taramayı, noindex sayfanın dizine eklenmesini, canonical ise yinelenen sayfalar arasında tercih edilen URL'nin belirlenmesini yönetir. Tabloda bu yöntemlerin işlevlerini, dizinden kaldırma üzerindeki etkilerini ve yaygın kullanım senaryolarını inceleyebilirsiniz:
Yöntem | Engellediği işlem | Dizinden kaldırır mı? | Kullanım senaryosu |
Robots.txt Disallow | Sayfanın taranmasını | Hayır, dış bağlantı varsa URL dizinde kalabilir | Sepet, hesap, arama sonucu ve filtre URL'leri |
Noindex meta etiketi | Sayfanın dizine eklenmesini | Evet, sayfa taranabilir durumdaysa | Teşekkür sayfaları, ince içerikli etiket arşivleri |
Canonical etiketi | Hiçbirini, yalnızca sinyal birleştirir | Hayır, sinyalleri asıl adreste toplar; tercih zorunluluk değil öneridir | UTM parametreli ve sıralama varyantlı URL'ler |
Tablodaki ayrım, en sık karşılaşılan hatanın da kaynağıdır. Bir sayfa robots.txt ile engellendiğinde bot sayfanın içeriğine ulaşamaz, dolayısıyla içerideki noindex etiketini de okuyamaz.
İki yöntemin aynı URL üzerinde birlikte kullanılması, dizinden çıkarma hedefini doğrudan sabote eder. Kesin olarak dizin dışında kalması istenen adreslerde doğru yaklaşım, sayfayı taramaya açık bırakıp meta etiketleri üzerinden noindex tanımlamaktır. Parametre kaynaklı yinelenme sorunlarında ise engelleme yerine canonical URL kullanımı sinyal kaybını önler.
Robots.txt Söz Dizimi ve Komutları
Robots.txt söz dizimi birkaç direktiften oluşur ve her satır "direktif: değer" biçiminde yazılır. Yollar büyük küçük harf duyarlıdır, bu nedenle /Urunler/ ile /urunler/ farklı iki yol olarak değerlendirilir. Yeni bir kural grubunu başlatan unsur user-agent satırının kendisidir; boş satırlar yalnızca okunabilirliğe hizmet eder ve diyez işaretinden sonraki her şey yorum olarak yok sayılır.
User-agent, Disallow ve Allow Direktifleri
User-agent satırı kuralın hangi bota yönelik olduğunu tanımlar; Googlebot, Googlebot-Image ve Bingbot gibi adlar doğrudan yazılabilir. Disallow belirtilen yolun taranmasını kısıtlar, Allow ise kapatılmış bir dizinin içindeki belirli bir adrese istisna tanır. Aşağıdaki örnekte tüm botlar için yönetim paneli kapatılırken panel içindeki bir dosyaya istisna tanınıyor; görsel botu ise kendi bloğuna sahip olduğu için yıldız grubundaki kuralları uygulamaz ve yalnızca kendisine tanımlanan dizin kısıtlamasına uyar:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /gizli-gorseller/
Allow direktifinin önceliği yol uzunluğuna bağlıdır. Google, aynı URL'ye uyan birden fazla kural bulunduğunda karakter sayısı en yüksek olan kuralı uygular. Bu nedenle yukarıdaki örnekte admin-ajax.php dosyası erişilebilir kalır. Tema ve eklenti klasörlerindeki CSS ve JavaScript dosyalarının engellenmemesi de aynı mantıkla önem taşır, çünkü Google sayfayı oluştururken bu kaynaklara ihtiyaç duyar.
Sitemap ve Crawl-delay Satırları
Sitemap direktifi herhangi bir user-agent bloğuna bağlı değildir ve dosyanın neresinde yer alırsa alsın geçerli sayılır. Mutlak adres biçiminde yazılması gerekir, birden fazla sitemap satırı art arda tanımlanabilir. Bu satır, özellikle iç bağlantı yapısı zayıf sitelerde botun keşif sürecini hızlandırır ve site haritası dosyasının kalıcı bir referans noktası kazanmasını sağlar.
Sitemap: https://alanadiniz.com/sitemap_index.xml
Crawl-delay satırı ise botlar arasında farklı karşılanır. Google bu alanı desteklenmeyen direktifler arasında sayar; Search Console'daki tarama hızı sınırlama aracı da 2024 başında kaldırıldığı için Googlebot kaynaklı yük, sunucunun döndürdüğü 500, 503 ve 429 yanıtlarıyla yönetilir. Yandex, 22 Şubat 2018 tarihinden itibaren Crawl-delay direktifini dikkate almayı bırakmış ve tarama hızı ayarını Yandex Webmaster paneline taşımıştır. Satırın pratikte karşılık bulduğu yer Bing tarafıdır; sunucu kaynaklarının zorlandığı projelerde oradaki yükü azaltabilir, ancak Google kaynaklı tarama baskısına çözüm sunmaz.
Joker Karakterler: Yıldız (*) ve Dolar ($) Kullanımı
Yıldız karakteri herhangi bir karakter dizisini, dolar işareti ise URL'nin sonunu temsil eder. Bu iki karakter birlikte kullanıldığında parametreli adresler, dosya uzantıları ve filtre kombinasyonları tek bir kural üzerinden tanımlanabilir. Örnekte, filtre parametresi içeren tüm URL'leri ve PDF uzantılı dosyaları kapsam dışında bırakan bir yapı gösteriliyor:
User-agent: *
Disallow: /*?filter=
Disallow: /*.pdf$
Disallow: /*?*sort=
Joker karakterlerde en önemli nokta, geniş kalıpların istenmeyen sayfaları da kapsamasıdır. Örneğin /*? kalıbı soru işareti içeren her adresi kapatır ve dil parametresi ya da sayfalama parametresi taşıyan önemli kategori sayfaları da bu kapsama girebilir. Yayına almadan önce kalıbın hangi URL'lerle eşleştiğini Screaming Frog benzeri bir tarayıcıyla test etmek, kapsam kaybını baştan engeller.
Hazır Robots.txt Şablonları: Blog, E-ticaret, Kurumsal Site
Site türüne göre robots.txt dosyasında korunması gereken alanlar değişir. Bloglarda etiket ve arama sayfaları, e-ticaret sitelerinde filtre ve sepet adresleri, kurumsal sitelerde ise form çıktıları ve test dizinleri ön plana çıkar. Hazırlanan şablonlar, alan adı bilgisi güncellenerek doğrudan kullanılabilecek başlangıç örnekleri sunar:
Blog ve içerik siteleri: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php / Disallow: /?s= / Disallow: /arama/ / Sitemap: https://alanadiniz.com/sitemap_index.xml
E-ticaret siteleri: User-agent: / Disallow: /sepet/ / Disallow: /odeme/ / Disallow: /hesabim/ / Disallow: /?filter= / Disallow: /*?*sort= / Sitemap: https://alanadiniz.com/sitemap.xml
Kurumsal siteler: User-agent: * / Disallow: /test/ / Disallow: /gecici/ / Disallow: /form-tesekkur/ / Sitemap: https://alanadiniz.com/sitemap.xml
Çok dilli yapılar: Alt klasör mimarisinde tek dosya yeterlidir; subdomain mimarisinde her host için ayrı dosya ve ayrı sitemap satırı tanımlanır.
Şablonlar bir başlangıç noktasıdır, nihai yapı değildir. Her projede URL mimarisi farklı olduğu için kopyalanan blokların site üzerindeki gerçek dizin adlarıyla eşleştirilmesi gerekir. E-ticaret SEO projelerinde filtre parametrelerinin adlandırması yazılıma göre değişir ve şablondaki örnek parametreler çoğu zaman birebir karşılık bulmaz.
Robots.txt Dosyası Nasıl Oluşturulur ve Test Edilir?
Dosya oluşturma süreci üç aşamadan oluşur: metin dosyasının hazırlanması, kök dizine yüklenmesi ve botun dosyayı nasıl yorumladığının doğrulanması.
Dosya UTF-8 kodlamasıyla kaydedilir ve robots.txt adı tamamen küçük harflerle yazılır. Yükleme tamamlandıktan sonra tarayıcıdan doğrudan erişim denemesi yapılması, dosyanın 200 durum koduyla yanıt verdiğini görmek açısından ilk kontrol adımıdır.
WordPress, Shopify ve Özel Yazılımlarda Oluşturma
WordPress, kök dizinde fiziksel bir dosya bulunmadığında sanal bir robots.txt üretir ve bu dosya tarayıcıdan görüntülenebilir olsa da sunucuda yer almaz. Yoast SEO ya da Rank Math eklentilerinin araçlar bölümünden düzenleme yapıldığında dosya kalıcı hale gelir; FTP veya hosting dosya yöneticisi üzerinden yüklenen fiziksel dosya ise her zaman sanal sürümün önüne geçer.
Shopify, kurulumla birlikte varsayılan bir dosya sunar ve robots.txt.liquid şablonu üzerinden kural ekleme imkanı tanır. Özel yazılımlarda dosya doğrudan sunucu kök dizinine yüklenir, tek sayfalık uygulamalarda ise yönlendirme kurallarının dosyayı uygulama rotasına taşımaması gerekir.
Google Search Console ile Doğrulama ve Test
Search Console'un ayarlar bölümündeki robots.txt raporu, Google'ın dosyanın hangi sürümünü gördüğünü, son tarama zamanını ve söz dizimi hatalarını listeler. Rapor üzerinden yeniden tarama talebi gönderildiğinde önbellekteki sürüm tazelenir.
Tekil URL bazında kontrol için URL Denetleme aracı kullanılır; araç bir adresin robots.txt tarafından engellenip engellenmediğini canlı tarama sonucuyla birlikte gösterir. İki aracın birlikte kullanılması, dosya düzeyindeki söz dizimi hatalarını ve tek bir kuralın beklenmedik kapsamını aynı anda görünür kılar. Search Console üzerindeki kapsam raporlarında "robots.txt tarafından engellendi" uyarısının takibi de düzenli kontrol listesine girer.
En Sık Yapılan 7 Robots.txt Hatası
Robots.txt dosyasında karşılaşılan hataların çoğu karmaşık kurallardan değil, basit gözden kaçırmalardan kaynaklanır. Bu hatalar, arama motorlarının önemli sayfaları taramasını engelleyerek organik trafiği olumsuz etkileyebilir. Trafik kaybına yol açabilecek yaygın uygulamalar şunlardır:
Tüm siteyi kapatma: Geliştirme ortamından canlıya taşınan Disallow: / satırı, sitenin tamamını tarama dışında bırakır.
CSS ve JavaScript engelleme: Tema ve eklenti klasörlerinin kapatılması Google'ın sayfayı oluşturmasını engeller ve mobil uyumluluk değerlendirmesini bozar.
Sitemap satırının eksikliği: Dosyada site haritası referansı bulunmadığında yeni içeriklerin keşfi iç bağlantılara bağımlı kalır.
Noindex ile birlikte kullanım: Engellenen sayfadaki noindex etiketi okunamaz ve sayfa dizinde kalmaya devam eder.
Göreli yol ile sitemap tanımı: Sitemap satırının mutlak adres yerine /sitemap.xml biçiminde yazılması satırı geçersiz kılar.
Büyük küçük harf uyuşmazlığı: /Blog/ olarak yazılan kural, gerçek adresi /blog/ olan dizini kapsamaz.
Alt alan adının atlanması: Her subdomain ayrı host sayıldığı için ana dosyadaki kurallar blog veya shop alt alan adlarında geçerli olmaz.
Bu hataların önemli bir kısmı site taşıma ve yeniden tasarım süreçlerinde ortaya çıkar. Canlıya alma öncesinde dosyanın staging ortamında test edilmesi ve yayın sonrası ilk 24 saat içinde kapsam raporunun izlenmesi, geri dönüşü zahmetli kayıpların önüne geçer. Düzenli yapılan bir SEO denetimi kapsamında robots.txt kontrolünün sabit bir madde olarak yer alması da önleyici bir yaklaşım sunar.
SEO ve Tarama Bütçesi Açısından Robots.txt Stratejisi
Robots.txt dosyasının önemi, komut listesinin ötesinde tarama kaynağının nereye yönlendirildiğiyle ölçülür. Google'ın bir siteye ayırdığı tarama kapasitesi sınırsız değildir ve değersiz URL'ler bu kapasiteyi tükettiğinde yeni ya da güncellenen sayfaların keşfi gecikir. Dosyanın doğru kurgulanması, kaynağı gelir üreten sayfalara kaydıran bir önceliklendirme aracı işlevi görür.
Tarama Bütçesi (Crawl Budget) Nedir, Robots.txt ile Nasıl Yönetilir?
Tarama bütçesi, Google'ın belirli bir zaman diliminde bir siteden talep ettiği URL sayısını ifade eder ve sunucu kapasitesi ile içerik talebinin kesişiminde şekillenir. Birkaç yüz sayfalık kurumsal sitelerde bu kavram pratikte bir darboğaz oluşturmaz; Google'ın tarama bütçesi dokümantasyonu da bu rehberin öncelikli olarak bir milyonun üzerinde benzersiz sayfaya sahip ve içeriği haftalık değişen siteler ile on bin üzeri benzersiz sayfası olup içeriği günlük güncellenen siteler için yazıldığını belirtir.
Eşik, sayfa sayısından çok üretilen URL kombinasyonuyla ilgilidir: beş yüz ürünlü bir mağaza, filtre ve sıralama parametreleriyle yüz binlerce benzersiz adres üretebilir. Robots.txt bu noktada, kombinasyon patlamasını kaynağında kesen en ekonomik müdahale aracıdır.
E-ticarette Filtre ve Faceted Navigation URL'lerinin Yönetimi
Faceted navigation (faset navigasyon/yönlü gezinme), kullanıcı deneyimini iyileştirirken çok sayıda farklı URL'nin oluşmasına da neden olur. Bu URL'lerin tamamen engellenmesi veya canonical etiketiyle birleştirilmesi, ilgili parametrenin arama talebi taşıyıp taşımadığına göre belirlenir. Karar sürecinde dikkate alınması gereken kriterler şunlardır:
Arama hacmi olan filtreler: Marka, beden ve renk gibi aranan kombinasyonlar taramaya açık bırakılır ve statik, indekslenebilir sayfalara dönüştürülür.
Arama hacmi olmayan kombinasyonlar: Çoklu filtre birleşimleri robots.txt ile kapatılır, çünkü canonical kullanımı botun sayfayı yine de taramasını gerektirir.
Sıralama ve görünüm parametreleri: Fiyat sıralaması ve liste görünümü gibi içerik üretmeyen parametreler tarama dışında bırakılır.
Sayfalama adresleri: Ürün keşfi için gerekli olduğundan engellenmez, kendi kendine referans veren canonical ile yönetilir.
Karar verirken gözden kaçan ayrıntı, engellenen bir faset URL'sinin aldığı iç bağlantıların da değer aktaramaz hale gelmesidir. Botun ulaşamadığı adreslere verilen bağlantılar kayıp noktalara dönüşür ve site içi bağlantı akışında boşluk oluşturur. Bu nedenle kapatılan parametreler, aynı anda iç linkleme yapısından da çıkarılır ve menülerde yalnızca indekslenmesi hedeflenen kombinasyonlara yer verilir.
Yapay Zeka Botları (GPTBot, CCBot, PerplexityBot) Engellenmeli mi?
Yapay zeka tarayıcıları robots.txt üzerinden ayrı user-agent adlarıyla yönetilir ve her biri farklı bir amaca hizmet eder. GPTBot model eğitimi için içerik toplar, OAI-SearchBot ise ChatGPT içindeki arama sonuçlarının kaynağını oluşturur; CCBot açık veri setine katkı sağlar, PerplexityBot yanıtlara kaynak gösterilen sayfaları tarar. Bu ayrım kritik bir sonuç doğurur: eğitim amaçlı taramayı kapatmak isteyen bir marka, arama botunu da kapattığında yapay zeka yanıtlarında kaynak olarak anılma şansını kaybeder. OpenAI dokümantasyonu, robots.txt güncellemesinin arama tarafına yansımasının yaklaşık 24 saat sürebileceğini belirtir.
Görünürlük hedefi olan markalar için makul yaklaşım, eğitim botlarıyla arama botlarını ayrıştırmaktır. İçeriğin özgünlüğünü koruma kaygısı taşıyan yayıncılar GPTBot ve CCBot satırlarını kapatırken OAI-SearchBot ve PerplexityBot erişimini açık bırakabilir. Marka bilinirliğini yapay zeka yanıtları üzerinden büyütmeyi hedefleyen projelerde ise tüm erişimin açık tutulması, GEO stratejisinin temel şartı haline gelir. Kapatma kararının geri dönüşü de anlık değildir. Modellerin önceki taramalarda edindiği içerik, engelleme sonrasında da veri setinde kalmaya devam eder.
Robots.txt Kurgusunu Bir Trafik Yönetimi Kararına Dönüştürmek
Robots.txt, birkaç satırlık yapısına rağmen bir sitenin arama motorlarıyla kurduğu ilişkinin ilk cümlesini yazar. Dosyayı yalnızca engelleme listesi olarak gören yaklaşımlar, tarama kaynağının nereye aktığını yönetme imkanını kaçırır. Komutların doğru yazılması kadar, hangi URL grubunun hangi yöntemle yönetileceğine dair kararın isabeti belirleyicidir; engelleme, noindex ve canonical arasındaki sınırın netleşmesi bu kararın temelini oluşturur. Filtre adreslerinden yapay zeka botlarına uzanan her başlık, aslında aynı soruya verilen farklı yanıtlardır: sınırlı tarama kaynağı hangi sayfalara ayrılmalıdır. Düzenli olarak gözden geçirilen ve site mimarisindeki değişikliklerle birlikte güncellenen bir robots.txt dosyası, organik büyümenin görünmeyen ancak sürekli çalışan altyapısına dönüşür.
Robots.txt Hakkında Sıkça Sorulan Sorular
Robots.txt dosyası zorunlu mudur?
Dosyanın bulunması teknik bir zorunluluk değildir; robots.txt mevcut olmadığında botlar sitenin tamamını taranabilir kabul eder ve küçük ölçekli sitelerde bu durum çoğu zaman sorun yaratmaz. Google'ın spesifikasyonu, robots.txt isteğine dönen 404 yanıtını geçerli bir dosya bulunmuyormuş gibi değerlendirir ve tarama kısıtlaması olmadığını varsayar; dolayısıyla eksik dosya kendi başına bir hata sinyali üretmez. Dosyanın asıl değeri, yönerge tanımlama ve sitemap adresini kalıcı bir referans olarak bırakma imkanında toplanır. Yönetim paneli, arama sonucu ve filtre adresleri bulunan her projede en azından temel bir blok ve sitemap satırı içeren bir dosya bulundurulması tercih edilir.
Alt alan adları için ayrı robots.txt dosyası gerekir mi?
Her alt alan adı, her protokol ve her port numarası Google tarafından ayrı bir host olarak değerlendirilir. Bu nedenle blog.alanadiniz.com adresi, ana alan adındaki dosyadan etkilenmez ve kendi kök dizininde bağımsız bir robots.txt dosyasına ihtiyaç duyar. Çok dilli yapılarda alt klasör mimarisi kullanılıyorsa tek dosya tüm dilleri kapsar; subdomain veya ccTLD mimarisinde ise her host için ayrı dosya ve o hosta ait sitemap satırı tanımlanması gerekir.
Robots.txt değişikliği ne kadar sürede etkili olur?
Google dokümantasyonuna göre robots.txt içeriği genellikle 24 saate kadar önbellekte tutulur, zaman aşımı ya da sunucu hatası durumunda bu süre uzayabilir. Cache-Control başlığındaki max-age değeri ile önbellek süresi etkilenebilir. Acil durumlarda Search Console'daki robots.txt raporu üzerinden yeniden tarama talebi gönderilmesi süreci hızlandırır. Engelin kaldırılmasının ardından sayfaların yeniden taranıp dizine alınması ise site otoritesine bağlı olarak birkaç gün ile birkaç hafta arasında değişir.
Robots.txt dosyasının boyut sınırı var mı?
Google, robots.txt dosyaları için 500 kibibayt (KiB) üst sınırı uygular ve bu boyutu aşan içeriği yok sayar. Pratikte bu sınıra ulaşan dosyalar nadirdir, ancak otomatik üretilen uzun engelleme listeleri taşıyan büyük e-ticaret siteleri risk taşır. Dosya boyutunu azaltmak için tekil URL satırları yerine joker karakterlerle tanımlanan kalıpların kullanılması ve artık mevcut olmayan dizinlere ait eski satırların temizlenmesi etkili bir yöntemdir.
Robots.txt dosyası sunucu hatası verdiğinde botlar nasıl davranır?
Dosya 5xx grubunda bir sunucu hatası döndürdüğünde Google ilk 12 saat boyunca siteyi taramayı durdurur ve dosyayı çekmeyi denemeye devam eder. Yeni sürüme ulaşılamazsa sonraki 30 gün boyunca son başarılı sürüm kullanılır; önbellekte kullanılabilir bir sürüm bulunmadığında ise tarama kısıtlaması olmadığı varsayılır. Hatalar 30 günün sonunda hala giderilmemişse ve site genel olarak erişilebilir durumdaysa Google dosya yokmuş gibi davranmaya başlar. Bu nedenle sunucu bakım pencerelerinde robots.txt dosyasının erişilebilir kalması, bakım sayfasının arkasında kaybolmaması önem taşır.
Robots.txt satırlarında büyük küçük harf duyarlılığı var mı?
Direktif adları büyük küçük harf duyarlı değildir, dolayısıyla "Disallow" ve "disallow" aynı şekilde işlenir. Buna karşın direktifin aldığı yol değeri tamamen duyarlıdır ve /Urunler/ ile /urunler/ iki farklı adres olarak değerlendirilir. Dosya adının kendisi de küçük harfle yazılmalıdır; Robots.txt biçimindeki bir dosya adı botlar tarafından bulunamaz. Kural yazımında site üzerindeki gerçek URL yapısının birebir kopyalanması, bu kaynaklı sessiz hataları ortadan kaldırır.

Berna Partal
Son Yazılar
- Görsel Optimizasyonu Nedir? Nasıl Yapılır?
- CTR (Tıklama Oranı) Nedir? Nasıl Hesaplanır ve Artırılır?
- Sitemap Nedir? Web Siteleri İçin Site Haritası Rehberi
- PWA Nedir? Progressive Web App (Aşamalı Web Uygulaması) Rehberi
- AMP (Hızlandırılmış Mobil Sayfalar) Nedir?
- İç Linkleme Nedir? SEO İçin Site İçi Bağlantı Stratejileri
- Google Sandbox Nedir? Etkisinden Nasıl Çıkılır?
- Meta Etiketleri Nedir?
- ChatGPT Reklamları Nedir ve Nasıl Yapılır?
- Bilgi Mimarisi Nedir? Nasıl Oluşturulur?


