Sınırlı süreliğine .com alan adlarında %20 indirim!
Webimonline Robots.txt Oluşturucu ile arama motoru botları için tarama kurallarını seçip `robots.txt` metnini hızlıca üretebilirsiniz.
Hangi kısımların indekslenip hangilerinin taranmayacağını botlara bildirerek site sağlığını koruyun.
Admin paneli veya sepet sayfası gibi teknik bölümlerin arama sonuçlarında görünmesini engelleyin.
WordPress veya e-ticaret siteleri için kritik dizinleri bot trafiğine saniyeler içinde kapatın.
Tüm arama motorları tarafından ortak olarak kabul edilen robots.txt, bir web sitesinde hangi kısımların indexlenip hangi kısımların indekslenmesi gerektiğini gösteren bir metin dosyasıdır. Robots.txt dosyası web siteniz için oldukça önemli olduğundan mutlaka büyük bir dikkatle hazırlanmalıdır.
İçinde belli komutlar bulunan bu özel dosya, wordpress sitelerde aynı olabilirken siteden siteye değişkenlik de gösterebilir. Robots.txt dosyasının yanlış şekilde hazırlanması, web siteniz için bazı sorunlara yol açabilir. Örnek vermek gerekirse; Google botlarının sepet bölümüne girmemesi yerine ana sayfayı seçerseniz, web sitenizin ana sayfasının arama motorlarında görünmesini engellemiş olursunuz.
Robots.txt’nin başlıca kullanım alanı, arama motoru botları internet sitenize girdiğinde hangi bölümün indexlenip hangisinin indeksleymeyeceğini belirtmektir. Örneğin; Wordpress tabanlı bir internet sitesi kullanıyorsanız, robots.txt üzerinde admin giriş yolunu, arama motorlarına engellemelisiniz. Aksi halde web sitenizin ismi arandığında kullanıcıların önüne “siteadi.com/wp-admin” olarak çıkabilir.
Öncelikle her web sitesi için özel olarak robots.txt dosyası hazırlanması gerekir. Örneğin; bir e-ticaret sitesine sahipseniz, arama motorlarının sitenizin sepet bölümünü ziyaret etmesi gerekmez. Ancak web sitenizin ana sayfasının arama motorlarında görünmesi faydalı olacağından robots.txt üzerinden arama motorlarına izin vermelisiniz.
Robots.txt oluşturucu aracımızı kullanmanız için öncelikle sitenizin aktif halde olması gerektiğini unutmamalısınız.
Sonrasında sırasıyla aşağıdaki adımları izleyin:
Dilerseniz, webimonline.com/robots.txt yazarak bir robots.txt örneğine bakalım:
User-agent: * Disallow: /yonlendir/ Disallow: /login.php Disallow: /misc.php Disallow: /online.php Sitemap: https://www.webimonline.com/sitemap.xml
Örneğimize baktığımızda arama motorlarının, /yonlendir, /login.php, /misc.php, /online.php bölümlerini taramasına izin verilmediğini görebiliriz.
Şimdi de bir e-ticaret sitesi için robots.txt örneği inceleyelim:
User-agent: * Disallow: /*/*-p-*/satici-sorulari Disallow: /*/*-p-*/saticilar Disallow: /*/*-p-*/saticiya-sor Disallow: /*/*-p-*/yorum-yap Disallow: /*/*-p-*/yorumlar Disallow: /authentication/logout Disallow: /c/sepetim Disallow: /diger-saticilar Disallow: /giris Disallow: /hesabim Disallow: /Hesabim Disallow: /login Disallow: /Login Disallow: /onceden-gezdiklerim Disallow: /siparislerim Disallow: /sanaozel Disallow: /sepetim Disallow: /Sepetim
Bu web sitesinde, arama motorları için gereksiz olan pek çok yerin engellendiğini görebiliriz. Örneğin; siparişlerim bölümünün arama motorları tarafından indexlenmesi gerekmez, bu nedenle arama motorlarına kapatılmış durumdadır.
Aşağıda en sık karşılaştığımız soruları yanıtladık. Başka bir sorunuz varsa bizimle iletişime geçebilirsiniz.
Robots.txt dosyası kullanmak zorunlu değildir. Ancak hem Google index sayısı hem de web sitesinin sağlığı için robots.txt dosyası kullanmanın faydaları oldukça fazladır.
Robots.txt dosyası, web sitenizin ana dizininde yer alır. siteadi.com/robots.txt yaparak web sitenizin robots.txt dosyasına ulaşabilirsiniz. Dosyaya erişemiyorsanız, sitenizde robots.txt dosyası bulunmuyor demektir.
Robots.txt dosyanız, sizin iletmenize gerek kalmadan Google tarafından görülebilir. Dolayısıyla herhangi bir ek işlem yapmanız gerekmez.
Oldukça kolay bir kullanıma sahip olan robots.txt oluşturma aracımızı kullanmak tamamen ücretsizdir. Engellemek istediğiniz kısmı, aracımızda ilgili yere girerek kolayca robots.txt dosyanızı oluşturabilirsiniz.