Robots.txt Oluşturucu Nedir?

Robots.Txt Nedir ?

Tüm arama motorları tarafından ortak olarak kabul edilen robots.txt, bir web sitesinde hangi kısımların indexlenip hangi kısımların indekslenmesi gerektiğini gösteren bir metin dosyasıdır. Robots.txt dosyası web siteniz için oldukça önemli olduğundan mutlaka büyük bir dikkatle hazırlanmalıdır.

İçinde belli komutlar bulunan bu özel dosya, wordpress sitelerde aynı olabilirken siteden siteye değişkenlik de gösterebilir. Robots.txt dosyasının yanlış şekilde hazırlanması, web siteniz için bazı sorunlara yol açabilir. Örnek vermek gerekirse; Google botlarının sepet bölümüne girmemesi yerine ana sayfayı seçerseniz, web sitenizin ana sayfasının arama motorlarında görünmesini engellemiş olursunuz.

Robots.txt Hangi Amaçla Kullanılır?

Robots.txt’nin başlıca kullanım alanı, arama motoru botları internet sitenize girdiğinde hangi bölümün indexlenip hangisinin indeksleymeyeceğini belirtmektir. Örneğin; Wordpress tabanlı bir internet sitesi kullanıyorsanız, robots.txt üzerinde admin giriş yolunu, arama motorlarına engellemelisiniz. Aksi halde web sitenizin ismi arandığında kullanıcıların önüne “siteadi.com/wp-admin” olarak çıkabilir.

Robots.txt Dosyası Hangi Özelliklere Sahip Olmalı?

Öncelikle her web sitesi için özel olarak robots.txt dosyası hazırlanması gerekir. Örneğin; bir e-ticaret sitesine sahipseniz, arama motorlarının sitenizin sepet bölümünü ziyaret etmesi gerekmez. Ancak web sitenizin ana sayfasının arama motorlarında görünmesi faydalı olacağından robots.txt üzerinden arama motorlarına izin vermelisiniz.

Robots.txt Oluşturucu Nasıl Kullanılır?

Robots.txt oluşturucu aracımızı kullanmanız için öncelikle sitenizin aktif halde olması gerektiğini unutmamalısınız.

Sonrasında sırasıyla aşağıdaki adımları izleyin:

• İlk olarak https://webimonline.com/robots-txt-olusturucu adresine gidin.
• Robots.txt dosyasını oluşturmak istediğiniz internet sitesinin site harita url adresini, ilgili bölüme girin.
• Karşınıza çıkan “izin Ver” kısmını, “Engelle” yazısı ile değiştirin.
• Yıldız ifadesini değiştirmeniz gerekmediğinden o kısım kalabilir.
• Son aşamada web sitenizde engellemek istediğiniz bölümleri girerek işlemi tamamlayın.

Robots.txt Kullanımı için Örnekler

Dilerseniz, webimonline.com/robots.txt yazarak bir robots.txt örneğine bakalım:

User-agent: *
Disallow: /yonlendir/
Disallow: /login.php
Disallow: /misc.php
Disallow: /online.php

Sitemap: https://www.webimonline.com/sitemap.xml

Örneğimize baktığımızda arama motorlarının, /yonlendir, /login.php, /misc.php, /online.php bölümlerini taramasına izin verilmediğini görebiliriz.

E-ticaret Sitesi İçin Örnek

Şimdi de bir e-ticaret sitesi için robots.txt örneği inceleyelim:

User-agent: *
Disallow: /*/*-p-*/satici-sorulari
Disallow: /*/*-p-*/saticilar
Disallow: /*/*-p-*/saticiya-sor
Disallow: /*/*-p-*/yorum-yap
Disallow: /*/*-p-*/yorumlar
Disallow: /authentication/logout
Disallow: /c/sepetim
Disallow: /diger-saticilar
Disallow: /giris
Disallow: /hesabim
Disallow: /Hesabim
Disallow: /login
Disallow: /Login
Disallow: /onceden-gezdiklerim
Disallow: /siparislerim
Disallow: /sanaozel
Disallow: /sepetim
Disallow: /Sepetim

Bu web sitesinde, arama motorları için gereksiz olan pek çok yerin engellendiğini görebiliriz. Örneğin; siparişlerim bölümünün arama motorları tarafından indexlenmesi gerekmez, bu nedenle arama motorlarına kapatılmış durumdadır.