Robots Txt Dosyası Nedir? Ne İşe Yarar?

Robots txt dosyası nedir sorusu arama motoru için verilen bir direktif olarak yanıtlanabilir. Erişimi mümkün olan ve olmayan metin dosyasının amacı taranma olanağı ile bağdaştırılabilir. Sayfanızı taramak gibi amaçlarla kullanacağınız Robots txt dosyası ile detaylarda birçok önemli ayrıntı da sağlanmış olur. Sayfa girişlerinde daha iyi bir kontrol elde etmiş olabilirsiniz.

Robots Txt Dosyası Nedir?

Robots txt dosyası bir engelleme standart prosedürü olarak bilinmektedir. Diğer isimleri robot engelleme protokolü ve robot.txt şeklindedir. Robot engelleme standardı en yaygın kullanılan terimdir. Web sitelerinin sınıflandırılması esnasında etkili bir yönlendirici olması nedeniyle web sitesi yöneticilerinin sıkça kullanıldığı bir dosyadır. Robot txt dosyası sayesinde belirli harita ve rota oluşacağı için ekstra avantaj sağlanabilir.

Robots Txt Dosyası Kullanım Amaçları Nedir?

Robots txt dosyası kullanım amaçları arasında en önemlisi sitenin bir kısmını göz ardı etmesini talep etmesidir. Sitedeki bir bölümün göz ardı edilmesinin talebi mahrem bilgileri de korumak ve güvenli bir hizmet vermeye devam etmek içindir. Robots txt dosyası kullanım amacı buradan da anlaşılacağı gibi güvenli bir site kullanımı bakımından önem taşımaktadır.

Robots. txt isimli dosya web sitesinde yer alan kod içinde yer alır. Bu dosyada indeksleme çalışmaları esnasında göz ardı edilmesi istenen durumlarla birlikte çok sayıda işlevi de yerine getirmektedir. Bu Robot txt talep dosyası temel bir gereksinim olarak da düşünülebilir. Olmadığı zaman zaten çok sayıda güvenlik prosedürü ihlal edilmiş olacaktır. Mahrem bilgileri barındıran kısımlar diğer kişileri ilgilendirmeyen bilgiler göz ardı edilerek verimli bir kullanım sağlanır.

Bir web sitesi arama motorunda kendi sayfa üyelerinin özel bilgilerini görüntülemek istemez. Web sitesinin içeriği ne olursa olsun genel olarak bilgi mahremiyeti dışında bir konu da vardır. Bu ve benzeri şekilde dosya kullanım amacına yönelik daha farklı sıralamalar da yapılabilir. Neticede işlevsel amaç ve faydaları bir arada değerlendirilebilecektir.

Kimler Robots Txt Dosyasına Sahip Olmalı?

Robots txt dosyası alt domain olan web siteleri için olması gereken bir dosyadır. Kişisel bir blog için bu dosya olması çok zorunlu görünmeyebilir. Ancak blog içeriğine göre dosya ile işlem yapılması da gerekebilir. Kişisel deneyimi anlatan blog sayfaları zaten özgün bir anlatım ve bilgilendirme üzerine etkili olacaktır. Yine de web sitesi kullanıcıları tarafından istenmeyen bölümleri göstermemek istediğinizde blog web sayfası içinde de robots.txt dosyasına yer verebilirsiniz.

Bir web sitesinin kendine has robots.txt dosyası olmaması halinde, robotları olmayan siteler kategorisinde yer alırsınız. Arama motoru sınıflandırmasında robot dosyası olmaması, geri plana atılma nedeni olabilir. Bilgi güvenliği ihlali olabilecek, riskli web sitelerini değerlendiren Google, Yandex vs. bu anlamda sitelerde bir zorunlu dosya barındırma süreci de taşıyacaktır.

Robots Txt Dosyası Ne İşe Yarar?

Robots txt dosyası ne işe yarar sorusuna özetle web böceği, web örümceği yazılımların kamuya açık kısımlarından bir bölümünü engellemeleri denebilir. Kişisel verileri ifşa etmekten kurtarması robots.txt dosyası için en önemli işlevsel neden olacaktır. Kişisel verilerin tamamına erişim engellenebileceği gibi belirli bir kısmına erişimin engellenmesi durumu da olabilir.

• Özel sayfaları arama motorunda göstermek istemediğinizde işlevsel bir dosyadır.
• Sitedeki web sayfa sayısı çok fazla olduğunda kısmen azaltmak istediğinizde bu dosyaları kullanmak hayat kurtaran etkiye sahiptir.
• txt dosyası neden önemlidir sorusu işleviyle de paralel bir durumdur. Arama motoru sitenizi incelediğinde doğru komut verdiğinizden emin olarak bu dosyayı kullanmak gerekir. Aksi halde taramaya kapatma sorunuyla karşılaşabilirsiniz. Dosya kullanımı hakkında gerekirse teknik destek almaktan çekinmemelisiniz.
• Temel amacınız arama motoru üzerindeki SEO performansını artırmak olacağı için txt dosyası ile önemsiz sayfaları kullanmaktan kaçınırsınız. Önemsiz sayfalar siteniz için kötü bir puan ve izlenim anlamına gelecektir. Sadece gerçekten önemli olan ve düzeni konusunda endişe etmediğiniz web sayfaları için robots.txt dosyası kullanmaya özen göstermelisiniz.
• Seo performansınız doğru bir robots.txt dosyası kullandığınızda otomatik olarak artacaktır. Nasıl seo performansı yanlış dosya nedenli düşüyorsa, aynı şekilde doğru kullanımla daha iyi bir site konumu elde edebilirsiniz. Özetle seo işlevi ve robots.txt dosyası arasında doğrudan paralellik olduğu söylenebilir.

Robots Txt Dosyası Dezavantajları Nedir?

Robots txt dosyası dezavantajları isteğe bağlı olmasına rağmen temel bir ihtiyaç olarak da bilinmesidir. Kullanmadığınızda büyük sorunlara neden olabileceği gibi kullanırken de dikkat gerektirir.

• Mahremiyet için sitenize eklenen bir dosya olmakla beraber bu mahremiyeti tam anlamıyla garanti altına da almaz.
• Web tarayıcısı içerisinde sitenizi tümüyle göstermeniz gereken durumlarda yeni bir iş yükü doğurabilir. Gereksiz sayfalara dair yeni bir çalışma yapmak gerekeceği için seo kontrolü açısından da yeni eklemelere ihtiyaç olabilir. Takip konusunda ise zaman alacak bir durum riski nedeniyle ertelemelere bağlı bir seo sorunu yaşayabilirsiniz.
• Robots txt dosyası içerisindeki kullanılacak metinleri hazırlamak için özel bir zaman ayırmak gerekecektir. Her ne kadar “Otomatik İçerik Kullanım Protokolü” geçerli olsa da dergi ve içeriklerinizin izinsiz kullanımına dair bir önlem almamış olursunuz.

Robots Txt Nasıl Oluşturulur?

Robots Txt nasıl oluşturulur sorusunu yanıtlarken ilk adım dosya ismini doğru yazarak başlamak olacaktır. Aşağıda verdiğimiz bilgiler dosya oluşumu konusunda fikir edinmenizi sağlayabilir:

• Küçük harfle “robots.txt” yazarak dosya ismi oluşturmalısınız.
• Dosyanızın yerleştirileceği alan sadece kök dizini olmalıdır. Site kök dizinine yerleştirirken UTF-8 karakter kodlaması ile işlem yapılmalıdır.
• Sitenizin web adresi; http://www.xxxx.com/robots.txt formunu karşılayacak şekilde kullanılmalıdır. xxx yerine site ismini yazmanız gerekecektir. Bunu yazarken önemli bir nokta, site ismi ardından dosyalar şeklinde bir ekleme alanı yazmamalısınız. Aksi halde yanlış kullanım şeklinde kaydedilir. Yanlış kayıt da önceden de belirtildiği gibi seo performansı açısından kötü etki yapabilir.
• Sitenizin protokolüne uygun bir robot txt dosya kullanımı yapmalısınız. SSL sertifikası olmayan siteler https yerine http kullanarak adresi uygulamalıdır.

User-agent ve Disallow anahtar kelimelerini kullanmalısınız. User-agent, kullanıcılar arasında bağlantı kurmaya yarayan bir protokoldür. Disallow ise erişilmemesi gereken URL için önemli bir belirleyici anahtar kelimedir. İşlevsel anlamda robot txt dosya özelliği bu anahtar kelimelerle sağlanacaktır.

Google User-Agent Listesi Nedir?

Google’ın kullandığı User-Agent listesini tablo olarak incelemeniz gerekir.  Her arama motorunda bu listede farklar olabilmektedir. Arama motorlarının kendi yapısına bağlı bir ayrıştırma özelliği olduğu için ayrı listeleri kullanabilirsiniz.

• Reklam servisi kaydı olan siteler için ‘Mediapartners-Google’
• Temel indeksleme ‘Googlebot’
• API servis ‘APIs-Google’
• Video robotu, ‘Googlebot-Video’
• ‘Googlebot-Image’
• ‘Googlebot-News’

Yandex User-Agent Listesi Nedir?

Yandex robot txt dosyası User-Agent Listesi içerisinde kullanılabilecek bazı robot txt dosya içeriği aşağıda yer almaktadır:

• Temel indeksleme ‘YandexBot’
• ‘YandexImages’
• ‘YandexBlogs’
• ‘YandexNews’
• ‘YandexPagechecker’  gibi ifadeler kullanılabilmektedir. Tam tablo kullanım amacına göre çeşitlenebilmektedir.

Engellenen sayfalar arasında veri eşitliği olmayacağından tarayıcı fark etmeksizin kullanım amacı aynı şekilde devam edecektir. Yani Google için kullanılan robot txt dosyası ile diğer tarayıcılarda kullanılanların içeriğinde farklar olması optimizasyonla ilgili olacaktır.

Arama Motoru Robots Txt İçeriğini Ne Yapar?

Arama motoru robots txt içeriği ön belleğe alır ve denetlenmesini sağlar. İzinsiz içerik gibi önleyici durumları da ayırt ettiğinden arama motoru robots txt içeriği önemli bir detaydır.