Joomla’da robots.txt için ayrıca modül kurman gerekmiyor. Kök dizindeki robots.txt dosyasını düzenleyebilirsin. Bazı kurulumlarda dosya robots.txt.dist olarak gelir; onu sunucu kökünde robots.txt olarak kullanman gerekir. Site alt klasörde kuruluysa dosya yine domain kökünde olmalı.
Hazır online robots.txt araçları işini görebilir; ama neyi engellediğini bilmeden rastgele kural eklemek siteye zarar verebilir. Joomla’da zaten bununla ilgili temel dosya yapısı mevcut. Önce mevcut robots.txt dosyasına bakıp sistemin nasıl çalıştığını anlaman daha doğru olur, sonra gerekiyorsa küçük ve kontrollü değişiklikler yaparsın.
Hazır araç istiyorsan SEOptimer ya da SmallSEOTools’taki robots.txt generator’ları kullanabilirsin; ama Google’ın da anlattığı gibi bu dosya sitenin kökünde duran basit bir metin dosyasıdır, neyi engellediğini bilmeden üretilen kuralları da önce bir tester’da kontrol etmeden yayına alma. https://www.seoptimer.com/robots-txt-generator