Tips Tutorial Web • 3 bulan yang lalu

Mengecualikan ads.txt dan robots.txt dari Apache htaccess

avatar of Azhari Sikumbang

Azhari Sikumbang

@azhari

Share on

Umumnya, sebuah website pasti akan memiliki dua file untuk menunjang ke-eksis-annya, yaitu ads.txt dan robots.txt. Tapi, seringkali dalam menambahkan kedua file ini terjadi masalah, yang umumnya terjadi adalah file ini tidak bisa ditampilkan dengan baik, bahkan menampilkan halaman tidak ditemukan.

Sekedar info, ads.txt merupakan metode sederhana, fleksibel, dan aman bagi penayang dan distributor untuk menyatakan siapa yang diizinkan untuk menjual inventaris mereka, meningkatkan transparansi bagi pembeli terprogram. (selengkapnya cek di sini)

Sedangkan robots.txt merupakan sebuah ketentuan bagi untuk mencegah mesin pencari atau robot web crawler dalam mengakses website kita, baik halaman tertentu atau seluruhnya. Tindakan pencegahan ini memang diperlukan agar halaman atau dokumen tertentu tidak terindeks ke publik. (selengkapnya cek di sini)

Baca Juga : Subnetting: Cara Cepat Menghitung IP Subnet

Disini tidak akan dibahas tentang mendalam kedua file ini, tapi lebih ke solusi terhadap permasalahan kenapa kedua file ini tidak bisa ditampilkan secara semestinya di web kita.

Umumnya sebuah website di bangun berbarengan dengan dibuat nya sebuah file konfigurasi, bernama htaccess. File htaccess sendiri merupakan file yang meng-handle hal hal yang berhubungan dengan pengaksesan sebuah situs, seperti access control, redirecting dan sebagainya.

Sehubungan dengan digunakannya file ini, terkadang fitur redirecting malah menjadi isu, seperti permasalahan kita karena pada umumnya web modern yang di bangun dengan framework atau skeleton sudah menambahkan file ini beserta konfigurasinya.

Contohnya htaccess standard yang umum,

RewriteEngine On
# konfigurasi lain
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php/$1 [L]
# konfigurasi lain

Pada konfigurasi diatas seharusnya semua request dialihkan ke file index.php. Alhasil, file ads.txt dan robots.txt kita juga dialihkan kesana.

Solusinya cukup mudah, kita hanya perlu mengecualikan kedua file ini, atau karena sama sama berekestesi txt bisa sekalian saja.

Berikut konfigurasi yang bisa ditambahkan untuk menghandle kasus ini,

RewriteEngine On
# konfigurasi lain
RewriteRule ^robots.txt - [L] 
RewriteCond %{HTTPS} off
RewriteCond %{REQUEST_URI} !^/ads.txt
RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
# konfigurasi lain

Dengan kode diatas selain mengecualikan ads.txt, kita juga mengantisipasi terjadinya kasus dimana ads.txt hanya tersedia di protokol https, sementara di http malah mengembalikan 404.

Selain cara diatas masih banyak cara yang bisa dilakukan untuk mengatasi permasahalan ads.txt dan robots.txt yang tidak diload optimal, googling aja.

Sekian, terima kasih.