Categories
Trik WordPress

Mencegah Robot Menghabiskan Bandwidth

Bandwidth sering habis sebelum akhir bulan padahal data statistik visitor gak nyampe ribuan? Ini pengalaman dari banyak member saya yang kebetulan beli hosting juga di tempat saya. Lalu solusinya gimana dong?

Pertama anda harus cari tahu dulu penyebabnya. Tapi jika gejalanya seperti diatas, biasanya cuma 2 sebab yaitu Hotlinking Images dan Kunjungan tak terkontrol robot tak dikenal.

Hotlinking Images sendiri bisa terjadi karena 2 sebab. Pertama karena ada yang meletakkan banner anda di webnya. Sementara file banner itu sendiri ada di hosting anda. Kedua memang ada yang malas mengupload gambar yang anda miliki sehingga dia langsung mengarahkan sourcenya ke gambar di hosting anda. Keduanya jika ada di web dengan traffik tinggi, maka jelas bandwidth anda yang akan terkuras sementara dia sendiri aman-aman saja karena cuma melayani teks.. hehehe…

Untuk mengatasi hotlinking images, caranya tinggal memasang kode ini di .htaccess:

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?domainanda\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://tinypic.com/images/404.gif [L]

Ganti domainanda dengan domain milik anda sendiri. Kode diatas akan menampilkan gambar 404 milik tinypic sehingga gambar anda aman dari gangguan pencuri bandwidth. Tapi jika menggunakan banner untuk klien anda, maka sebaiknya anda upload sendiri ke free image hosting yang unlimited bandwidth (maaf saya ndak tahu yang mana, soalnya saya sndiri pakai hostgator untuk melayani banner milik saya).

Nah, sekarang bagaimana kalau robot. Males dong dikunjungi robot cuma buat ngabisin bandwidth aja. atau lebih parahnya lagi ada robot yang cuma grabbing isi dompet..eh..isi blog kita doang. Gak dapat duit, tapi bandwidth terkuras habis. Maka, pasang saja kode ini di .htaccess

SetEnvIfNoCase User-Agent "^Black Hole" bad_bot
SetEnvIfNoCase User-Agent "^Titan" bad_bot
SetEnvIfNoCase User-Agent "^WebStripper" bad_bot
SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "^WebBandit" bad_bot
SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "^Crescent" bad_bot
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "^Teleport" bad_bot
SetEnvIfNoCase User-Agent "^TeleportPro" bad_bot
SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "^Telesoft" bad_bot
SetEnvIfNoCase User-Agent "^Website Quester" bad_bot
SetEnvIfNoCase User-Agent "^WebZip" bad_bot
SetEnvIfNoCase User-Agent "^moget/2.1" bad_bot
SetEnvIfNoCase User-Agent "^WebZip/4.0" bad_bot
SetEnvIfNoCase User-Agent "^WebSauger" bad_bot
SetEnvIfNoCase User-Agent "^WebCopier" bad_bot
SetEnvIfNoCase User-Agent "^NetAnts" bad_bot
SetEnvIfNoCase User-Agent "^Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "^WebAuto" bad_bot
SetEnvIfNoCase User-Agent "^TheNomad" bad_bot
SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "^RMA" bad_bot
SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "^asterias" bad_bot
SetEnvIfNoCase User-Agent "^httplib" bad_bot
SetEnvIfNoCase User-Agent "^turingos" bad_bot
SetEnvIfNoCase User-Agent "^spanner" bad_bot
SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "^Harvest/1.5" bad_bot
SetEnvIfNoCase User-Agent "^Bullseye/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Mozilla/4.0 (compatible; BullsEye; Windows 95)" bad_bot
SetEnvIfNoCase User-Agent "^Crescent Internet ToolPak HTTP OLE Control v.1.0" bad_bot
SetEnvIfNoCase User-Agent "^CherryPickerSE/1.0" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker /1.0" bad_bot
SetEnvIfNoCase User-Agent "^WebBandit/3.50" bad_bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "^Microsoft URL Control - 5.01.4511" bad_bot
SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "^Foobot" bad_bot
SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "^SpankBot" bad_bot
SetEnvIfNoCase User-Agent "^BotALot" bad_bot
SetEnvIfNoCase User-Agent "^lwp-trivial/1.34" bad_bot
SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "^Microsoft URL Control - 6.00.8169" bad_bot
SetEnvIfNoCase User-Agent "^URLy Warning" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "^cosmos" bad_bot
SetEnvIfNoCase User-Agent "^moget" bad_bot
SetEnvIfNoCase User-Agent "^hloader" bad_bot
SetEnvIfNoCase User-Agent "^humanlinks" bad_bot
SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "^Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "^Mata Hari" bad_bot
SetEnvIfNoCase User-Agent "^LexiBot" bad_bot
SetEnvIfNoCase User-Agent "^Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "^The Intraformant" bad_bot
SetEnvIfNoCase User-Agent "^True_Robot/1.0" bad_bot
SetEnvIfNoCase User-Agent "^True_Robot" bad_bot
SetEnvIfNoCase User-Agent "^BlowFish/1.0" bad_bot
SetEnvIfNoCase User-Agent "^JennyBot" bad_bot
SetEnvIfNoCase User-Agent "^MIIxpc/4.2" bad_bot
SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "^BackDoorBot/1.0" bad_bot
SetEnvIfNoCase User-Agent "^toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "^suzuran" bad_bot
SetEnvIfNoCase User-Agent "^VCI WebViewer VCI WebViewer Win32" bad_bot
SetEnvIfNoCase User-Agent "^VCI" bad_bot
SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "^QueryN Metasearch" bad_bot
SetEnvIfNoCase User-Agent "^Openfind data gathere" bad_bot
SetEnvIfNoCase User-Agent "^Openfind" bad_bot
SetEnvIfNoCase User-Agent "^Xenu's Link Sleuth 1.1c" bad_bot
SetEnvIfNoCase User-Agent "^Xenu's" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot
SetEnvIfNoCase User-Agent "^RepoMonkey Bait & Tackle/v1.01" bad_bot
SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "^Zeus 32297 Webster Pro V2.9 Win32" bad_bot
SetEnvIfNoCase User-Agent "^Webster Pro" bad_bot
SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "^LinkScan/8.1a Unix" bad_bot
SetEnvIfNoCase User-Agent "^Keyword Density/0.9" bad_bot
SetEnvIfNoCase User-Agent "^Kenjin Spider" bad_bot
SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot


order allow,deny
allow from all
Deny from env=bad_bot
 

Oke, mudah-mudahan dua kode diatas bisa mengatasi masalah bandwidth blog anda yang terbatas. Kalau bandwidth unlimited sih mungkin ndak terlalu masalah ya.. hehehe

By Lutvi

Bukan Ustadz, bukan Dai apalagi Kyai. Juga bukan guru. Hanya sekedar santri miskin ilmu yang coba mengamalkan 1 ayat warisan dari para ulama. Saat ini diamanahi menjadi admin web WordPress Indonesia

42 replies on “Mencegah Robot Menghabiskan Bandwidth”

terima kasih gan, atas informasi bermanfaat di atas,
robot yang cuma grabbing isi blog itu maksudnya software autoblog mas ?
klo masang kode kedua (untuk menghalau robot) apakah robot tersebut tidak bisa mengakses blog kita ?

Benar juga, situs saya masih baru mungin belum merasakan akibatnya. Perlu jaga-jaga. Menurut Mas, situs baru 2 bulan alexa rank 1,3 jtan, sudah dapat pagerank 2, termasuk bagaimana perkembangannya ? soalnya spacedisk dan bandwidthsitus saya kecil.

Mantep mas tricknya, mo nanya mas bisa ngga ditambahin robotnya baidu terus apa +-nya kalo kita block robot tsb secara itu kan dari negera mblegedes, thanks.

Saya sudah coba menambahkan code tersebut di htaccess saya, tapi ketika saya coba akses web saya, muncul pesan error “Forbidden 40x…”
Dimana salahnya mas??

blog saya ga masalah tu setelah saya masukkan code tersebut, mungkin sobat salah simpan yang sebenar na .htaccess yang terletak di public_html buka .htaccess di tempat lain na..

owh ya mas lutvi, kok blog saya masih termakan oleh Unknown robot (identified by ‘spider’) dan Unknown robot (identified by ‘bot*’)
mengatasi na gimana ya ?kedua robot tersebut memakan bandwidth hingga di atas 1 MB..

Maaf, untuk yang hotlink-nya kok tidak bisa, karena saya c0ba letakkan gambar di blog lain, masih muncul tuh ? berikut adalah contoh .htaccess punya saya

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?vortuno\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://tinypic.com/images/404.gif [L]

RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ – [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

Assalamu’alaikum.
Kalau membatasi / melindungi hotlink sekarang bisa lewat setting cPanel Pak.
Kemudian saya tanya untuk kode-kode di atas apa bisa untuk WordPress versi 3.3 ke atas Pak, dan untuk semua theme berlaku?

Saya coba praktekin pak. Mau tanya, bener ga Code untuk .htaccess itu saya paste mulai dari line #1?
Saya juga menggunakan mod_rewrite dari Wp super cache, akan berpengaruh apa jika saya tambahkan code yang pak lutvi tulis di atas?

Terus terang, saya masih agak bingung pak, tapi niat banget untuk belajar dan improve knowledge dari sini. 😀

Satu lagi pak, saya cari2 artikel tentang redirect 301 koq gak ketemu yah? <<== kalau berkenan, tolong di edit/hapus saja karena OOT.

Thanks sebelumnya.

Hari ini salah satu web saya bandwidthnya habis dan saya rasa mungkin disebabkan juga oleh robots
Terima kasih nanti akan saya coba upload script di aats pada file .htaccess di web saya tersebut..

berarti kemungkinan besar yg menyebabkan cepat habis BW nya adalah robot.. kalo sering di masukkin ke sosbok, itu jg mempercepat habis BW gak mas?

Wah.. ini dia yang saya cari. beberapa kali bingung ngatasin bandwidth bengkak. Masalahnya hosting saya pas-pasan, isi blog cuma 3000an perhari. sebenernya normal ga sih kalau visitor segitu abisin BW hampir 50 gb (ampir abis dikit lagi). Indikasinya ada pencuri tuh gimana? Maksudnya, cara liat pencurian BW dengan memanfaatkan BW atau Awstat di CPanel tuh gimana yah? Saya sampe skarang masih bingung. Udah blok juga beberapa IP, tapi kok ya masih bengkak aja. Mohon bantuan pencerahannya ya mas…

Gan, bagaimana cara memblokir link tertentu yang menuju ke web kita sendiri.
karena ada link yang di gunakan dengan metode POST dan GET hanya untuk menguras habis bandwidth
dan link tersebut di setting di cronjob kemudian selang bbrapa jam banwidth benar2 habis ..
Mohon solusinya gan .. Mail me pliss

wah… pertanya ente bikin cemas yang bikin toko online kecil dong, apa lagi kalo beli hoting lokal dong
gak kepikiran sebelum nya, memang kalo beli yang unlimited, selesai..
tapi solusinya gimana tuh…

I simply want to say I am all new to weblog and actually enjoyed this website. Most likely I’m want to bookmark your blog post . You absolutely come with very good writings. Appreciate it for revealing your website page.

Spot on with this write-up, I actually believe this web site needs a lot more attention. I’ll probably be back again to read through more, thanks for the information!

Hello there, just became aware of your blog through Google, and found that it’s truly informative. I am gonna watch out for brussels. I’ll appreciate if you continue this in future. Numerous people will be benefited from your writing. Cheers!

If you’re still on the fence: grab your favorite earphones, head down to a Best Buy and ask to plug them into a Zune then an iPod and see which one sounds better to you, and which interface makes you smile more. Then you’ll know which is right for you.

I know this if off topic but I’m looking into starting my own blog and was wondering what all is needed to get set up? I’m assuming having a blog like yours would cost a pretty penny? I’m not very web savvy so I’m not 100% positive. Any tips or advice would be greatly appreciated. Thanks

My brother recommended I might like this website. He was totally right. This post actually made my day. You cann’t imagine just how much time I had spent for this information! Thanks!

You are so awesome! I do not suppose I’ve truly read through anything like this before. So great to find another person with some genuine thoughts on this topic. Really.. many thanks for starting this up. This website is one thing that’s needed on the web, someone with some originality!

This is really interesting, You are a very skilled blogger. I’ve joined your rss feed and look forward to seeking more of your great post. Also, I have shared your website in my social networks!

Comments are closed.