Bandwidth sering habis sebelum akhir bulan padahal data statistik visitor gak nyampe ribuan? Ini pengalaman dari banyak member saya yang kebetulan beli hosting juga di tempat saya. Lalu solusinya gimana dong?
Pertama anda harus cari tahu dulu penyebabnya. Tapi jika gejalanya seperti diatas, biasanya cuma 2 sebab yaitu Hotlinking Images dan Kunjungan tak terkontrol robot tak dikenal.
Hotlinking Images sendiri bisa terjadi karena 2 sebab. Pertama karena ada yang meletakkan banner anda di webnya. Sementara file banner itu sendiri ada di hosting anda. Kedua memang ada yang malas mengupload gambar yang anda miliki sehingga dia langsung mengarahkan sourcenya ke gambar di hosting anda. Keduanya jika ada di web dengan traffik tinggi, maka jelas bandwidth anda yang akan terkuras sementara dia sendiri aman-aman saja karena cuma melayani teks.. hehehe…
Untuk mengatasi hotlinking images, caranya tinggal memasang kode ini di .htaccess:
RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?domainanda\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://tinypic.com/images/404.gif [L]
Ganti domainanda dengan domain milik anda sendiri. Kode diatas akan menampilkan gambar 404 milik tinypic sehingga gambar anda aman dari gangguan pencuri bandwidth. Tapi jika menggunakan banner untuk klien anda, maka sebaiknya anda upload sendiri ke free image hosting yang unlimited bandwidth (maaf saya ndak tahu yang mana, soalnya saya sndiri pakai hostgator untuk melayani banner milik saya).
Nah, sekarang bagaimana kalau robot. Males dong dikunjungi robot cuma buat ngabisin bandwidth aja. atau lebih parahnya lagi ada robot yang cuma grabbing isi dompet..eh..isi blog kita doang. Gak dapat duit, tapi bandwidth terkuras habis. Maka, pasang saja kode ini di .htaccess
SetEnvIfNoCase User-Agent "^Black Hole" bad_bot SetEnvIfNoCase User-Agent "^Titan" bad_bot SetEnvIfNoCase User-Agent "^WebStripper" bad_bot SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot SetEnvIfNoCase User-Agent "^WebBandit" bad_bot SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot SetEnvIfNoCase User-Agent "^Crescent" bad_bot SetEnvIfNoCase User-Agent "^Wget" bad_bot SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot SetEnvIfNoCase User-Agent "^Teleport" bad_bot SetEnvIfNoCase User-Agent "^TeleportPro" bad_bot SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot SetEnvIfNoCase User-Agent "^Telesoft" bad_bot SetEnvIfNoCase User-Agent "^Website Quester" bad_bot SetEnvIfNoCase User-Agent "^WebZip" bad_bot SetEnvIfNoCase User-Agent "^moget/2.1" bad_bot SetEnvIfNoCase User-Agent "^WebZip/4.0" bad_bot SetEnvIfNoCase User-Agent "^WebSauger" bad_bot SetEnvIfNoCase User-Agent "^WebCopier" bad_bot SetEnvIfNoCase User-Agent "^NetAnts" bad_bot SetEnvIfNoCase User-Agent "^Mister PiX" bad_bot SetEnvIfNoCase User-Agent "^WebAuto" bad_bot SetEnvIfNoCase User-Agent "^TheNomad" bad_bot SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot SetEnvIfNoCase User-Agent "^RMA" bad_bot SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot SetEnvIfNoCase User-Agent "^asterias" bad_bot SetEnvIfNoCase User-Agent "^httplib" bad_bot SetEnvIfNoCase User-Agent "^turingos" bad_bot SetEnvIfNoCase User-Agent "^spanner" bad_bot SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot SetEnvIfNoCase User-Agent "^Harvest/1.5" bad_bot SetEnvIfNoCase User-Agent "^Bullseye/1.0" bad_bot SetEnvIfNoCase User-Agent "^Mozilla/4.0 (compatible; BullsEye; Windows 95)" bad_bot SetEnvIfNoCase User-Agent "^Crescent Internet ToolPak HTTP OLE Control v.1.0" bad_bot SetEnvIfNoCase User-Agent "^CherryPickerSE/1.0" bad_bot SetEnvIfNoCase User-Agent "^CherryPicker /1.0" bad_bot SetEnvIfNoCase User-Agent "^WebBandit/3.50" bad_bot SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot SetEnvIfNoCase User-Agent "^Microsoft URL Control - 5.01.4511" bad_bot SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot SetEnvIfNoCase User-Agent "^Foobot" bad_bot SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot SetEnvIfNoCase User-Agent "^SpankBot" bad_bot SetEnvIfNoCase User-Agent "^BotALot" bad_bot SetEnvIfNoCase User-Agent "^lwp-trivial/1.34" bad_bot SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot SetEnvIfNoCase User-Agent "^Microsoft URL Control - 6.00.8169" bad_bot SetEnvIfNoCase User-Agent "^URLy Warning" bad_bot SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot SetEnvIfNoCase User-Agent "^cosmos" bad_bot SetEnvIfNoCase User-Agent "^moget" bad_bot SetEnvIfNoCase User-Agent "^hloader" bad_bot SetEnvIfNoCase User-Agent "^humanlinks" bad_bot SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot SetEnvIfNoCase User-Agent "^Offline Explorer" bad_bot SetEnvIfNoCase User-Agent "^Mata Hari" bad_bot SetEnvIfNoCase User-Agent "^LexiBot" bad_bot SetEnvIfNoCase User-Agent "^Web Image Collector" bad_bot SetEnvIfNoCase User-Agent "^The Intraformant" bad_bot SetEnvIfNoCase User-Agent "^True_Robot/1.0" bad_bot SetEnvIfNoCase User-Agent "^True_Robot" bad_bot SetEnvIfNoCase User-Agent "^BlowFish/1.0" bad_bot SetEnvIfNoCase User-Agent "^JennyBot" bad_bot SetEnvIfNoCase User-Agent "^MIIxpc/4.2" bad_bot SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot SetEnvIfNoCase User-Agent "^BackDoorBot/1.0" bad_bot SetEnvIfNoCase User-Agent "^toCrawl/UrlDispatcher" bad_bot SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot SetEnvIfNoCase User-Agent "^suzuran" bad_bot SetEnvIfNoCase User-Agent "^VCI WebViewer VCI WebViewer Win32" bad_bot SetEnvIfNoCase User-Agent "^VCI" bad_bot SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot SetEnvIfNoCase User-Agent "^QueryN Metasearch" bad_bot SetEnvIfNoCase User-Agent "^Openfind data gathere" bad_bot SetEnvIfNoCase User-Agent "^Openfind" bad_bot SetEnvIfNoCase User-Agent "^Xenu's Link Sleuth 1.1c" bad_bot SetEnvIfNoCase User-Agent "^Xenu's" bad_bot SetEnvIfNoCase User-Agent "^Zeus" bad_bot SetEnvIfNoCase User-Agent "^RepoMonkey Bait & Tackle/v1.01" bad_bot SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot SetEnvIfNoCase User-Agent "^Zeus 32297 Webster Pro V2.9 Win32" bad_bot SetEnvIfNoCase User-Agent "^Webster Pro" bad_bot SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot SetEnvIfNoCase User-Agent "^LinkScan/8.1a Unix" bad_bot SetEnvIfNoCase User-Agent "^Keyword Density/0.9" bad_bot SetEnvIfNoCase User-Agent "^Kenjin Spider" bad_bot SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_botorder allow,deny allow from all Deny from env=bad_bot
Oke, mudah-mudahan dua kode diatas bisa mengatasi masalah bandwidth blog anda yang terbatas. Kalau bandwidth unlimited sih mungkin ndak terlalu masalah ya.. hehehe
42 replies on “Mencegah Robot Menghabiskan Bandwidth”
Mantep gan infonya…:D
apakah kode yang mencegah termakan na bandwidth oleh robot tu dapat membuat blog kita ga dibannad oleh google ??maklum masih newbi masalah gtuan..
Ya ndak lah. Malah kalau google tahu dia malah senang. Artinya web kita kan ndak pernah kena bandwidth limit 🙂
kalau gitu apakah harus diterapkan pada blog yang baru juga apa iya??.
wah keren ni artikelnya
sapa tau tar ane ngalamin ini jadi solusinya udah tau.
terima kasih gan, atas informasi bermanfaat di atas,
robot yang cuma grabbing isi blog itu maksudnya software autoblog mas ?
klo masang kode kedua (untuk menghalau robot) apakah robot tersebut tidak bisa mengakses blog kita ?
Yup, harusnya sih ndak bisa. Kecuali dia merubah settingannya lagi 🙂
Benar juga, situs saya masih baru mungin belum merasakan akibatnya. Perlu jaga-jaga. Menurut Mas, situs baru 2 bulan alexa rank 1,3 jtan, sudah dapat pagerank 2, termasuk bagaimana perkembangannya ? soalnya spacedisk dan bandwidthsitus saya kecil.
Mantep mas tricknya, mo nanya mas bisa ngga ditambahin robotnya baidu terus apa +-nya kalo kita block robot tsb secara itu kan dari negera mblegedes, thanks.
Saya sudah coba menambahkan code tersebut di htaccess saya, tapi ketika saya coba akses web saya, muncul pesan error “Forbidden 40x…”
Dimana salahnya mas??
blog saya ga masalah tu setelah saya masukkan code tersebut, mungkin sobat salah simpan yang sebenar na .htaccess yang terletak di public_html buka .htaccess di tempat lain na..
yups, salah penempatan sob, setelah saya taruh paling atas (dari code htaccess yg lain) baru bisa… 😀
Thanks….
owh ya mas lutvi, kok blog saya masih termakan oleh Unknown robot (identified by ‘spider’) dan Unknown robot (identified by ‘bot*’)
mengatasi na gimana ya ?kedua robot tersebut memakan bandwidth hingga di atas 1 MB..
Di blockir aja IP-nya 🙂
cara mengetahui IP robot2 tersebut gimana ya ?soal na saya masih bingung..
Sepertinya ini penting sekali nih, btw gmn sih cara naruhnya soalnya sy blm phm nih > tlg pencerahanya ya gan, trmksh 😀
Maaf, untuk yang hotlink-nya kok tidak bisa, karena saya c0ba letakkan gambar di blog lain, masih muncul tuh ? berikut adalah contoh .htaccess punya saya
RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?vortuno\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://tinypic.com/images/404.gif [L]
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ – [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
Saya sudah praktekan seperti di atas kok robot2 liar masih bisa makan bandwidth saya ya, ada petunjuk? 🙂
Sepertinya ini masalah account aku kena suspend. Makasih mas Lutvi atas sharenya.
Assalamu’alaikum.
Kalau membatasi / melindungi hotlink sekarang bisa lewat setting cPanel Pak.
Kemudian saya tanya untuk kode-kode di atas apa bisa untuk WordPress versi 3.3 ke atas Pak, dan untuk semua theme berlaku?
Sangat bermanfaat mas, ini yang sya cari selama ini. berarati web/ blog yang menarik gambar dari hosting kita akan mendapatkan error 404 mas ya?
Saya coba praktekin pak. Mau tanya, bener ga Code untuk .htaccess itu saya paste mulai dari line #1?
Saya juga menggunakan mod_rewrite dari Wp super cache, akan berpengaruh apa jika saya tambahkan code yang pak lutvi tulis di atas?
Terus terang, saya masih agak bingung pak, tapi niat banget untuk belajar dan improve knowledge dari sini. 😀
Satu lagi pak, saya cari2 artikel tentang redirect 301 koq gak ketemu yah? <<== kalau berkenan, tolong di edit/hapus saja karena OOT.
Thanks sebelumnya.
Thanks untuk infonya
Hari ini salah satu web saya bandwidthnya habis dan saya rasa mungkin disebabkan juga oleh robots
Terima kasih nanti akan saya coba upload script di aats pada file .htaccess di web saya tersebut..
berarti kemungkinan besar yg menyebabkan cepat habis BW nya adalah robot.. kalo sering di masukkin ke sosbok, itu jg mempercepat habis BW gak mas?
benar sekali 🙂 Robot paling rajin berkunjung
Wah.. ini dia yang saya cari. beberapa kali bingung ngatasin bandwidth bengkak. Masalahnya hosting saya pas-pasan, isi blog cuma 3000an perhari. sebenernya normal ga sih kalau visitor segitu abisin BW hampir 50 gb (ampir abis dikit lagi). Indikasinya ada pencuri tuh gimana? Maksudnya, cara liat pencurian BW dengan memanfaatkan BW atau Awstat di CPanel tuh gimana yah? Saya sampe skarang masih bingung. Udah blok juga beberapa IP, tapi kok ya masih bengkak aja. Mohon bantuan pencerahannya ya mas…
Ciaaa terima kasih , jos gandoss nie
Gan, bagaimana cara memblokir link tertentu yang menuju ke web kita sendiri.
karena ada link yang di gunakan dengan metode POST dan GET hanya untuk menguras habis bandwidth
dan link tersebut di setting di cronjob kemudian selang bbrapa jam banwidth benar2 habis ..
Mohon solusinya gan .. Mail me pliss
wah… pertanya ente bikin cemas yang bikin toko online kecil dong, apa lagi kalo beli hoting lokal dong
gak kepikiran sebelum nya, memang kalo beli yang unlimited, selesai..
tapi solusinya gimana tuh…
Finally i quit my regular job, now i earn decent money on-line you should try
too, just type in google – bluehand roulette system
saya sebetulnya juga masih penasaran sama link2 kita yang di submit ke sosbok2 itu.. apa itu jg menguras bandwidt kita ya,,
I simply want to say I am all new to weblog and actually enjoyed this website. Most likely I’m want to bookmark your blog post . You absolutely come with very good writings. Appreciate it for revealing your website page.
Intended also managed an overall of 37 discourse groupings through their marketing campaign time period
Spot on with this write-up, I actually believe this web site needs a lot more attention. I’ll probably be back again to read through more, thanks for the information!
Hello there, just became aware of your blog through Google, and found that it’s truly informative. I am gonna watch out for brussels. I’ll appreciate if you continue this in future. Numerous people will be benefited from your writing. Cheers!
This really helped my examine, Cheers!
If you’re still on the fence: grab your favorite earphones, head down to a Best Buy and ask to plug them into a Zune then an iPod and see which one sounds better to you, and which interface makes you smile more. Then you’ll know which is right for you.
I know this if off topic but I’m looking into starting my own blog and was wondering what all is needed to get set up? I’m assuming having a blog like yours would cost a pretty penny? I’m not very web savvy so I’m not 100% positive. Any tips or advice would be greatly appreciated. Thanks
My brother recommended I might like this website. He was totally right. This post actually made my day. You cann’t imagine just how much time I had spent for this information! Thanks!
You are so awesome! I do not suppose I’ve truly read through anything like this before. So great to find another person with some genuine thoughts on this topic. Really.. many thanks for starting this up. This website is one thing that’s needed on the web, someone with some originality!
This is really interesting, You are a very skilled blogger. I’ve joined your rss feed and look forward to seeking more of your great post. Also, I have shared your website in my social networks!