Mencegah Robot Menghabiskan Bandwidth

Bandwidth sering habis sebelum akhir bulan padahal data statistik visitor gak nyampe ribuan? Ini pengalaman dari banyak member saya yang kebetulan beli hosting juga di tempat saya. Lalu solusinya gimana dong?

Pertama anda harus cari tahu dulu penyebabnya. Tapi jika gejalanya seperti diatas, biasanya cuma 2 sebab yaitu Hotlinking Images dan Kunjungan tak terkontrol robot tak dikenal.

Hotlinking Images sendiri bisa terjadi karena 2 sebab. Pertama karena ada yang meletakkan banner anda di webnya. Sementara file banner itu sendiri ada di hosting anda. Kedua memang ada yang malas mengupload gambar yang anda miliki sehingga dia langsung mengarahkan sourcenya ke gambar di hosting anda. Keduanya jika ada di web dengan traffik tinggi, maka jelas bandwidth anda yang akan terkuras sementara dia sendiri aman-aman saja karena cuma melayani teks.. hehehe…

Untuk mengatasi hotlinking images, caranya tinggal memasang kode ini di .htaccess:

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?domainanda\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://tinypic.com/images/404.gif [L]

Ganti domainanda dengan domain milik anda sendiri. Kode diatas akan menampilkan gambar 404 milik tinypic sehingga gambar anda aman dari gangguan pencuri bandwidth. Tapi jika menggunakan banner untuk klien anda, maka sebaiknya anda upload sendiri ke free image hosting yang unlimited bandwidth (maaf saya ndak tahu yang mana, soalnya saya sndiri pakai hostgator untuk melayani banner milik saya).

Nah, sekarang bagaimana kalau robot. Males dong dikunjungi robot cuma buat ngabisin bandwidth aja. atau lebih parahnya lagi ada robot yang cuma grabbing isi dompet..eh..isi blog kita doang. Gak dapat duit, tapi bandwidth terkuras habis. Maka, pasang saja kode ini di .htaccess

SetEnvIfNoCase User-Agent "^Black Hole" bad_bot
SetEnvIfNoCase User-Agent "^Titan" bad_bot
SetEnvIfNoCase User-Agent "^WebStripper" bad_bot
SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "^WebBandit" bad_bot
SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "^Crescent" bad_bot
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "^Teleport" bad_bot
SetEnvIfNoCase User-Agent "^TeleportPro" bad_bot
SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "^Telesoft" bad_bot
SetEnvIfNoCase User-Agent "^Website Quester" bad_bot
SetEnvIfNoCase User-Agent "^WebZip" bad_bot
SetEnvIfNoCase User-Agent "^moget/2.1" bad_bot
SetEnvIfNoCase User-Agent "^WebZip/4.0" bad_bot
SetEnvIfNoCase User-Agent "^WebSauger" bad_bot
SetEnvIfNoCase User-Agent "^WebCopier" bad_bot
SetEnvIfNoCase User-Agent "^NetAnts" bad_bot
SetEnvIfNoCase User-Agent "^Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "^WebAuto" bad_bot
SetEnvIfNoCase User-Agent "^TheNomad" bad_bot
SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "^RMA" bad_bot
SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "^asterias" bad_bot
SetEnvIfNoCase User-Agent "^httplib" bad_bot
SetEnvIfNoCase User-Agent "^turingos" bad_bot
SetEnvIfNoCase User-Agent "^spanner" bad_bot
SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "^Harvest/1.5" bad_bot
SetEnvIfNoCase User-Agent "^Bullseye/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Mozilla/4.0 (compatible; BullsEye; Windows 95)" bad_bot
SetEnvIfNoCase User-Agent "^Crescent Internet ToolPak HTTP OLE Control v.1.0" bad_bot
SetEnvIfNoCase User-Agent "^CherryPickerSE/1.0" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker /1.0" bad_bot
SetEnvIfNoCase User-Agent "^WebBandit/3.50" bad_bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "^Microsoft URL Control - 5.01.4511" bad_bot
SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "^Foobot" bad_bot
SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "^SpankBot" bad_bot
SetEnvIfNoCase User-Agent "^BotALot" bad_bot
SetEnvIfNoCase User-Agent "^lwp-trivial/1.34" bad_bot
SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "^Microsoft URL Control - 6.00.8169" bad_bot
SetEnvIfNoCase User-Agent "^URLy Warning" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "^cosmos" bad_bot
SetEnvIfNoCase User-Agent "^moget" bad_bot
SetEnvIfNoCase User-Agent "^hloader" bad_bot
SetEnvIfNoCase User-Agent "^humanlinks" bad_bot
SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "^Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "^Mata Hari" bad_bot
SetEnvIfNoCase User-Agent "^LexiBot" bad_bot
SetEnvIfNoCase User-Agent "^Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "^The Intraformant" bad_bot
SetEnvIfNoCase User-Agent "^True_Robot/1.0" bad_bot
SetEnvIfNoCase User-Agent "^True_Robot" bad_bot
SetEnvIfNoCase User-Agent "^BlowFish/1.0" bad_bot
SetEnvIfNoCase User-Agent "^JennyBot" bad_bot
SetEnvIfNoCase User-Agent "^MIIxpc/4.2" bad_bot
SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "^BackDoorBot/1.0" bad_bot
SetEnvIfNoCase User-Agent "^toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "^suzuran" bad_bot
SetEnvIfNoCase User-Agent "^VCI WebViewer VCI WebViewer Win32" bad_bot
SetEnvIfNoCase User-Agent "^VCI" bad_bot
SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "^QueryN Metasearch" bad_bot
SetEnvIfNoCase User-Agent "^Openfind data gathere" bad_bot
SetEnvIfNoCase User-Agent "^Openfind" bad_bot
SetEnvIfNoCase User-Agent "^Xenu's Link Sleuth 1.1c" bad_bot
SetEnvIfNoCase User-Agent "^Xenu's" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot
SetEnvIfNoCase User-Agent "^RepoMonkey Bait & Tackle/v1.01" bad_bot
SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "^Zeus 32297 Webster Pro V2.9 Win32" bad_bot
SetEnvIfNoCase User-Agent "^Webster Pro" bad_bot
SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "^LinkScan/8.1a Unix" bad_bot
SetEnvIfNoCase User-Agent "^Keyword Density/0.9" bad_bot
SetEnvIfNoCase User-Agent "^Kenjin Spider" bad_bot
SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot

<Limit GET POST>
order allow,deny
allow from all
Deny from env=bad_bot
</Limit> 

Oke, mudah-mudahan dua kode diatas bisa mengatasi masalah bandwidth blog anda yang terbatas. Kalau bandwidth unlimited sih mungkin ndak terlalu masalah ya.. hehehe

Dicari dengan kata kunci:

cara menghabiskan bandwidth,bandwidth habis,virus yang memakan bandwidth,mengatasi masalah bandwidth,mengatasi virus yang memakan bandwidth,virus menghabiskan bandwidth,menghabiskan bandwidth,Masalah bandwidth,cara menghabiskan bandwidth website,penyebab bandwidth habis

42 thoughts on “Mencegah Robot Menghabiskan Bandwidth

  1. ibnu ismadi

    apakah kode yang mencegah termakan na bandwidth oleh robot tu dapat membuat blog kita ga dibannad oleh google ??maklum masih newbi masalah gtuan..

  2. adhani

    terima kasih gan, atas informasi bermanfaat di atas,
    robot yang cuma grabbing isi blog itu maksudnya software autoblog mas ?
    klo masang kode kedua (untuk menghalau robot) apakah robot tersebut tidak bisa mengakses blog kita ?

  3. lenterak

    Benar juga, situs saya masih baru mungin belum merasakan akibatnya. Perlu jaga-jaga. Menurut Mas, situs baru 2 bulan alexa rank 1,3 jtan, sudah dapat pagerank 2, termasuk bagaimana perkembangannya ? soalnya spacedisk dan bandwidthsitus saya kecil.

  4. Masihbelajar

    Mantep mas tricknya, mo nanya mas bisa ngga ditambahin robotnya baidu terus apa +-nya kalo kita block robot tsb secara itu kan dari negera mblegedes, thanks.

  5. Jackysan

    Saya sudah coba menambahkan code tersebut di htaccess saya, tapi ketika saya coba akses web saya, muncul pesan error “Forbidden 40x…”
    Dimana salahnya mas??

    1. ibnu ismadi

      blog saya ga masalah tu setelah saya masukkan code tersebut, mungkin sobat salah simpan yang sebenar na .htaccess yang terletak di public_html buka .htaccess di tempat lain na..

  6. ibnu ismadi

    owh ya mas lutvi, kok blog saya masih termakan oleh Unknown robot (identified by ‘spider’) dan Unknown robot (identified by ‘bot*’)
    mengatasi na gimana ya ?kedua robot tersebut memakan bandwidth hingga di atas 1 MB..

  7. Satriyo Niti Atmojo

    Maaf, untuk yang hotlink-nya kok tidak bisa, karena saya c0ba letakkan gambar di blog lain, masih muncul tuh ? berikut adalah contoh .htaccess punya saya

    RewriteEngine On
    RewriteCond %{HTTP_REFERER} !^http://(.+\.)?vortuno\.com/ [NC]
    RewriteCond %{HTTP_REFERER} !^$
    RewriteRule .*\.(jpe?g|gif|bmp|png)$ http://tinypic.com/images/404.gif [L]

    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ – [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]

  8. Resep Obat Mahal

    Assalamu’alaikum.
    Kalau membatasi / melindungi hotlink sekarang bisa lewat setting cPanel Pak.
    Kemudian saya tanya untuk kode-kode di atas apa bisa untuk WordPress versi 3.3 ke atas Pak, dan untuk semua theme berlaku?

  9. Kova

    Sangat bermanfaat mas, ini yang sya cari selama ini. berarati web/ blog yang menarik gambar dari hosting kita akan mendapatkan error 404 mas ya?

  10. Cozy Aztore

    Saya coba praktekin pak. Mau tanya, bener ga Code untuk .htaccess itu saya paste mulai dari line #1?
    Saya juga menggunakan mod_rewrite dari Wp super cache, akan berpengaruh apa jika saya tambahkan code yang pak lutvi tulis di atas?

    Terus terang, saya masih agak bingung pak, tapi niat banget untuk belajar dan improve knowledge dari sini. 😀

    Satu lagi pak, saya cari2 artikel tentang redirect 301 koq gak ketemu yah? <<== kalau berkenan, tolong di edit/hapus saja karena OOT.

    Thanks sebelumnya.

  11. Jefry

    Hari ini salah satu web saya bandwidthnya habis dan saya rasa mungkin disebabkan juga oleh robots
    Terima kasih nanti akan saya coba upload script di aats pada file .htaccess di web saya tersebut..

  12. tomi

    berarti kemungkinan besar yg menyebabkan cepat habis BW nya adalah robot.. kalo sering di masukkin ke sosbok, itu jg mempercepat habis BW gak mas?

  13. Fika

    Wah.. ini dia yang saya cari. beberapa kali bingung ngatasin bandwidth bengkak. Masalahnya hosting saya pas-pasan, isi blog cuma 3000an perhari. sebenernya normal ga sih kalau visitor segitu abisin BW hampir 50 gb (ampir abis dikit lagi). Indikasinya ada pencuri tuh gimana? Maksudnya, cara liat pencurian BW dengan memanfaatkan BW atau Awstat di CPanel tuh gimana yah? Saya sampe skarang masih bingung. Udah blok juga beberapa IP, tapi kok ya masih bengkak aja. Mohon bantuan pencerahannya ya mas…

  14. Jamal Pinang

    Gan, bagaimana cara memblokir link tertentu yang menuju ke web kita sendiri.
    karena ada link yang di gunakan dengan metode POST dan GET hanya untuk menguras habis bandwidth
    dan link tersebut di setting di cronjob kemudian selang bbrapa jam banwidth benar2 habis ..
    Mohon solusinya gan .. Mail me pliss

    1. toko tommee tippee

      wah… pertanya ente bikin cemas yang bikin toko online kecil dong, apa lagi kalo beli hoting lokal dong
      gak kepikiran sebelum nya, memang kalo beli yang unlimited, selesai..
      tapi solusinya gimana tuh…

  15. Cindy

    Finally i quit my regular job, now i earn decent money on-line you should try
    too, just type in google – bluehand roulette system

  16. fnd

    saya sebetulnya juga masih penasaran sama link2 kita yang di submit ke sosbok2 itu.. apa itu jg menguras bandwidt kita ya,,

  17. recommended you read

    I simply want to say I am all new to weblog and actually enjoyed this website. Most likely I’m want to bookmark your blog post . You absolutely come with very good writings. Appreciate it for revealing your website page.

  18. Nigel Vinroe

    Spot on with this write-up, I actually believe this web site needs a lot more attention. I’ll probably be back again to read through more, thanks for the information!

  19. Shannon Tennill

    Hello there, just became aware of your blog through Google, and found that it’s truly informative. I am gonna watch out for brussels. I’ll appreciate if you continue this in future. Numerous people will be benefited from your writing. Cheers!

  20. Andrew A. Sailer

    If you’re still on the fence: grab your favorite earphones, head down to a Best Buy and ask to plug them into a Zune then an iPod and see which one sounds better to you, and which interface makes you smile more. Then you’ll know which is right for you.

  21. Angel Widmayer

    I know this if off topic but I’m looking into starting my own blog and was wondering what all is needed to get set up? I’m assuming having a blog like yours would cost a pretty penny? I’m not very web savvy so I’m not 100% positive. Any tips or advice would be greatly appreciated. Thanks

  22. Verona Griepentrog

    My brother recommended I might like this website. He was totally right. This post actually made my day. You cann’t imagine just how much time I had spent for this information! Thanks!

  23. Twanna Colombe

    You are so awesome! I do not suppose I’ve truly read through anything like this before. So great to find another person with some genuine thoughts on this topic. Really.. many thanks for starting this up. This website is one thing that’s needed on the web, someone with some originality!

  24. Twyla Dotie

    This is really interesting, You are a very skilled blogger. I’ve joined your rss feed and look forward to seeking more of your great post. Also, I have shared your website in my social networks!

Comments are closed.