Kenapa Scraping Harga Marketplace Sering Kena Block (dan Cara Kerja yang Lebih Sopan)

Ada asumsi yang sering keluar dari mulut orang yang baru belajar scraping: kalau kena block berarti kodenya salah, harus ganti library atau perbaiki selector. Padahal seringnya bukan itu masalahnya. Selector yang benar tetap bisa kena block kalau pola request-nya terlihat seperti bukan manusia, misalnya 500 request dalam satu menit dari satu IP yang sama, tanpa jeda, tanpa header yang wajar. Itu bukan bug, itu memang begitu cara kerja deteksi anti-bot.

Marketplace besar seperti Tokopedia atau Shopee punya insentif kuat untuk membatasi scraping, karena traffic otomatis yang agresif membebani server dan bisa dipakai untuk hal-hal yang merugikan mereka, dari war pricing curang sampai pencurian data katalog. Jadi mereka mendeteksi pola: kecepatan request yang tidak wajar, user-agent yang kosong atau generik, request yang datang dari IP yang sama berulang tanpa variasi timing. Ini bukan soal kucing-kucingan teknis semata, tapi soal siapa yang paling "sopan" dalam berperilaku menyerupai pengunjung asli.

Cara kerja yang lebih tahan lama justru sering lebih sederhana daripada yang dibayangkan orang. Beri jeda antar-request, jangan scraping ribuan halaman sekaligus, dan sesuaikan frekuensi dengan kebutuhan aktual. Kalau tujuannya riset harga kompetitor untuk keputusan bisnis, kamu tidak butuh data tiap menit, cukup tiap beberapa jam atau harian. Semakin jarang tapi cukup, semakin kecil kemungkinan dianggap ancaman.

Ini juga soal memilih tool yang sesuai skala kebutuhan. Kalau kamu cuma perlu snapshot harga untuk dianalisis di Excel, menjalankan script sekali jalan untuk ambil data ke CSV jauh lebih masuk akal ketimbang membangun sistem monitoring 24 jam yang justru menaikkan risiko terdeteksi karena frekuensinya lebih sering.

Tapi kalau kebutuhannya memang pemantauan berkelanjutan, misalnya berburu diskon atau memantau harga kompetitor supaya bisa bereaksi cepat begitu ada penurunan harga, arsitekturnya harus dirancang untuk itu sejak awal: jadwal yang jelas, threshold notifikasi, dan penyimpanan riwayat supaya tidak perlu request ulang data yang sama berkali-kali.

Untuk riset satu kali jalan yang hasilnya langsung dianalisis di spreadsheet, Scraper Harga Marketplace, Excel sudah pas. Kalau kamu butuh pemantauan berkala dengan notifikasi otomatis begitu harga incaran turun, Bot Scraper Harga E-commerce Otomatis menyimpan riwayat sekaligus kirim alert ke Telegram. Dan kalau kamu lebih suka alur tanpa kode sama sekali, workflow Monitor Harga Kompetitor + Alert jalan di n8n, tinggal impor dan sambungkan target pantauan.