Alasan penghapusan halaman dari hasil pencarian Google tidak banyak berubah sejak saya pertama kali menerbitkan artikel ini pada tahun 2023. Contohnya termasuk halaman dengan informasi rahasia, premium, atau ketinggalan jaman. Namun alat dan taktiknya telah berkembang.
Ini versi terbaru saya.
Penghapusan Sementara
Kebutuhan untuk menghapus URL dari Google sangatlah mendesak ketika sebuah situs (i) diretas dengan malware atau konten terlarang saat diindeks (bahkan diberi peringkat) atau (ii) secara tidak sengaja mengekspos informasi pribadi yang kemudian diindeks oleh raksasa pencarian tersebut.
Cara tercepat untuk menyembunyikan URL dari pencari adalah melalui alat penghapusan URL Google di bagian “Pengindeksan” di Search Console. Di sana, Anda dapat menghapus satu URL atau seluruh kategori.
Menurut pengalaman saya, Google memproses permintaan ini dengan cepat, tetapi Google tidak menghapus indeksnya secara permanen. Itu malah menyembunyikan URL dari hasil pencarian selama sekitar enam bulan.
Alat Search Console menghapus URL dari hasil penelusuran selama “sekitar enam bulan”. Klik gambar untuk memperbesar.
Fitur serupa di Alat Webmaster Bing, yang disebut “Blokir URL”, menyembunyikan halaman dari pencarian Bing selama kurang lebih 90 hari.
“Blokir URL” di Alat Webmaster Bing menyembunyikan halaman dari pencarian Bing selama kurang lebih 90 hari. Klik gambar untuk memperbesar.
Permanen
Beberapa opsi menghapus URL secara permanen dari indeks Google.
Hapus halaman dari situs Anda
Menghapus halaman dari server web Anda akan menghapus indeksnya secara permanen. Setelah menghapus, siapkan kode status HTTP 410 “hilang” dan bukan 404 “tidak ditemukan”. Berikan waktu beberapa hari bagi Google untuk merayapi ulang situs tersebut, menemukan kode 410, dan menghapus halaman tersebut dari indeksnya.
Perhatikan bahwa Google tidak menganjurkan penggunaan pengalihan untuk menghapus halaman bernilai rendah, karena praktik tersebut mengirimkan sinyal buruk kepada penerusnya.
Selain itu, Google menyediakan formulir untuk menghapus informasi pribadi dari hasil pencarian.
Tambahkan noindex menandai
Mesin pencari hampir selalu menghormati noindex tag meta. Bot pencarian akan merayapi a noindex halaman, tetapi tidak akan memasukkannya ke dalam hasil pencarian.
Berdasarkan pengalaman saya, Google akan langsung mengenali a noindex tag meta setelah merayapi halaman. Perhatikan bahwa tag tersebut menghapus laman dari hasil penelusuran, bukan situsnya. Halaman ini tetap dapat diakses melalui tautan lain, internal dan eksternal.
Tidak ada indeks tag kemungkinan besar tidak akan menghapus halaman dari LLM seperti ChatGPT, Claude, dan Perplexity, karena platform tersebut tidak selalu menghormatinya atau bahkan pengecualian robots.txt. Menghapus halaman dari sebuah situs adalah taktik penghapusan yang pasti.
Perlindungan kata sandi
Pertimbangkan untuk menambahkan kata sandi ke halaman yang dipublikasikan untuk mencegahnya dapat diakses publik. Google tidak dapat merayapi laman yang memerlukan sandi atau nama pengguna.
Menambahkan kata sandi tidak akan menghapus halaman yang diindeks. A noindex namun tag akan melakukannya.
Hapus tautan internal
Hapus semua tautan internal ke halaman yang tidak ingin Anda indeks. Dan jangan menautkan ke halaman yang dilindungi kata sandi atau dihapus; keduanya merugikan pengalaman pengguna. Selalu fokus pada pengunjung manusia — bukan mesin pencari saja.
Robots.txt
File robots.txt dapat mencegah Google (dan bot lainnya) meng-crawl halaman (atau kategori). Halaman yang diblokir melalui robots.txt masih dapat diindeks dan diberi peringkat jika disertakan dalam peta situs atau ditautkan. Google tidak akan menemukan a noindex tag pada halaman yang diblokir karena tidak dapat merayapinya.
File robots.txt dapat memerintahkan perayap web untuk mengabaikan, misalnya, halaman login, arsip pribadi, atau halaman yang dihasilkan dari jenis dan filter unik. Pertahankan waktu perayapan bot pencarian pada bagian yang ingin Anda rangking.