Panduan Setingn Custom Tag Header di Blogger dengan Robots.txt

By Mas Dee
SEO BLOGGER

Sebagai seorang sobat blogger, saya paham pentingnya optimasi untuk blog kamu. Salah satu aspek penting yang sering dilupakan oleh blogger adalah pengaturan robots.txt. Dengan menyesuaikan robots.txt dan header HTML (termasuk tag meta), kita dapat mengontrol bagaimana mesin pencari (seperti Google) merayapi (crawl) dan mengindeks konten di blog kita.

Berikut adalah panduan mendalam untuk membuat dan menyesuaikan robots.txt serta tag header di Blogger, agar blog kamu lebih teroptimasi untuk SEO.Setingn robots.txt Blogger

Apa itu Robots.txt?

Robots.txt adalah file yang digunakan untuk memberi tahu mesin pencari (seperti Googlebot, Bingbot, dsb.) bagian mana dari situs web kamu yang boleh atau tidak boleh dirayapi. File ini memungkinkan kamu untuk mengatur akses crawler dan memberikan instruksi spesifik mengenai bagian-bagian blog yang harus diindeks.

Misalnya, jika kamu tidak ingin Google mengindeks halaman tertentu, kamu bisa menambahkan perintah di robots.txt untuk menghindari hal tersebut.

Mengapa Robots.txt dan Tag Header Penting?

  • Kontrol Pengindeksan: Mengontrol halaman mana yang ingin kamu tampilkan di hasil pencarian dan mana yang tidak.

  • Optimasi SEO: Mesin pencari akan merayapi dan mengindeks blog kamu dengan cara yang lebih efisien.

  • Mencegah Duplikasi Konten: Dengan robots.txt dan tag header, kamu dapat menghindari masalah duplikasi konten, yang bisa merugikan SEO blog kamu.

Langkah 1: Memahami Struktur Robots.txt pada Blogger

Blogger secara otomatis menghasilkan file robots.txt untuk setiap blog yang dibuat di platform mereka. Namun, kamu bisa menyesuaikannya untuk mengoptimalkan akses crawler.

Untuk mengakses dan mengedit robots.txt di Blogger, ikuti langkah-langkah ini:

  1. Masuk ke Dashboard Blogger.

  2. Pilih blog yang ingin kamu sesuaikan.

  3. Klik Setelan (Settings) di menu sebelah kiri.

  4. Scroll ke bawah dan temukan Preferensi Penelusuran (Search Preferences).

  5. Klik Edit di bagian robots.txt.

  6. Pilih Ya untuk mengaktifkan file robots.txt, kemudian kamu bisa menambahkan kode kustom di dalamnya.

Langkah 2: Kode Robots.txt Kustom di Blogger

Di bawah ini adalah contoh kode robots.txt yang dapat kamu gunakan di Blogger. Kamu dapat menyesuaikan kode ini tergantung pada kebutuhan SEO blog kamu.

Contoh 1: Robots.txt Standar untuk Blogger

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://www.blogkamu.com/sitemap.xml

Penjelasan:

  • User-agent: * artinya aturan ini berlaku untuk semua mesin pencari (crawler).

  • Disallow: /search mencegah crawler mengindeks halaman pencarian yang bisa menyebabkan duplikasi konten.

  • Allow: / mengizinkan crawler mengindeks seluruh situs.

  • Sitemap: http://www.blogkamu.com/sitemap.xml memberikan informasi tentang lokasi peta situs blog kamu untuk membantu mesin pencari mengindeks konten dengan lebih baik.

Contoh 2: Robots.txt dengan Pembatasan Lebih Lanjut

User-agent: Googlebot

Disallow: /search

Disallow: /tag/

Allow: /

Sitemap: http://www.blogkamu.com/sitemap.xml

User-agent: *

Disallow: /search

Allow: /

Penjelasan:

  • Pada contoh ini, ada aturan spesifik untuk Googlebot (crawler Google). Googlebot akan dibatasi untuk merayapi halaman pencarian dan halaman tag.

  • Mesin pencari lain (dengan User-agent: *) akan tetap merayapi halaman utama dan konten lainnya, tetapi tidak pada halaman pencarian.

Contoh 3: Menyembunyikan Halaman atau Label Tertentu

User-agent: *

Disallow: /search

Disallow: /p/privacy-policy.html

Disallow: /p/terms-of-service.html

Allow: /

Penjelasan:

  • Jika kamu memiliki halaman seperti privacy-policy atau terms-of-service yang tidak perlu diindeks oleh mesin pencari, kamu dapat menambahkan perintah Disallow untuk mencegahnya terindeks.

Langkah 3: Menyesuaikan Tag Meta di Header (Custom Meta Tags)

Selain robots.txt, tag meta di header HTML juga memengaruhi bagaimana blog kamu berinteraksi dengan mesin pencari. Tag meta ini memungkinkan kamu untuk memberikan petunjuk tambahan kepada mesin pencari tentang cara merayapi dan mengindeks halaman-halaman di blog kamu.

Untuk menambahkan tag meta di Blogger, kamu perlu mengedit template HTML blog kamu:

  1. Masuk ke Dashboard Blogger.

  2. Pilih blog yang ingin kamu edit.

  3. Klik Tema (Theme) di menu sebelah kiri.

  4. Klik Edit HTML di bagian atas.

  5. Cari bagian <head> dalam template HTML.

  6. Tambahkan tag meta yang diinginkan di dalam tag <head>.

Contoh Tag Meta untuk SEO

  • Meta Robots:

Penjelasan:

  • index berarti halaman ini bisa diindeks.

  • follow berarti mesin pencari dapat mengikuti tautan di halaman tersebut.

Jika kamu ingin mencegah halaman diindeks atau tautan diikuti, kamu bisa menambahkan tag meta seperti berikut:

  • noindex berarti halaman ini tidak akan diindeks.

  • nofollow berarti crawler tidak akan mengikuti tautan di halaman tersebut.

  • Meta Description:

Penjelasan:

  • Meta description memberikan gambaran singkat tentang isi halaman. Ini penting untuk menarik klik di hasil pencarian.

  • Meta Keywords:

Penjelasan:

  • Walaupun penggunaan meta keywords sudah tidak sepopuler dulu karena dianggap kurang relevan oleh Google, beberapa mesin pencari lain masih memperhatikan meta ini.

Langkah 4: Menambahkan Canonical Tag (Menghindari Duplikasi Konten)

Jika kamu memiliki konten yang bisa diakses melalui URL yang berbeda (misalnya URL dengan dan tanpa parameter), kamu bisa menggunakan tag canonical untuk memberi tahu Google versi mana dari halaman tersebut yang harus diindeks.

Dengan menambahkan tag ini, kamu memberitahukan Google bahwa URL ini adalah versi utama dari halaman tersebut.

Langkah 5: Mengoptimalkan Pengaturan untuk Keamanan dan Privasi

Selain pengaturan SEO, kamu juga bisa menggunakan robots.txt untuk melindungi data sensitif atau bagian blog yang tidak perlu diakses oleh crawler, seperti login, halaman admin, dan sebagainya. Misalnya:

User-agent: *

Disallow: /admin/

Disallow: /login/

Ini akan mencegah crawler untuk merayapi bagian-bagian tersebut.

Kesimpulan

Mengonfigurasi robots.txt dan tag meta di Blogger adalah langkah penting dalam optimasi SEO dan kontrol pengindeksan. Dengan memahami bagaimana cara kerja kedua elemen ini, kamu dapat memastikan bahwa blog kamu lebih mudah ditemukan oleh mesin pencari dan hanya konten yang relevan yang muncul di hasil pencarian. Jangan lupa untuk selalu memperbarui dan memeriksa pengaturan ini secara berkala untuk mengikuti perkembangan SEO terbaru!

Jangan ragu untuk bertanya lebih lanjut jika ada yang perlu dijelaskan lebih detail. Sebagai sobat blogger, saya siap membantu kamu di setiap langkah!

FAQ: Mengaktifkan Robots.txt Khusus di Blogger dan Fungsinya

1. Apa Itu Robots.txt dan Untuk Apa?

Robots.txt adalah file yang digunakan untuk memberikan instruksi kepada mesin pencari (crawler) tentang bagian mana dari situs yang boleh atau tidak boleh dirayapi. Dengan menggunakan robots.txt, Anda dapat mengontrol halaman mana yang ingin Anda indeks dan halaman mana yang tidak ingin Anda indeks, untuk membantu mesin pencari memahami struktur situs Anda lebih baik.

Fungsi utama robots.txt:

  • Membatasi mesin pencari agar tidak merayapi halaman tertentu (seperti halaman hasil pencarian, login, atau arsip yang tidak perlu diindeks).
  • Membantu memastikan bahwa crawler hanya merayapi konten penting yang relevan untuk SEO.
  • Menyediakan informasi tentang lokasi sitemap.xml, yang membantu mesin pencari menemukan struktur situs dan halaman-halaman penting.

2. Bagaimana Cara Mengaktifkan Robots.txt Khusus di Blogger?

Untuk mengaktifkan robots.txt khusus di Blogger, ikuti langkah-langkah berikut:

  1. Masuk ke Blogger: Login ke akun Blogger Anda dan pilih blog yang ingin Anda ubah pengaturannya.
  2. Masuk ke Setelan Blog: Klik menu Setelan di panel navigasi sebelah kiri.
  3. Aktifkan Robots.txt Kustom: Gulir ke bawah pada bagian Preferensi Penelusuran dan cari opsi Pengaturan robots.txt kustom. Pilih Ya untuk mengaktifkan robots.txt kustom.
  4. Edit Robots.txt: Setelah mengaktifkan pengaturan, Anda akan diberikan ruang untuk memasukkan kode robots.txt kustom. Misalnya, Anda dapat menggunakan kode berikut:
 User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.intitutorial.my.id/sitemap.xml

Simpan Pengaturan: Klik Simpan Setelan untuk mengonfirmasi perubahan yang telah Anda buat.

3. Apa Itu Tag Robots Khusus?

Tag robots adalah meta tag yang dapat ditambahkan ke bagian <head> dari HTML halaman blog Anda untuk memberi petunjuk kepada mesin pencari tentang bagaimana mereka harus mengindeks halaman tersebut.

Contoh penggunaan tag robots:

 <meta name="robots" content="index, follow">

<meta name="robots" content="noindex, nofollow">

4. Apa yang Harus Dimasukkan dalam Robots.txt untuk Blog di Blogger?

Untuk mengonfigurasi robots.txt dengan benar di Blogger, Anda bisa menambahkan pengaturan yang membatasi perayapan pada halaman pencarian dan halaman yang tidak relevan, namun membiarkan halaman utama dan postingan diindeks. Berikut adalah contoh kode robots.txt yang disarankan:

 User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.intitutorial.my.id/sitemap.xml

Penjelasan:

  • User-agent: Mediapartners-Google mengizinkan Google AdSense untuk merayapi seluruh blog.
  • User-agent: * berlaku untuk semua mesin pencari, dengan instruksi untuk tidak merayapi halaman pencarian /search tetapi memungkinkan akses ke halaman lainnya.
  • Sitemap menunjuk ke sitemap.xml, yang membantu mesin pencari mengetahui struktur blog Anda.

5. Apa Itu “Disallow” dan “Allow” di Robots.txt?

Disallow: Digunakan untuk mencegah mesin pencari merayapi halaman atau direktori tertentu pada situs Anda. Misalnya, /search biasanya tidak perlu diindeks karena tidak memberikan konten yang relevan.

Allow: Digunakan untuk mengizinkan mesin pencari merayapi halaman atau direktori tertentu yang seharusnya diindeks, meskipun ada aturan “Disallow” sebelumnya.

 Disallow: /search
Allow: /

Kode ini memberi tahu mesin pencari untuk tidak merayapi halaman hasil pencarian, tetapi mengizinkan mereka untuk merayapi seluruh situs.

6. Apa Itu Sitemap dan Mengapa Penting untuk Robots.txt?

Sitemap adalah file XML yang berisi daftar semua halaman yang ingin Anda indeks di situs Anda. Menambahkan Sitemap di robots.txt memberi tahu mesin pencari tentang lokasi sitemap Anda, yang membantu mempercepat perayapan dan pengindeksan halaman-halaman penting.

 Sitemap: https://www.intitutorial.my.id/sitemap.xml

Menambahkan baris ini pada robots.txt akan mempermudah mesin pencari untuk menemukan dan merayapi sitemap Anda dengan cepat.

7. Bagaimana Cara Memeriksa Apakah Robots.txt Berfungsi dengan Baik?

Setelah Anda mengonfigurasi robots.txt, Anda dapat memeriksa apakah pengaturan berfungsi dengan baik menggunakan Google Search Console. Anda dapat mengakses alat Uji Robots.txt untuk memverifikasi apakah mesin pencari dapat mengakses dan merayapi situs Anda dengan benar sesuai dengan aturan yang telah ditentukan di robots.txt.

8. Apakah Saya Harus Menambahkan Robots.txt untuk Setiap Halaman di Blogger?

Tidak, Anda hanya perlu mengonfigurasi robots.txt secara umum untuk blog Anda di halaman pengaturan Blogger. Anda dapat menambahkan tag robots di setiap halaman jika diperlukan, tetapi robots.txt sudah cukup untuk mengatur kebijakan umum perayapan untuk seluruh situs.

9. Apakah Robots.txt Bisa Meningkatkan SEO Blog Saya?

Ya, pengaturan robots.txt yang baik dapat membantu meningkatkan SEO dengan memastikan bahwa hanya halaman yang relevan yang dirayapi dan diindeks oleh mesin pencari. Ini juga membantu menghindari masalah duplikasi konten dan mengarahkan mesin pencari ke halaman yang lebih penting di blog Anda.

document.querySelectorAll(‘.faq-question’).forEach(item => { item.addEventListener(‘click’, () => { const answer = item.nextElementSibling; const isVisible = answer.style.display === ‘block’; // Hide all answers document.querySelectorAll(‘.faq-answer’).forEach(answer => { answer.style.display = ‘none’; }); // Toggle the clicked answer if (!isVisible) { answer.style.display = ‘block’; } }); }); .faq-container { max-width: 800px; margin: 50px auto; padding: 20px; background-color: white; box-shadow: 0 0 10px rgba(0, 0, 0, 0.1); border-radius: 8px; } h1 { text-align: center; color: #333; } .faq-item { margin-bottom: 20px; } .faq-question { width: 100%; padding: 15px; font-size: 18px; text-align: left; background-color: #007BFF; color: white; border: none; border-radius: 4px; cursor: pointer; transition: background-color 0.3s; } .faq-question:hover { background-color: #0056b3; } .faq-answer { display: none; margin-top: 10px; padding-left: 20px; } .faq-answer p, .faq-answer ul { font-size: 16px; color: #555; } .faq-answer ul { list-style-type: disc; margin-top: 10px; } .faq-answer li { margin-bottom: 8px; }