クローキングとは？Googleペナルティに該当するスパム行為を徹底解説

クローキングは、Googleのガイドラインに違反し、ペナルティに該当する行為です。意図せぬ形でクローキングと判定されると、Googleの検索経由からの流入が激減する可能性があるため、注意が必要です。

本記事では、クローキングとは何なのか、クローキングになっていないかを確認する方法を解説します。事前に手法を確認しておくことで、予期せぬペナルティを回避できます。ぜひご覧ください。

クローキングとは？

もともとクローキング（cloaking）には、「秘める」「潜める」「忍ばせる」といった意味があります。

SEOにおけるクローキングとは、クローラーとユーザーに異なるページ情報を表示させ、検索エンジンの評価を高める手法のことを言います。まだ検索エンジンの精度の低かった2000年代前半までは、一般的なサイトにも「ステルス」や「ファントム」と呼ばれ多用されていました。

しかし、Googleウェブスパム・チームのマット・カッツ氏による2011年のクローキング行為の監視・検出を強化していく方針を表明したのちに、Googleはクローキング行為をガイドライン違反だと明確に提示しました。

Googleは禁止しているクローキングの例として、以下の2つを挙げています。

・検索エンジンには HTML テキストのページを表示し、人間のユーザーには画像や Flash のページを表示する。
・ページをリクエストした User-agent が人間のユーザーではなく検索エンジンである場合にのみ、ページにテキストやキーワードを挿入する。

※Googleの公式ヘルプより引用(https://support.google.com/webmast)

クローキングが発覚すると、当然ですが、Googleからペナルティを受けることになります。検索順位が下がり、アクセスが激減します。さらにはGoogle検索に表示されなくなる恐れすら出てきます。

クローキングの主な手法（非推奨）

次に、クローキングの主な手法を簡単に紹介します。

現在ではクローキング自体を知らない人がほとんどですから、無自覚にクローキングを行ってしまう可能性もあります。そのため、ひとまずクローキングの手法だけは知っておくことが重要とも言えます。

何度も説明していますが、大前提としてクローリングはGoogleから禁止されているスパム行為です。

これより紹介する手法は、現在ではGoogleからペナルティを課される為、推奨されていません。くれぐれも実践しないようにお願い致します。

IPアドレスを利用する

まずはじめに、最も一般的なクローキング手法は、IPアドレスを利用するものです。

手順としては、以下になります。

1. サイトにアクセスしてきたクローラーとユーザーのIPアドレスをユーザーエージェント(User-Agent)で判断します。
2. クローラーにはクローラー用のページを、ユーザーにはユーザー用のページをといったように、それぞれに全く異なるHTMLを振り分け表示させます。

転送方法としては、Webサーバーの設定によってリダイレクトさせる方法と、JavaScriptを使ってブラウザ側でリダイレクトさせる方法があります。

画像表示やFLASHを用いる

もう一つの代表的なクローキング手法は、画像表示やFLASHを用いる方法です。

こちらは、ユーザーとクローラーの好みの違いを利用した手法になります。

ユーザーはFlashなどを利用した派手で目を引くサイトを好みますが、検索エンジンはHTML構造がシンプルなテキスト中心のページを好みますから、人間のユーザーに対してはFlashや画像を表示して、クローラーにはHTMLテキストを表示させるわけです。

クローキングを確認する方法

ここまでクローキングの手法について紹介しましたが、現在、意図的にクローキングを行なうサイト制作者は少ないと思います。ただし、たまに無自覚のままクローキングを行なっていることもあります。

次に、自サイトのクローキングを確認する4つの方法について紹介します。

➀ブラウザの拡張機能を使用する

1つ目は、ユーザーエージェント名を変更する拡張機能をインストールしたブラウザで、ページにアクセスして、通常と異なるページが表示されないかチェックする方法です。

その際、ユーザーエージェント名は次のように設定します。（グーグル用）→Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

➁キャッシュを確認する

検索エンジンはクローラーが取得した内容を「キャッシュ」として保存していますから、そのキャッシュをチェックし、通常と異なるページが表示されないかを確認しましょう。

➂ウェブマスターツールで確認する

3つ目は、グーグルのクローラーからページがどう見えているかを確認する方法です。

ウェブマスターツールに登録している自分の管理サイトであれば、ウェブマスターツールの機能が利用できます。

まずウェブマスターツールにログインして、対象サイトを選びます。次に、左のメニューで「Labs」→「Fetch as Googlebot」を選びます。

右側に対象ページのURLを指定して「取得」ボタンをクリックします。最後、取得が完了すると、その下に「成功しました」と出てきます。そのリンクからクローラーが見ているサイトの内容を確認できるというわけです。

➃Google翻訳を活用する

最後の方法として、Google翻訳を使って確認するというのがあります。

ウェブマスターツールの「Fetch as Googlebot」が使えず、キャッシュの確認もできない場合に、Google翻訳を使うことでクローキングを確認できます。

まず、Google翻訳で対象ページのURLを指定します。

次に、「原文の言語」を「日本語」に、「翻訳する言語」を「英語」に指定して「翻訳」ボタンをクリックします。すると翻訳結果が表示されるので、上部右端にある「表示」で「原文」を選びます。最後、グーグルのシステムが取得したHTMLが表示されるという仕組みになります。

【要注意】意図せずクローキングしている場合がある

Webサイトの運営管理を行う上で見落とされがちなのが、知識不足からしばしば意識せずにクローキング行為を行なってしまうことです。

意図していない場合でも、クローキングはすべて違反と見なされ、Googleからペナルティを受けています。ペナルティを受けると、検索結果から除外されたり、検索順位を下げられたりしますから、注意が必要です。

意図しないクローキングとして、代表的な事例を紹介します。

PCとスマホでページの振り分けができていない

よくある例としては、スマホ向けサイトとPC向けサイトを別々に作成している場合が挙げられます。この時、レイアウトや構成を大きく変えることによりページ情報が大きく異なってしまうと、クローキングと認識される可能性が出てきます。

まずGoogleのクローラーには、PC用とスマホ用の2種類があることを覚えておいてください。PC向けのサイトは「Googlebot Desktop」というクローラーで巡回し、スマホ向けのサイトは「Googlebot Smartphone」で巡回しています。

その為、PC向けのサイトのクローラーにスマホ向けのコンテンツを表示させる設定にしていると、クローキングと判定されることになるのです。無論スマホ向けのクローラーにPC向けのコンテンツを表示させた場合でも同じくスパム行為と判断されます。

このことからスマホとPCで表示される画面を分けている場合は、User-Agentを使ってクローラーも同様に振り分けることが得策です。

※ただし、レスポンシブWebデザインを使っている場合は同様のHTMLページが表示されるので特に対策する必要はありません。

レスポンシブデザインに関する記事はこちら！
・[テンプレあり]レスポンシブ対応は必須条件!?実装方法・ポイントまで徹底解説
・レスポンシブデザインの最適ブレイクポイント【最新版】

会員制ページを検索エンジンに認識させている

次に、会員制のショッピングサイトなどで、運営者がアクセス数を伸ばす目的でスパム行為と知らずに行なっていることが多い、よくある間違いを紹介します。

会員制のページにも関わらず、ログイン後の内容を検索エンジンに認識させていることがたまに見受けられます。

ログインしないと見られない会員制のページを検索結果に表示させる設定にすると、どうしてもクローキングと判定されることになります。これは、クローラーに対しては商品の情報を提供しているのに、人間がアクセスするとログイン画面が表示される状態だからです。Googleからすれば、「検索エンジンとユーザーに対して別々の表示をしている」という判断をされます。

当然クローキングとみなされてしまいます。

ECサイトに関するSEOが気になる方は、こちらをご覧ください。
・ECサイトやポータルサイトのSEOで気を付けるべきポイントをご紹介

ハッキングされている

上記2つの事例に関しては、サイト制作者の非も少しはあるかもしれません。しかし、全く自分に非が無いのにクローキングと認定される場合もあります。

それがハッキングです。

つまり、Webサイトに勝手に侵入されて、Googleのクローラー以外を別のページにリダイレクトさせる設定に変えられてしまっている現象です。当然、このような場合、ハッキングの被害者ではあるのですが、そうはいっても目に見えないハッカーに怒りをぶつけても仕方ありません。Googleが、ユーザー保護の観点から「ハッキングされたサイトもペナルティの対象」にしているからです。

ですから、定期的にWebページがハッキングされていないか確認することも大切になってきます。

ハッキングの被害を受けているか確かめるには、サイト管理者なら誰もが日常的に使っていると思いますがGoogleサーチコンソールの「URL検査ツール」が有効になってきます。

WebサイトのURLを入力するだけで、正常にインデックスに登録されているかが分かります。もしハッキングされていた時は、問題のページを削除するのが最も簡単な対策になります。しかし何らかの事情で削除できないのなら、該当ページのHTMLに「noindex」と記述し、検索エンジンのインデックス登録を拒否しましょう。

ちなみにハッキングの予防策としては、セキュリティプラグインの導入や二要素認証の実装などがあります。また、複数のユーザーが内部にログインできる状態なら、自動ログアウト機能にしておくことも予防策としては有効になります。

Googleサーチコンソールの使い方や、インデックス登録に関する記事はこちらです！
・【保存用】Googleサーチコンソールの基本から設定・活用ポイントまで徹底解説！
・【Googleインデックス】の登録方法を解説！サイトを検索表示させよう

クローキングの例外

さて、ここまででクローキングがどのようなものであるのかわかってもらえたと思います。

しかし、一見クローキングに見えるものでも、Googleガイドライン違反の対象にならない例もあるのです。

以下に代表的な例を3つ挙げます。

• サイトレイアウトをユーザーデバイスに最適化するためにスマホ用とPC用のページに振り分けること。
• アクセスする時間帯によって異なるコンテンツを表示すること。
• ユーザーの国や所在地などアクセスする地域によって異なるコンテンツを表示すること。

これら3つのクローキングの例外に共通している点は、何でしょうか？

それは、これら全てが、ユーザーにとって有益であるからです。そもそもクローキングが悪質とされる理由は、公平公正な検索結果が得られなくなると、ユーザーの不利益になるからです。

ユーザビリティを向上させる目的ならば、Googleにとっては大歓迎ということです。

まとめ

今回は、クローキングの意味や手法、クローキングの確認方法、意図せずにクローキング認定されてしまう事例や、例外事例について紹介しました。

知識不足からクローキングに該当する施策を行ってしまうことや、ハッキングによりクローキングの状態にさせられてしまう状況も起こっています。

意図していようとなかろうと、知らないではすまされないのがクローキングです。

クローキングはGoogleのガイドライン違反にあたる行為ですから、何がクローキングなのかをしっかり把握し、違反しないようなWebサイト作成を進めていくことが大切です。　　

良質なWebサイトには正しいSEO対策が欠かせません。Googleはユーザビリティを重要視していますから、大事なことは運営側の都合ではありません。サイトにアクセスするユーザーにとって最適なコンテンツを提供できるようにする事が重要なのです。

Hitonoteでは、SEO対策記事を多く掲載しています。ぜひご覧ください。
・Google SEOの基本から流入数をアップさせる14の秘訣！
・ユーザビリティとは？向上させるための方法も解説！

当記事で紹介した注意点をよく確認して、どんなにやむを得ない状況であっても絶対にガイドライン違反を行わないようにしてください。

執筆者：川口享晟

株式会社ヒトノテのSEOコンサルタント。メディアサイトからポータルサイト、ECサイトまで様々なサイトのSEO支援を経験。売上のアップから逆算したSEO対策を得意とし、クライアントに寄り添ったオーダーメイドの提案を心がけています。

監修者：坪昌史

株式会社ヒトノテの代表取締役CEO。 エンジニアとしてキャリアスタートし、サイバーエージェントのSEO分析研究機関を経て、リクルートの横断マーケティング組織のマネージャー&全社SEO技術責任者を務める。その後、独立しSEOを中心としたクライアントの課題解決を行う。2017年、株式会社ヒトノテを創業し、様々な企業のウェブマーケティングの支援を行う。