robots.txt is not valid 4 errors found の解決方法

ブログ運営と改善

robots.txt is not valid 4 errors found の解決方法

この記事は約 4 分で読めます。

ユウキです。

TCD「Be」を使ったウェブサイトで Lighthouse を参考に最適化していく際、結果表示の SEO 項目に次のメッセージが表示されました。

robots.txt is not valid4 errors found

(robots.txt が無効です – 4 つのエラーが見つかりました)

If your robots.txt file is malformed, crawlers may not be able to understand how you want your website to be crawled or indexed.

(robots.txt ファイルの形式が正しくない場合、クローラはウェブサイトのクロールやインデックス作成の方法を理解できないことがあります。)

robots.txt の記述が <p> タグで囲まれていることに問題があるようです。

robots.txt の問題を指摘される

WordPress テーマ TCD「Be」を有効化した際に、一部でこの問題が発生するケースを確認したので、解決方法について解説していきます。

初期の robots.txt は仮想ファイル

今回のケースでは、記述内容を書き換える必要があるのですが、エックスサーバーの WebFTP などを探しても該当ファイルは見当たりません。

というのも WordPress で作ったウェブサイトの robots.txt は、特定のファイルがあるわけでなく、自動的に仮想ファイルを生成する仕様のようです。

解決するには、修正したファイルをサーバーにアップロードして、Google に更新のリクエストを送信します。

robots.txt を修正する

今回の場合は単純に <p> タグを削除するだけで解決します。Google の robots.txt テスターにアクセスして編集しましょう。

robots.txt を編集してダウンロードする

リンクから robots.txt テスターに移動すると、次のような画面となります。

robots.txt に <p> タグが記述されているエラー

該当箇所を修正して【送信】をクリックすると表示される画面から【ダウンロード】を選択して txt ファイルを取得します。

robots.txt を修正して送信をクリック

修正した robots.txt をダウンロードする

robots.txt をサーバーにアップロードする

取得した修正済みの robots.txt を、サーバーにアップロードします。今回はエックスサーバーを例に進めていきます。

エックスサーバーアカウントにログイン後、【ファイル管理】→【ドメイン名】→【public_html】へ移動して、【ファイルのアップロード】から robots.txt を選択してアップロードします。

サーバーに robots.txt をアップロード

Google に更新リクエストを送信する

サーバーにアップロードが完了したら、robots.txt テスターに移動して【送信】→【Google に更新リクエスト:送信】をクリックすれば修正作業は完了となります。

Google に robots.txt の更新リクエストを送信する

補足:robots.txt の意図と自動生成される内容

robots.txt には次の 4 つの命令があり、目的は次の通りです。

命令 目的
User-agent 命令を与えるクローラーを指定する
Disallow クロールをブロックするディレクトリやページを知らせる
Allow クロールを許可するディレクトリやページを知らせる
Sitemap sitemap の場所をクローラーに知らせる

robots.txt の定型文

通常 WordPress では robots.txt が次のように自動生成されています。


User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

All in one seo pack などで xml サイトマップ を生成すると、上記のように表示されます。

もし修正が必要な場合は、example の部分をドメイン名に変更して修正されてください。

サイト運営者の意図によって robots.txt の記述は様々なので、より詳細に知りたい方や設定されたい場合は、バズ部の robots.txt に関する記事を参考にされてみてください。

まとめ

TCD「Be」を利用しているサイトをピックアップしていくつか検証した際、同様の robots.txt is not valid 4 errors found という問題が起きていました。

併せて特殊検索(site:)で Google のインデックス状況を確認したところ、登録はされていたので、実際には問題ないようにも感じましたが、検索エンジンのクローラ bot に巡回してもらいやすくするためにも対処しておくべきです。

それでは、今回はこの辺で。

ありがとうございました!

この記事のタイトルとURLをコピーする

関連記事

  1. WordPress の目次デザインをおしゃれにカスタマイズ

    ブログ運営と改善

    WordPress の目次デザインをおしゃれにカスタマイズ

    ユウキです。ブログのユーザビリティ(使いやすさ、見やすさ)を改善し…

  2. TCD は SEO に弱いのか? H タグの使い方と修正方法

    ブログ運営と改善

    TCD は SEO に弱いのか? H タグの使い方と修正方法

    ユウキです。「 TCD のテーマって SEO 対策で不利って聞いた…

  3. AddQuicktag の設定と表示されない場合の解決方法

    ブログ運営と改善

    AddQuicktag の設定と表示されない場合の解決方法

    ユウキです。今回は AddQuicktag の使い方について解説し…

  4. Contact Form 7 の設定とカスタマイズを解説

    ブログ運営と改善

    Contact Form 7 の設定とカスタマイズを解説

    ユウキです。ブログのお問い合わせページはカスタマイズされてますか?…

  5. WordPress のセキュリティ対策をするなら SiteGuard WP Plugin

    ブログ運営と改善

    WordPress のセキュリティ対策をするなら SiteGuard WP Plugin

    ユウキです。WordPress のセキュリティ対策ってされています…

  6. 画像が重いなら EWWW Image Optimizer で解決

    ブログ運営と改善

    画像が重くて表示が遅いなら EWWW Image Optimizer で解決

    ユウキです。サイト表示速度が遅い場合、画像が重いことが原因の可能性…

管理人
Blog de Affili の管理人ユウキ

ユウキと申します。

経歴は飲食サービス業のマネージャー、プロップトレーダー、オンラインサロン講師などをしていましたが、組織や人間関係にうんざりして、やりたくないことを捨てました。

ブログアフィリエイトを始めたばかりの頃は 1 年で利益 8000 円。(しょぼ笑)

その後、システム構築やマーケティングを学んで、 3 ヶ月で作った仕組みから 698 万円の売り上げを達成しました。

現在は個人向けにオウンドメディア構築やウェブマーケティングをコンサルしています。

稼いでも時間や人間関係に縛られていたらしんどいだけ。ブログでそこそこ稼いで、ゆったり自分らしく暮らしましょう。

最近の記事
  1. WordPress の目次デザインをおしゃれにカスタマイズ
  2. WP Mail SMTP で Contact Foam 7 のメールが届かない問題を解決
  3. Contact Form 7 の設定とカスタマイズを解説
  4. robots.txt is not valid 4 errors found の解決方法
  5. WordPress のセキュリティ対策をするなら SiteGuard WP Plugin
惹きつけるブログはデザインから生まれる
WordPress テーマ Be(TCD076)のレビュー
PAGE TOP