robots.txt is not valid 4 errors found の解決方法

ブログ運営と改善

robots.txt is not valid 4 errors found の解決方法

この記事は約 4 分で読めます。

ユウキです。

TCD「Be」を使ったウェブサイトで Lighthouse を参考に最適化していく際、結果表示の SEO 項目に次のメッセージが表示されました。

robots.txt is not valid4 errors found

(robots.txt が無効です – 4 つのエラーが見つかりました)

If your robots.txt file is malformed, crawlers may not be able to understand how you want your website to be crawled or indexed.

(robots.txt ファイルの形式が正しくない場合、クローラはウェブサイトのクロールやインデックス作成の方法を理解できないことがあります。)

robots.txt の記述が <p> タグで囲まれていることに問題があるようです。

robots.txt の問題を指摘される

WordPress テーマ TCD「Be」を有効化した際に、一部でこの問題が発生するケースを確認したので、解決方法について解説していきます。

初期の robots.txt は仮想ファイル

今回のケースでは、記述内容を書き換える必要があるのですが、エックスサーバーの WebFTP などを探しても該当ファイルは見当たりません。

というのも WordPress で作ったウェブサイトの robots.txt は、特定のファイルがあるわけでなく、自動的に仮想ファイルを生成する仕様のようです。

解決するには、修正したファイルをサーバーにアップロードして、Google に更新のリクエストを送信します。

robots.txt を修正する

今回の場合は単純に <p> タグを削除するだけで解決します。Google の robots.txt テスターにアクセスして編集しましょう。

robots.txt を編集してダウンロードする

リンクから robots.txt テスターに移動すると、次のような画面となります。

robots.txt に <p> タグが記述されているエラー

該当箇所を修正して【送信】をクリックすると表示される画面から【ダウンロード】を選択して txt ファイルを取得します。

robots.txt を修正して送信をクリック

修正した robots.txt をダウンロードする

robots.txt をサーバーにアップロードする

取得した修正済みの robots.txt を、サーバーにアップロードします。今回はエックスサーバーを例に進めていきます。

エックスサーバーアカウントにログイン後、【ファイル管理】→【ドメイン名】→【public_html】へ移動して、【ファイルのアップロード】から robots.txt を選択してアップロードします。

サーバーに robots.txt をアップロード

Google に更新リクエストを送信する

サーバーにアップロードが完了したら、robots.txt テスターに移動して【送信】→【Google に更新リクエスト:送信】をクリックすれば修正作業は完了となります。

Google に robots.txt の更新リクエストを送信する

補足:robots.txt の意図と自動生成される内容

robots.txt には次の 4 つの命令があり、目的は次の通りです。

命令 目的
User-agent 命令を与えるクローラーを指定する
Disallow クロールをブロックするディレクトリやページを知らせる
Allow クロールを許可するディレクトリやページを知らせる
Sitemap sitemap の場所をクローラーに知らせる

robots.txt の定型文

通常 WordPress では robots.txt が次のように自動生成されています。


User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

All in one seo pack などで xml サイトマップ を生成すると、上記のように表示されます。

もし修正が必要な場合は、example の部分をドメイン名に変更して修正されてください。

サイト運営者の意図によって robots.txt の記述は様々なので、より詳細に知りたい方や設定されたい場合は、バズ部の robots.txt に関する記事を参考にされてみてください。

まとめ

TCD「Be」を利用しているサイトをピックアップしていくつか検証した際、同様の robots.txt is not valid 4 errors found という問題が起きていました。

併せて特殊検索(site:)で Google のインデックス状況を確認したところ、登録はされていたので、実際には問題ないようにも感じましたが、検索エンジンのクローラ bot に巡回してもらいやすくするためにも対処しておくべきです。

それでは、今回はこの辺で。

ありがとうございました!

この記事のタイトルとURLをコピーする

関連記事

  1. TCD は SEO に弱いのか? H タグの使い方と修正方法

    ブログ運営と改善

    TCD は SEO に弱いのか? H タグの使い方と修正方法

    ユウキです。「 TCD のテーマって SEO 対策で不利って聞いた…

  2. AddQuicktag の設定と表示されない場合の解決方法

    ブログ運営と改善

    AddQuicktag の設定と表示されない場合の解決方法

    ユウキです。今回は AddQuicktag の使い方について解説し…

  3. Contact Form 7 の設定とカスタマイズを解説

    ブログ運営と改善

    Contact Form 7 の設定とカスタマイズを解説

    ユウキです。ブログのお問い合わせページはカスタマイズされてますか?…

  4. Autoptimize で CSS を軽量化してモバイル表示速度を高速化

    ブログ運営と改善

    Autoptimize で CSS を軽量化してモバイル表示速度を高速化

    ユウキです。今回は、Autoptimize を使ってコードの最適化…

  5. Lighthouse で JavaScript のセキュリティ脆弱性が検出された際の対処法

    ブログ運営と改善

    Includes front-end JavaScript libraries with known…

    ユウキです。モバイル表示速度を改善するために Lighthouse…

  6. TCD「Be」のプロフィールを「MAG」風にカスタマイズする方法

    ブログ運営と改善

    TCD「Be」のプロフィールを「MAG」風にカスタマイズする方法

    ユウキです。TCD「Be」のウィジェットに設置できるオリジナルのプ…

WordPress構築サポート特典付き
特典付きリーダーのためのライティング講座
条件あり:フォローアップコンテンツ提供
特典付きネットビジネス大百科2
管理人
Blog de Affili の管理人ユウキ

ユウキと申します。

経歴は飲食サービス業のマネージャー、プロップトレーダー、オンラインサロン講師などをしていましたが、組織や人間関係にうんざりして、やりたくないことを捨てました。

ブログアフィリエイトを始めたばかりの頃は 1 年で利益 8000 円。(しょぼ笑)

その後、システム構築やマーケティングを学んで、 3 ヶ月で作った仕組みから 698 万円の売り上げを達成しました。

現在は個人向けにオウンドメディア構築やウェブマーケティングをコンサルしています。

稼いでも時間や人間関係に縛られていたらしんどいだけ。ブログでそこそこ稼いで、ゆったり自分らしく暮らしましょう。

最近の記事
  1. WordPress の目次デザインをおしゃれにカスタマイズ
  2. WP Mail SMTP で Contact Foam 7 のメールが届かない問題を解決
  3. Contact Form 7 の設定とカスタマイズを解説
  4. robots.txt is not valid 4 errors found の解決方法
  5. WordPress のセキュリティ対策をするなら SiteGuard WP Plugin
惹きつけるブログはデザインから生まれる
WordPress テーマ Be(TCD076)のレビュー
PAGE TOP