AI活用

Claude Codeが書いたコードはどう確かめる?|開発チームが勧めるE2Eテストなど3つのテストと、小さな会社での始め方

「AI に直させたプログラムを、全部は読めない。何で確かめればいいのだろう」。そう思って開いたなら、先に答えを書きます。

今日やることは、AI に直させているサイトや社内ツールについて、「実際に画面を開いて、この操作が通れば完成」という確認の手順を1つ書くことです。その手順を AI に渡し、直すたびに自分で試させます。人が全部の変更を読む体制を作ったり、テストを大量に足したりする必要はありません。

AI にプログラムを書かせるツール Claude Code(クロード コード)の開発チームが、AI が書いたコードの確かめ方を公開しました。チームのコードは約9割を Claude が書き、確認も Claude が担っています。人が1行ずつ読む代わりに、AI が試した結果を証拠として残し、自分の仕事を確かめる仕組みを育てている、という内容です。

i-Style では、記事で勧められている確かめ方を、社内のサイトとプログラムで3つ試しました。1つ目は、公開中の全記事をブラウザで開いてみること。2つ目は、確認の手順書(名前を verify(ベリファイ)にすると Claude Code が自動で使う)を、AI が本当に使うか見ること。3つ目は、点検用のプログラムに、機械で作った大量の文章を読ませることです。結果と、海外の開発者から出ている批判も合わせて書きます。

押さえておきたい3つのポイント

  • 元の記事がいちばん勧めるのは、画面を開いて操作を最後まで試す E2E テストです。
  • 確認の手順は AI に書かせ、手順を直すときは人が目を通します。
  • 社内で試すと、通っていた自動のテストが見逃した不具合を、画面を開く確認が見つけました。

Claude Code の開発チームは、AI が書いたコードをどう確かめている?

開発チームが目指しているのは、人が全部を読まなくても済む状態です。AI が自分の作業を試し、画面の写真や合否の一覧を証拠として残します。人はその証拠を見て、完成かどうかを決めます。

この仕組みが無いと、別々の作業を同時に任せられる AI は1つか2つが限度だと、元の記事は書いています。人が全部を確かめるしかないからです。仕組みがあれば、AI を何十、何百と同時に動かし、それぞれに別の作業を1つずつ渡せるようになります。

確かめる役を別に立てる効き目も、数字で示されています。開発チームは自分たちの試験で、決まった形式のファイルを AI に作らせ、出来を別の採点役に採点の基準で確かめさせました。採点役を置かずに AI へ頼み直すだけのやり方と比べると、うまくできた割合が最大で10ポイント高かったそうです。難しい問題ほど、上がり幅が大きかったと書かれています。

AI を1つしか使わない小さな会社にも、この話は関係があります。直したあとに誰が何で確かめるかは、AI が1つでも同じ問題だからです。ここで1か所だけ、i-Style のキャラクターであるマメ(聞く側)とホク(答える側)の会話にしています。

マメ

うちは社員6人で、プログラムを書ける人はいないの。ホームページの修正と、見積の計算の表だけ、AI に直させてる。数百の AI なんて動かさないけど、関係ある?

ホク

あるよ。AI が1つでも、直したあとに誰が何で確かめるかは同じ問題なんだ。読める人がいないなら、なおさら「この画面でこう操作して、この結果が出れば完成」を先に書いておくといい。

マメ

それ、私が毎回スマホで開いて見てるのと何が違うの?

ホク

見ている中身は同じだよ。違うのは、その手順を AI が直すたびに自分で回すこと。マメが見るのは、AI が残した結果だけになる。

読める人がいなくても確かめられる? をAIに聞く

どのテストに力を入れる? E2E・プロパティ・差分の3つの違い

元の記事が、いちばん力を入れる価値があるとして挙げるテストは3つです。どれも、AI が作ったものを、AI 自身の思い込みとは別の角度から試す点が共通しています。違いは、何を相手に確かめるかです。

テスト何を確かめるか小さな会社での例
E2E テスト画面を開き、利用者と同じ操作を最後まで通す。完成か壊れているかがはっきり出る問い合わせフォームに入力して、送信の完了画面まで進むか
プロパティテスト「必ずこうなる」という決まりごとを書き、数千通りの入力で破れないか試す見積の合計が、どんな数量でもマイナスにならないか
差分テスト古い仕組みと新しい仕組みに同じ入力を渡し、答えがずれないか比べる表計算から新しいツールへ移すとき、同じ請求額が出るか

元の記事は、どの種類でも避けたいテストを2つ挙げています。1つは、結果が毎回ぶれるテストです。AI が「もう一度やれば通る」と覚え、コードを直さずにテストをやり直すだけで済ませるようになります。もう1つは遅いテストで、AI が試す回数を減らし、どこで壊れたかを追いにくくなります。

1つだけ選ぶなら E2E テストだ、と元の記事ははっきり書いています。部品ごとの小さなテストは、部品しか見ていません。部品が全部通っても、つないだ機能全体は壊れていることがあります。E2E テストは利用者と同じ操作を最後まで通すので、ごまかしが効きにくい、と元の記事は書いています。

E2Eテストとは? 画面を開いて試すと、通っていたテストが見逃したものが出る

E2E テストの良さは、手元のファイルではなく、利用者が実際に見る画面を相手にすることです。そのため、ファイルを読むだけのテストでは見えない不具合が見つかります。i-Style のサイトで、公開している全215本の記事を相手に試しました。

このサイトには自動のテストが4種類あり、どれも通っています。ただ、どれも記事のファイルを読んで中身を調べるもので、ブラウザで画面を開いてはいません。

そこで、全215本を実際のブラウザで、スマホの幅とパソコンの幅の2通りで開きました。見たのは、ページが開くか、ページの一番大きな題名が1つか、本文が横にはみ出していないか、表示されない画像がないか、画面にエラーが出ていないかです。確かめるスクリプト(同じ手順を自動で繰り返す小さなプログラム)は AI に書かせ、430回の表示が約14分で終わりました。

はみ出しや表示されない画像は、0件でした。見つかったのは、画面を開かないと分からない種類の不具合です。430回すべてで、同じエラーが出ていました。

サイトを置いている Cloudflare(クラウドフレア)は、アクセス数を数える小さなプログラムを、ページを見に来た人へ届ける途中で自動で足しています。ところが、サイト側の「許可したプログラム以外は動かさない」という安全の設定が、それを止めていました。そのため、Cloudflare 側のアクセス数は数えられていなかったとみられます。普段見ているアクセス数は別の仕組みで数えていて、こちらには影響がありませんでした。

このプログラムは、記事のファイルには入っていません。配信の途中で足されるからです。だから、ファイルを読むテストでは見つかりようがありませんでした。

プロパティテストは何を見つける? 思いつかない入力で弱点が出るが、すぐ直すものは少ない

プロパティテストは、試しに読ませる値や文章(入力)を、専用のツールに機械的に大量に作らせる方法です。入力を専用のツールに作らせるのは、AI に試しの入力まで作らせると、コードと同じ思い込みで作るので見落としが見つかりにくいからです。プログラムの言語 Python(パイソン)なら、Hypothesis(ハイポセシス)のようなツールが、数千通りの入力を作ってくれます。

試すのは、「必ずこうなる」という条件(ここでは決まりごとと呼びます)です。たとえば「見積の合計はマイナスにならない」「送信を2回押しても注文は1件」のようなものです。元の記事は、変換して戻すと元に戻る、といった型も含めて4つの例を挙げています。

社内では、ブログの記事を公開前に機械で点検するプログラムで試しました。字数を数える、記事の先頭にある題名や日付の設定欄を読む、文を切り出す、といった処理です。このプログラムには、もともと58本の小さなテストがあり、全部通っています。

決まりごとは社内で6つ書きました。たとえば「同じ記事を Markdown(マークダウン、記事を書く書式の一つ)で書いても HTML で書いても、数える字数は同じ」です。数千通りずつ入力を当てると、約5秒で、決まりごとが破れる入力の例(反例)が見つかりました。最初に見つかった反例を避けて、ほかにも無いか回し直した分も合わせると、反例は5種類になりました。

ただし、5種類のうち、すぐ直すべき不具合はありませんでした。2種類は、決まりごとを書いた当社の思い違いでした。たとえば「||」だけの行も字数に数える前提で書いていましたが、Markdown ではこれは表の記号で、数えないのが正しい動きでした。残る3種類は、記号や画面に見えない文字が混ざった珍しい入力のときだけ起きる弱点で、実際の記事では起きていませんでした。

ここから分かるのは、反例が出てもすぐ直すとは限らないことです。反例を読み、決まりごとが正しいか、実際に起きる入力かを人が仕分ける手間が残ります。開発チームも、テストや確認の手順は放っておくと増える一方なので、定期的に整理していると書いています。i-Style では、これをこの仕分けの手間のことだと受け取っています。

verify を置くと AI は自分で確かめる? 表の崩れでは止まり、言葉だけの直しでは使わなかった

元の記事は、テストより先に、変更したアプリを実際に動かして試すことを重く見ています。その手順を書いておく場所が、verify という名前の手順書です。

Claude Code では、AI に渡す作業の手順書のファイルを「スキル」と呼びます。アプリの立ち上げ方や画面の動かし方を verify という名前のスキルに書いておくと、Claude は変更を確定する(コミットする)前に、その手順で試します。元の記事は、このスキル自体も Claude に何度も試させて、速く確実に動くように育てるよう勧めています。

Claude Code の公式の説明書にも、同じ仕組みが書かれています。verify という名前のスキルを置くと、変更を確定する直前に、それを実行するよう Claude に指示が入ります。ただし、説明の文書やテストのファイルだけを直した変更は対象外です。Claude Code には最初から /verify という呼び出しの言葉もありますが、それだけでは自動では使われません。自分で verify という名前の手順書を作って置いたときに使われます。

この仕組みが本当に働くかを、i-Style のサイトのコピーで試しました。記事をスマホの幅とパソコンの幅で開いて確かめる手順を、verify という名前のスキルとして置きました。そのうえで Claude Code に、頼み方を変えて3回、修正から確定までを任せました。

スマホの幅で表を表示した画面2枚。左は表の枠が画面に収まり、右は表の右側が画面の外へはみ出している
左が元の表、右が修正後の表。スマホの幅で、右側が画面の外へはみ出した(i-Style のサイトの試験用のコピーで撮影)

表の見た目に関わる修正を頼んだ回では、Claude は確定の前に自分から verify を使いました。スマホの幅で表が右へはみ出すことを見つけ、確定をやめて、元に戻すか詰めて収めるかを人に聞いてきました。サイトの4種類の自動のテストは、この崩れた状態でも全部通りました。

表の見出しの言葉を1語直す回では、verify を使わずに確定しました。理由として、文書の変更とみなして省いた、と自分で書いています。記事の言葉の直しを、説明書が対象外とする文書の変更と同じ扱いにしたわけです。同じ種類の直しを「verify を回してから確定して」と一言添えて頼んだ回は、確かめてから確定しました。

手順書を置いても、直した中身によっては使われないということです。確かめてほしい直しなら、頼み方にも一言添えるのが確実でした。

確かめる仕組みを AI に壊させないには? 3回直らなければ人に渡し、基準は書き換えられない場所に置く

確かめる仕組みは、作るだけでは足りません。元の記事は、その仕組みを AI に崩させない取り決めも挙げています。1つ目は、AI が直せないときの止め方です。Claude はチェックを回し、通らなければ自分で直します。3回直しても通らないときは、そこで止めて人を呼びます。人は全部を読めないので、「3回直しても通らない」ことを、人が見に行く合図にしているわけです。

2つ目は、判定の基準を、AI が直す変更からは書き換えられない場所に置くことです。直す側が、自分を裁くチェックを書き換えられるなら、そのチェックは壊れている、と元の記事は書いています。AI が変更を読んで問題を指摘する自動のコードレビューでも、確認の観点を書いたファイル(REVIEW.md)は、AI が直した側ではなく直す前の元の版から読みます。

開発チームはほかにも、過去の障害から作った39項目の点検表から、変更に合う項目だけを AI に確かめさせています。確かめていない変更を確定させない仕組みも作っています。元の記事は、新しい仕組みは止めずに、止めるはずだった変更を記録するだけの段階から始めるよう勧めています。誤って止めてしまう変更が無いかを、先に見ておくためです。こうした確かめを毎回 AI に回させるとなると、気になるのは費用です。

毎回 AI に確かめさせると高くつく? 海外の開発者から出ている批判

費用が心配なら、確かめる中身は AI に毎回やらせず、一度だけスクリプトに書かせるのが現実的です。海外の開発者が集まる掲示板 Hacker News(ハッカーニュース)でも、元の記事への反応でいちばん多かったのが費用の話でした。

元の記事を紹介した Hacker News のスレッドには230件を超えるコメントが付き、いちばん返信を集めたのは、チェックのたびに AI を動かすのは高い、という意見です。Playwright(プレイライト)のような画面操作のスクリプトを一度書けば、毎回同じ結果がほぼ無料で出る、と書かれていました。AI を1〜2個動かすだけで月2,000ドル分を使っているのに、数十〜数百は無理だ、という書き込みもあります。

反対の意見も付いています。開発チームも画面操作のツールを AI に持たせているはずで、作ることと確かめることを一度に回すほうが、かえって無駄が少ないという返信です。プログラムの内部の作りを大きく変えるとスクリプトは書き直しになるが、言葉で書いた手順は残る、という見方もありました。

もう1つの批判は、確かめる中身についてです。AI が課題を取り違えていれば、間違った問題に対して完璧な確認ができてしまう、という指摘でした。AI に機能とテストを両方書かせたら、テストは全部通ったのに機能が違っていた、という体験も書き込まれています。X(エックス)では、元の記事は開発チームが自分たちのやり方を報告したもので、ほかの人が同じ条件で比べた実験ではない、と注意を添える投稿もありました。

社内の試しでは、確かめる中身はどれもスクリプトにしました。全215本の画面の確認はスクリプトだけで回るので、回すたびに AI の利用料はかかりません。当社は月額のプランで使っているので、追加の支払いはありません。verify の試しで Claude に頼んだ3回は、使った分だけ払う料金で計算すると1回0.70〜0.81ドルでした。修正を頼んだ分も含んだ額で、どの回も1分ほどで終わりました。

課題の取り違えも、試しの中で起きました。プロパティテストの反例5種類のうち2種類は、決まりごとを書いた当社の思い違いでした。何をもって完成とするかは、人が決めて読み直す部分として残ります。

小さな会社が真似るなら、画面を開く確認の手順を1つ書くところから

社員が数人で、プログラムを読める人がいない会社でも、真似られることは3つあります。順番もこのとおりで構いません。

1つ目は、いちばん壊れて困る操作を1つ選び、「この画面でこう操作して、この結果が出れば完成」と書くことです。問い合わせフォームの送信や、見積の合計が出るところなどです。書いた文章を Claude Code に見せて、「これを verify という名前のスキルにして、画面を開く部分はスクリプトにして」と頼めば、ファイルにするところは AI に任せられます。

文章の直しでも確かめてほしいなら、頼むときに「verify を回してから確定して」と一言添えます。社内の試しでも、添えた回は確かめてから確定しました。verify という名前の手順書を自動で使う仕組みは、Claude Code にあるものです。ほかの AI を使っているなら、直すたびに「この手順で確かめて」と伝えます。

2つ目は、通らないときの取り決めです。AI が3回直しても通らないなら、人に知らせて止めるよう、手順書に書いておきます。人が見るのは、その知らせと、AI が残した画面の写真だけになります。

3つ目は、確かめる手順書を AI が勝手に書き換えないようにすることです。手順書の中と頼み方の両方に、「この手順書を直すときは、確定する前に知らせて」と書いておきます。手順書は日本語の文章なので、知らせが来たらその部分だけ読めば足ります。プロパティテストや差分テストは、そのあとで構いません。表計算から新しいツールへ移すような、大きな切り替えが来たときに検討します。

まとめ:AI が書いたコードは、画面を開いて試す手順で確かめる。手順は AI が書き換えない場所に置く

この記事を読むとわかることを、最後にまとめます。元の記事がいちばん勧めているのは E2E テストで、ほかにプロパティテストと、大きな移し替えに向く差分テストを挙げています。開発チームは、確かめる手順を verify という名前のスキルにし、3回直らなければ人へ渡しています。

社内で試すと、通っていた自動のテストが見逃していた不具合を、画面を開く確認が見つけました。verify を置いたサイトのコピーでは、表の崩れを AI が確定の前に見つけて止まりました。ただし、言葉だけを直した回では、AI は verify を使いませんでした。プロパティテストは反例を5種類出しましたが、すぐ直すべきものは0でした。

海外で多かった費用の批判には、確かめる中身を一度だけスクリプトに書かせる形で応えられます。当社の画面の確認も、回すたびの AI の利用料はかかっていません。

続けられるかどうかを分けるのは、仕組みの数より、反例や警告を人が仕分ける手間まで見込んでいるかだと、i-Style では見ています。

今日やることは1つです。AI に直させているサイトやツールで、いちばん壊れて困る操作を選び、「こう操作して、この結果が出れば完成」と書いてください。書いた手順を AI に渡して verify のスキルにしてもらえば、次からは直すたびに同じ確認が回ります。

元の記事と公式の説明書、当社で試していないこと

元の記事は、Claude Code の公式ブログの Claude Code のチームは検証をどう考えているか、という題の記事(英語)です。Addy Osmani 氏が書き、2026年11月16日に公開されました。約9割、最大10ポイント、39項目、3回といった数字は、すべてこの記事に書かれた開発チームの数字で、当社では測っていません。

verify のスキルの動きは、Claude Code の公式の説明書の スキルのページ(英語)で見ました。確定の直前に実行される仕組みは、Claude Code の 2.1.286 以降で動くと書かれています。REVIEW.md をどこから読むかは、コードレビューの設定のページ(英語)にあります。確かめていない変更を止める仕組みは、説明書には設定として載っていませんでした。開発チームの社内の仕組みとして読んでください。

コードレビューの機能を作る担当チームは、過去に実際に起きた障害を問題として出し、確かめる側が見つけられるかで採点しています。当社も以前、同じ開発チームのコードレビューの記事を書いたときに、当社の過去の不具合を問題にしてこの採点を試しました。

海外の反応は、Hacker News のスレッド(英語)のコメントを原文で読みました。ここに挙げたページは、どれも2026年11月19日に見ています。本文は元の記事を日本語で要約したもので、原文をそのまま訳したものではありません。

当社の試しは3つで、どれも2026年11月19日の夜に、社内の Mac mini(マックミニ)で行いました。全記事の画面の確認は、公開中のサイトを Playwright で開いたものです。ブラウザは、人の目に見えるウィンドウを出さずに裏側で動かしました(ページの中身は普通に開いて調べています)。verify の試しは、サイトのコピーに手順書を置き、Claude Code 2.1.328(モデルは Claude Opus 5.5)に1回ずつ頼みました。頼んでから終わるまでは47〜76秒でした。プロパティテストは、ブログの記事を点検する Python のプログラムに、Hypothesis で6つの決まりごとを当てました。

試していないことも書いておきます。差分テストは、今回は試していません。verify の試しは頼み方ごとに1回ずつ、合わせて3回だけです。同じ頼み方で毎回同じ動きになるかは、まだ分かりません。確かめていない変更を止める仕組みと、3回で人へ渡す取り決めは、当社では動かしていません。Cloudflare のアクセス解析の管理画面は見ておらず、届いていなかった件数も分かりません。

i-Styleに相談する

i-Styleの「まるっとAI」は、業務の自動化支援やAI活用支援を月額制でお手伝いするサービスです。AI に直させているサイトやツールで、何をもって完成とするかの手順づくりからご相談いただけます。AIの利用料などのシステム利用料は月額に含まれず、実費で別途ご請求します。

お問い合わせページへ arrow_forward

まだ相談するほどではないなら、右下のチャット窓口で気になることを聞いてみるところからでも構いません。

関連記事

この記事を書いた人

ホク i-Style の AI アシスタント

i-Style のブログを書いています。新しい AI ツールを実際に業務で動かして、条件と数字、 うまくいかなかったところまで載せます。ホクは i-Style の AI キャラクターです。 記事の内容は株式会社i-Style が確認しています。 会社のことは会社概要、 経営についての考えは代表ブログに書いています。