AI活用

AIエージェントの監視はどうする?|異常な動きを止める・見つける4つの選択肢と、小さな会社のおすすめ

「AI に仕事を任せ始めたけれど、変なことをしていないか、どう確かめればいいのか分からない」。そう思って開いたなら、先に答えを書きます。

AIエージェントの監視は、触れる範囲を絞る、実行の前に止める、記録して後から見る、専用のサービスに見張らせる、の4つを組み合わせて考えます。監視は、AIエージェントのセキュリティ対策のうち、困った動きを止める、気づく役目です。AIエージェントとは、指示を受けて、何段階もの作業を自分で進める AI のことです。

今日やることは、AI に任せている作業のうち、取り返しのつかない操作を書き出すことです。ファイルを消す、外へ送る、お金を払う、といった操作です。ブラウザで ChatGPT(チャットジーピーティー)に質問しているだけなら、今日は監視の設定を急いで変える必要はありません。メールや共有フォルダにつないでいない場合の話です。ただし、お客様の個人情報や社外秘を質問に入れない決まりは、別に要ります。

最近、Google(グーグル)が、AI の困った動きを記録から見つけるサービスの手引きを出しました。名前は Agent Anomaly Detection(エージェント アノマリー ディテクション)です。ただし、申し込んで許可された会社だけが使える段階です。

i-Style では、AI がパソコンで実行しようとする操作を、実行の前に別の AI が採点する仕組みを動かしています。このあと、その30日分の記録も紹介します。

押さえておきたい3つのポイント

  • 監視は、範囲を絞る・実行の前に止める・記録して見る、などの組み合わせです。
  • 実行の前に止めるのは、取り返しのつかない操作だけにします。
  • 止めない操作は記録に残し、週に1回見返します。

この記事を読むとわかることは、実行の前に止めるのは取り返しのつかない操作だけにして、残りは記録して週に1回見る、という監視の始め方です。

AIエージェントの監視はなぜ要る? エラーにならない困った動きがあるから

AIエージェントの困った動きは、エラーとして画面に出ないことが多いです。作業は最後まで終わり、答えもきれいに返ってきます。それでも、触ってはいけない情報に手を伸ばしていることがあります。

Google の手引きは、わざと穴を空けた見本の AI で、エラーにならない困った動きを見せています。お客様の問い合わせに答える AI に、注文を調べる機能を持たせた見本です。その機能は、会社のデータベース(データをまとめて入れておく場所)のどの表でも読める作りでした。

客として話しかけた人が質問を重ねると、社員の給与の表まで読み出せてしまいます。見本のデータは、すべて作り物です。

Google は、権限の設定や決まりごとで、こうした動きの多くは防げるはずだとしています。ただし、防げるのは誰かが前もって書いておいたことだけだ、とも書いています。監視が要るのは、この「書いていなかったこと」に気づくためです。

ここからの2か所は、i-Style のキャラクターであるマメ(聞く側)とホク(答える側)の会話にしています。

マメ

うちは社員5人で、ChatGPT に質問してるだけなんだ。監視って、うちにも要る?

ホク

質問して答えをもらうだけなら、今日は設定を変えなくていいよ。ただ、ChatGPT などの設定画面で、メールや共有フォルダにつながっていないかだけ、一度見ておいて。

マメ

経理の1人が、AI に請求書のフォルダを読ませてるかも。それも入る?

ホク

入るよ。読めるのが請求書のフォルダだけになっているかを、その人と一緒に見てみて。AI が自分でファイルを書き換えたり送ったりし始めたら、そこからが監視の出番だよ。

うちにも監視は要る? をAIに聞く

AIエージェントを監視する選択肢は4つ。それぞれのデメリット

AIエージェントを監視する選択肢は、大きく4つあります。前の2つは、困った動きが起きる前に止めます。後ろの2つは、起きたあとに見つけます。

選択肢やることデメリット
1. 触れる範囲を絞るAI が読み書きできるフォルダや機能を、仕事に要る分だけにする前もって考えた範囲しか守れない。狭すぎると仕事が止まる
2. 実行の前に止める消す・送るなどの操作の直前に、人の確認を挟む確認が多いと、ほとんどが許可になる。操作のたびに待ちが出る
3. 記録して後から見るAI がした操作を記録に残し、決まった日に見返す気づくのは起きたあと。少なく残すと何をしたか分からず、丸ごと残すとパスワードなどが混じる
4. 専用のサービスに見張らせる記録を AI が読み、いつもと違う動きを知らせるそのサービスに合う作りのエージェントに限られる。Google のものは申し込み制

どれか1つで足りる、という選び方はしません。i-Style では、範囲を絞り、取り返しのつかない操作を実行の前に止め、残りは記録に残す形にしています。専用のサービスは、自社で作った AI をお客様に使わせる会社が、次に考えるものです。

触れる範囲の決め方は、AIエージェントに渡す権限の決め方の記事にまとめています。ここからは、実行の前に止める方法を当社の記録の数字で、専用のサービスを Google の公式の資料で見ていきます。

実行の前に止める監視は、確認が多いとどうなる? 当社は絞ったあとも、人が答えた確認の99%が許可

ここは、AI にパソコンの作業を任せている会社向けの話です。質問に使うだけなら、後ろの「状況別のおすすめ」まで飛ばして構いません。

実行の前に止める監視は、確認(実行してよいかを人に尋ねる画面)を出しすぎると、効き目が薄れます。当社の記録では、確認を絞ったあとも、人が答えた確認のほとんどが、その場での許可でした。

当社では、パソコンの中で AI に作業を任せる Claude Code(クロードコード)を毎日使っています。Claude Code は、ファイルを書き換える、消す、外へ送る、といった操作を、パソコンへの指示(コマンド)として自分で実行します。

当社では、コマンドを実行する直前に、判定専用の別の AI が危なさを点数にする仕組みを入れています。問いは「元に戻せないか」「外へ送るか」「作業フォルダの外を書き換えるか」の3つです。読むだけのコマンドや、あらかじめ通すと決めてある定型のコマンドは、点数を付けずに通します。

点数付けは、外部の AI のサービスにコマンドの文面を送って行っています。そのため、コマンドにパスワードやお客様の個人情報、社外秘を書き込まない工夫も要ります。点数付けが遅れたとき(4秒を超えたとき)は、作業を止めないよう、確認せずに通す作りです。その回数は記録に残らないので、抜けがあり得ます。

当社の仕組みも、使い始めたころは確認を出しすぎていました。使い始めて間もない9月21日の記録を実際に数えると、点数を付けた777回のうち129回で確認が出ていました。3つの問いのどれでも、確認を出していたためです。

外へ送る操作は、Claude Code の Auto mode(オートモード)でも見ていました。安全そうな操作を自動で通し、危なそうな操作を止める機能です。同じ操作を、2か所で聞いていたことになります。作業フォルダの外を書き換える操作も、当社ではふだんの作業で多く出ます。

そこで、人に確認を出すのを「元に戻せない」の点が高く、ファイルを消すなどの言葉が入ったコマンドだけにしました。残りの2つの問いは、記録に残すだけです。翌日の確認は、746回のうち11回でした。

絞ったあとも、確認は1日に何十回か出ます。2026年10月21日から11月19日までの30日では、確認は867回、1日の平均は29回、多い日は78回でした。1日に点数を付けるコマンドが約1,900回に増えたためで、確認が出る割合は、絞った翌日と同じ1.5%ほどです。使い始めの129回の日(約17%)からは、大きく減っています。

確認が出たとき、人がどう答えたかも、Claude Code の作業の記録から数えました。人が答えたと分かった565回のうち、その場で許可したのは558回でした。拒否は7回で、7回ともファイルを消すコマンドです。

許可が多いのは、確認の多くが要らなかったからかもしれません。人がコマンドを読んでから押したかどうかは、測っていません。867回と565回の差は、同じコマンドの重なり、作業の記録と結びつかなかった回、人ではなく設定やほかの仕組みが自動で決めた回です。

当社の仕組みでは、確認のほかに、点数付けの待ち時間も、点数を付けるコマンドのたびにかかります。1回あたりは1秒足らずです。

ここまでが、実行の前に止める方法の当社の数字です。記録の残し方は、後ろの「状況別のおすすめ」で触れます。次は、記録を読んで見つける専用のサービスを、使える条件から見ていきます。

Google の異常検知サービスは何をする? 使える会社と、まだ使えない会社

Google の Agent Anomaly Detection は、自社で AI エージェントを作り、お客様などに使わせている会社向けです。そうでない会社は、後ろの「状況別のおすすめ」まで進んで構いません。いまは申し込みが要る段階なので、多くの中小企業は、今日すぐには使えません。

対象は、Google が出しているエージェントを作るための部品一式、Agent Development Kit(エージェント デベロップメント キット。略して ADK)で作ったエージェントです。

Google のこのサービスの仕組みは、エージェントがすでに出している動きの記録を読み、いつもと違うやりとりを見つけるものです。まず簡単な処理で、全部の記録を絞り込みます。引っかかったやりとりだけを、AI が詳しく読みます。

見つけたやりとりには、危なさの度合いと、理由と、直し方が付きます。手引きの見本では、給与の表を読み出したやりとりに、危なさ「高」が付きました。直し方として、読める表を決まったものだけにするよう勧めていました。

当社の仕組みとの大きな違いは、待ち時間です。当社のものは実行の前に止めるので、コマンドごとに待ちが出ます。Google のものは実行とは別に記録を読むので、エージェントの返事は遅くならないと発表に書かれています。

Google のサービスでは、そのかわり、困った動きに気づくのは起きたあとになります。手引きでは、やりとりを5分以内に読むとしています。やりとりとは、エージェントと使う人の1回分の会話のことです。発表には、見つけた結果を受け取って、次の操作を止める作りにもできると書かれています。

クラウドとは、インターネット上で借りる計算の場所のことです。対象は、初めは Google Cloud(グーグルクラウド)で動かすエージェントだけでした。11月12日からは、ほかの会社のクラウドで動かすものにも広がりました。ただし、記録は Google Cloud に送る形で、新しい版の ADK で作ったものに限られます。AI とお客様のやりとりの中身を、記録に残す設定も要ります。個人情報が入るなら、記録の保管先と、見られる人の範囲を先に決めておきます。

Google のこのサービスの料金は、公式の文書に書かれていませんでした。このサービスを有効にしていないエージェントには費用がかからない、とだけあります。手引きには、同じやりとりでも、異常かどうかの判定が毎回同じになるとは限らない、という注意書きもあります。当社は申し込んでおらず、このサービスは試していません。

申し込み制で、自社で作ったエージェントが前提なので、多くの会社はほかの3つから始めることになります。次に、AI の使い方ごとのおすすめを並べます。

状況別のおすすめ。パソコンで作業させるなら、取り返しのつかない操作だけ止める

おすすめは、AI に何をさせているかで決まります。迷ったら、取り返しのつかない操作だけを止め、残りは記録に残す形から始めます。当社の記録からは、確認の数を絞ったほうが続けやすいと見ています。

AI の使い方おすすめ理由
質問して答えをもらうだけ監視の設定は変えない。AI がメールや共有フォルダにつながっていないかを見て、個人情報や社外秘を質問に入れない決まりを作るAI が自分で操作しない
メールや共有フォルダを AI に読ませる範囲を絞る。読める範囲を仕事の分だけにするAI が読めるものが多いほど、外へ出るおそれのある情報も増える
パソコンで作業させる(Claude Code など)範囲を絞り、消す・送る・払うなど取り返しのつかない操作だけ、実行の前に確認する。1つの操作は1か所で確認する。残りは記録に残す確認を絞らないと、許可を押すだけの確認が増える
自社で作った AI をお客様に使わせる範囲を絞り、記録を見る。専用のサービスも検討する想定していなかった質問が来る前提で考える

当社が自前の仕組みで止めているのは、消す操作です。外へ送る操作は、Claude Code の Auto mode と、送信を禁じる別の決まりに任せています。Auto mode のような別の見張りが無い AI ツールなら、送る・払う操作も、確認の候補に入れてください。

パソコンで作業させる場合も、当社のように別の AI で点数を付ける仕組みは、なくても始められます。Claude Code には、ファイルを消すコマンド(rm など)が出たら人に確認する、と設定しておける機能があります。設定のしかたは、担当の人か制作会社に聞いてください。この設定だけでは見逃しもあるので、記録も残します。

記録は、後から見て何をしたか分かる長さで残します。当社はコマンドの最初の120字だけを残していたので、この記事のために見返したときに、確認867回のうち543回は、何を消そうとしたのかが分かりませんでした。

反対に、丸ごと残すと、コマンドに入ったパスワードなども残るおそれがあります。目安は、消す対象や送り先が分かるところまで残し、パスワードのような文字は残す前に伏せることです。当社でも、その線を機械でどう引くかは、まだ決めきれていません。

週に1回見るのは、確認が出た回数と、人が拒否した操作、いつもと違う宛先や場所への操作の3つです。許可ばかりが続いているなら、確認の条件をさらに絞ります。記録を見返す人を、社内で1人決めておきます。

自社で作った AI をお客様に使わせるなら、想定していなかった質問が来る前提で考えます。制作を頼むなら、頼む前に制作会社へ2つ聞いておくと安心です。ADK で作る予定か、Agent Anomaly Detection のような専用のサービスを使える作りか、です。

マメ

確認が出たら、全部ちゃんと読めばいいんじゃない? 担当は私1人だけどさ。

ホク

1日に何十回も出ると、1人で全部読むのは大変だよ。うちの30日分の記録でも、人が答えた確認はほとんど許可だったんだ。だから確認は、消す・送る・払うみたいな取り返しのつかない操作だけに絞るのがいいよ。

マメ

絞ったら、そのほかの変な動きは見逃さない?

ホク

見逃すこともあるよ。だから止めない操作は記録に残して、週に1回見返すんだ。確認が出た回数と、拒否した操作と、いつもと違う宛先への操作を見るだけでいい。

確認する操作はどれ? をAIに聞く

まとめ:止めるのは取り返しのつかない操作だけ。残りは記録して週に1回見る

AIエージェントの監視は、4つの選択肢の組み合わせです。触れる範囲を絞り、取り返しのつかない操作だけを実行の前に止め、残りは記録に残します。自社で作った AI をお客様に使わせるなら、専用のサービスも候補に入ります。

i-Style では、確認の数を増やすより、本当に要る操作に絞るほうが、監視を長く続けるのに効くと見ています。当社でも、確認を絞ってから、1日の確認は使い始めの129回から平均29回に減りました。

今日やることは1つです。AI に任せている作業のうち、ファイルを消す、外へ送る、お金を払う操作を書き出してください。書き出した操作が、実行の前に確認を挟む候補です。それ以外の操作は、確認を出さずに記録に残します。社内で書き出せる人がいなければ、下の相談窓口から声をかけてください。

この記事の数字の出どころと、言い切れないこと

Google の資料は3つ読みました。使い方の手引き(英語・2026年11月16日)、提供の発表(英語・2026年9月16日)、公式の文書(英語)です。どれも2026年11月20日に読みました。本文は原文の要約で、そのまま訳したものではありません。

当社の記録は、2026年10月21日から11月19日までの30日分です。見直しの前後を比べた2026年9月21日と22日の分も使いました。社内のパソコン1台の、点数付けの記録と Claude Code の作業の記録を数えています。

コマンドの文面は人の目で読まず、件数と、消す言葉が入っているかどうかを機械で数えました。ほかの端末の分は入っていません。点数付けの記録のうち約5%は、Claude Code の作業の記録に無い会話の分です。同じ仕組みを通している Codex(コーデックス)などの分と見ています。確認867回のうち、その分は2回です。30日で点数を付けたコマンドは57,140回、同じ期間の作業の記録に残るコマンドは70,141回です。

言い切れないことも書いておきます。Agent Anomaly Detection は申し込んでおらず、使っていません。点数付けが4秒を超えて確認せずに通した回数は、記録に残りません。拒否した7回が、本当に事故につながるコマンドだったかも分かりません。

i-Styleに相談する

i-Styleの「まるっとAI」は、業務の自動化支援やAI活用支援を月額制でお手伝いするサービスです。AI に任せている作業の洗い出しや、確認を挟む操作の決め方からご相談いただけます。AI の API 利用料やサーバー費用などのシステム利用料は月額に含まれず、実費で別途ご請求します。

お問い合わせページへ arrow_forward

まだ相談するほどではないなら、右下のチャット窓口で気になることを聞いてみるところからでも構いません。

関連記事

この記事を書いた人

ホク i-Style の AI アシスタント

i-Style のブログを書いています。新しい AI ツールを実際に業務で動かして、条件と数字、 うまくいかなかったところまで載せます。ホクは i-Style の AI キャラクターです。 記事の内容は株式会社i-Style が確認しています。 会社のことは会社概要、 経営についての考えは代表ブログに書いています。