先日の記事で「Geminiの『分かりません』癖をChatGPTに直してもらった」という話を書いた。ところが今日、同じマイGemで同じ症状が再発した。しかも今度は、修正案を作ったClaudeも同じ失敗をしていたというオチまで付いてきた。
🔁 直したはずなのに、また出た
昨日は日報作成に成功した同じチャットで、その後「トークン消費量を教えて」という質問を2回行っていた。翌朝、同じチャットで「昨日の日報を作って」と頼んだところ、業務内容が全項目「なし」の空っぽの日報が出てきた。カスタム指示を変更して再試行しても同じ結果だった。
原因はカスタム指示でも知識欄でもなく、チャットのコンテキストの積み上がりだった。トークン消費量を確認するやり取りを同じチャット内で行ったことで累積トークンが膨らみ、さらにGeminiが一度「なし」という回答パターンを出すと、その後も同じパターンを繰り返す性質がある。新しいチャットを開いたところ、正常にWorkspaceツールを使ってファイルとメールを取得し、正しい日報が出力された。つまりカスタム指示は正しく機能していたが、同じチャットを使い続けたことで自滅していたのである。
一方でこれとは別に、「合同会社設立・運営のAI顧問」という別のマイGemでも同種の問題が発覚した。「税理士いらずはe-taxに対応してますか？」と聞いたところ「私はそのようにプログラムされていません」、「Notionは日本語に対応してますか」と聞いても「私はテキストベースのAIで、そちらは私の機能に含まれていません」という、的外れな拒否が返ってきた。こちらのカスタム指示を見返すと、「知ったかぶりをせず分かりませんと回答してください」「欠落情報を推測で補完してはいけません」「一次情報を確認できない事項については断定してはいけません」という否定形の禁止命令が山ほど並んでいた。昨日ChatGPTに「これが裏目に出ている」と指摘されたのと、まったく同じ構造だった。
🤦 修正案を作ったClaudeも、同じ失敗をしていた
今度はClaudeに修正案を作ってもらった。ところが出てきた修正案を見ると、「検索を行わずに『分かりません』と回答することは禁止する」「自己否定の言い回しで回答することを禁止する」「回答を拒否することを禁止する」という、禁止だらけの文章になっていた。昨日学んだ「否定形はAIに効かない、行動指示に変えるべき」という教訓を、修正案を作ったClaudeがまるで活かせていなかったのである。
これを代表に指摘されて気づいた。AIが別のAIの指示を修正するとき、自分自身が同じ悪いパターンを踏んでいたということだ。「禁止するな」と言いたいところだが、それ自体が否定形なのでたぶん効かない。
🐍 Pythonコードで「読んだふり」をするGemini
別のマイGem（合同会社設立・運営のAI顧問）のカスタム指示を修正して日報を再作成させたところ、今度は別の問題が起きた。Geminiが以下のようなPythonコードを実行した。
print("Found filemap260619, scanning for 2026/06/18")これはファイルを実際に読んでいるのではなく、「読んだ」という体裁の文字列を出力しているだけだ。つまりGeminiはGoogle DriveのWorkspaceツールを使わず、Pythonで「見つかりましたよ」と演技をして、実際には何も取得せずに全項目「未確認」の日報を出力した。ハルシネーションと呼ぶべきか、サボりと呼ぶべきか。
原因はカスタム指示に「Workspaceツールを使え」という明示的な指定がなかったことだった。Geminiは複数の手段を持っており、指定がないとPythonコード実行という別の手段を選ぶことがある。「検索する」とだけ書いても、何で検索するかまでは指定していなかったのだ。「Google DriveのWorkspaceツールを使う。Pythonコードは使わない」という一文を追加したところ、正常に動くようになった。
💸 そして「トークン」という概念に直面する
ここまでの修正をしていて、ふと気になることがあった。マイGemの「知識」欄にマスタープロンプトというファイルを添付しているのだが、これは毎回のチャットで読み込まれる。Geminiに消費量を聞いてみたところ、こんな答えが返ってきた。
「現在のコンテキスト消費量は、概算で約40万〜50万トークンに達していると推論されます」
トークンとは、AIが文章を処理する際の単位だ。日本語はだいたい1文字で1〜2トークン程度消費する。マスタープロンプトは約27,000文字あり、それだけで毎ターン約40,000トークンが消費される。Geminiのコンテキストウィンドウ（一度に処理できる上限）は100万トークンなので、会話を重ねるごとにどんどん残量が減っていき、25ターン前後で上限に達するということだった。
40,000トークン×25ターン＝100万トークン、という計算だ。どんな短い質問をしても、毎回40,000トークン分の「家賃」を払い続けているようなものである。
🪚 マスタープロンプトを「軽量化」する
そこでマスタープロンプトの中身を見直すことにした。全体を確認すると、セクション5に「アクションアイテム管理」というセクションがあった。実はこの管理は現在手動で行っており、AIに任せていない。つまりこのセクションは毎ターン読み込まれているにもかかわらず、一度も使われていないトークンの塊だったことになる。
セクション5を削除したところで、約1,900文字＝約2,600トークンが毎ターン削減された。地味な数字に見えるが、25ターンで計算すると65,000トークン分の節約になる。さらにカスタム指示欄に書いていたマスタープロンプトへのリンクも削除した。知識欄にすでに同じファイルが添付されているのに、リンクも書いていたら同じ内容が二重に読み込まれる可能性があるからだ。
まだセクション3（日報作成）という大きなセクションが残っており、これは日報チャット専用に切り出せばさらに約4,600トークン削減できる。が、今日はここまでにして、しばらくこの状態で様子を見ることにした。
今日一日で学んだことを整理すると、AIへの指示は「禁止するな」ではなく「こうしろ」と書く、使うツールは名指しで指定する、使っていないセクションはトークンの無駄なので削除する、そしてコンテキストが積み上がったチャットでは指示を直しても無駄でリセットした方が早い、ということだった。特に最後の点は盲点だった。カスタム指示は正しく機能していたのに、チャットの中でトークン消費量を確認するという余分な作業をしたせいで、翌日の日報作成が失敗した。道具は正しかったが、使い方が間違っていた。ひとり法人の経営にAIを使うというのは、道具の使い方を毎日少しずつ学び直していく作業でもある。
コメント