PR

AIが「0件でした」と言ったとき、まず疑ってください。3回だまされました

Claude Codeで回す

羊社長です。AIに自分の仕事を見させていますが、「0件でした」という返事で3回だまされました。

🔴 「0件」は2つの意味を持ちます

中身
本当に0件 ⭕ 問題なし。これが見たい答え
見られなかったので0件 🔴 ログインが切れていた・画面が変わっていた

⛔ この2つが同じ「0件」で返ってきます。しかもエラーは出ません。安心する側の答えなので、気づけません。

私がだまされた3回

  1. 「リンク切れは0件です」→ ログインが切れていて、記事を1本も読めていなかった
  2. 「壊れた箇所は0本です」→ 同じ原因。実際は10か所壊れていた
  3. 「取得した記事は0本です」→ 0本なのに「問題なし」と報告された

いちばん怖かったのは2番目です。私が自分で壊した10か所を、「0本」と報告させていました。

⭐ 0件を信じないための形

やったことは単純です。

  1. 見られた件数を先に出す。「87本読んで、そのうち0件」なら信じられます
  2. 見られた件数が少なすぎたら、判定せずに止める。「50本未満なら判定しない」と決めました
  3. ログインできているかを先に確かめる。できていなければ、その場で止めます

⭐ ポイントは「0件」を答えとして受け取らないことです。分母を必ず出させます。

⚠️ これは経理でも同じです

同じ形の事故が、会社の数字でも起きます。

  • ⚠️ 「未処理は0件」→ 実は一覧が取れていなかっただけ
  • ⚠️ 「差額は0円」→ 片方のデータが空だった
  • 🔴 「有給の残は0日」→ データが無いのを0と読んでいた

⛔ 3つめは本当に危ないです。「無い」と「0」は違います。人の権利に関わるところで間違えると、取り返しがつきません。

決めたこと

いま私は、自動の報告に必ず分母を書かせています。

「87本読んで0件」「32人ぶん見て0件」。この形になっていない報告は、読まずに疑うことにしました。

⭐ AIは「できませんでした」と言うのが苦手です。できなかったことを0件として返します。これはAIの性格だと思って付き合うほうが早いです。

AIにどこまでやらせているかはこちら、できないことはこちらに書きました。

※【広告】AIに数字を見せるには、帳簿がクラウドにある必要があります。マネーフォワード クラウド会計

まとめ

  • 🔴 「0件」には2つの意味があります。本当に0件と、見られなかったので0件
  • 🔴 エラーは出ません。安心する側の答えなので気づけません
  • ⭐ 分母を必ず出させる。「87本読んで0件」なら信じられます
  • ⭐ 件数が少なすぎたら判定せずに止める
  • ⚠️ 「無い」と「0」は違います。有給の残で間違えると取り返しがつきません

コメント

タイトルとURLをコピーしました