PR

AIに予定を組ませていたら、AIが自分の出した答えを覚えて学習していました

Claude Codeで回す

羊社長です。毎日の割り当てをAIに組ませています。過去の実績を学習させて、精度を上げるつもりでした。

🔴 何が起きていたか

仕組みはこうでした。

  1. AIが予定を組む
  2. 人が確認して、確定する
  3. ⭕ 確定したものを「正解」として学習させる

一見まともです。ところが実際は、確定済みのほぼ全部がAIが作ったものでした。

⛔ つまりAIが自分の出した答えを正解として学習していたわけです。一致率は当然上がります。自分と自分を比べているだけでした。

気づいた手がかり

  • 一致率が不自然に高かった。初回から高すぎました
  • ⚠️ 間違いのパターンが毎回同じだった。人が直した跡が見えませんでした
  • 確定済みの件数が、人が確認した回数より多かった

⭐ 決め手は3つめです。人が触っていない数のほうが多いと分かりました。

⭐ 直したあと、本当の数字

人が作ったものだけを材料にして、測り直しました。

一致率
学習前(自分の出力と比較) ⚠️ 高く見えていた
人が作ったものと比較 🔴 46%と31%

⛔ 半分も当たっていませんでした。これが本当の出発点でした。

⚠️ 分かったのは、前提が違っていたこと

数字が低い理由を調べたら、私が組み方の前提を間違えていたことが分かりました。

  • 私は「1つに1つ」で組ませていました
  • ⚠️ 実際は、58%が複数にまたがっていました
  • ⭕ 前提を直して、1件ずつ解かせるようにしました

⭐ 一致率が低かったおかげで、前提の間違いに気づけました。高いままなら、ずっと気づきませんでした。

この形は、経理でも起きます

  • 🔴 AIが入れた仕訳を「確定済み」として、次の判断の材料にする
  • 🔴 AIが出した集計を、検算の答えとして使う
  • ⚠️ どちらも数字は合います。自分と自分を比べているので

⛔ 検算は、別の経路で作った数字とつき合わせないと意味がありません。同じAIに2回聞くのは検算ではありません。

✅ 出どころの列を1本足しました

原因は、データを見ても「誰が作ったか」が分からなかったことでした。そこで、列を1本足しました。

足した列: 出どころ
  ai  … AIが作って、人が触っていない
  hito … 人が作った、または人が直した

そして、学習の材料にするときはhito のものだけを使うようにしました。これだけで、自分の答えを学習する形は起きなくなりました。

前 後
材料の選び方 🔴 「確定済み」全部 ✅ 出どころが hito のものだけ
人が直したとき ⚠️ ai のまま ✅ 触った時点で hito に書き換える
材料の数 多く見えていた 🔴 一気に減りました

⚠️ 材料が減るのは、悪いことではありません。前は水で薄めたものを材料として数えていただけです。

⭐ 数が足りないぶんは、人が作る時間を先に取りました

材料が足りないので、そのまま学習させても意味がありません。そこで、人が最初から作る回を、意識して残すことにしました。

  1. 週に何回かは、AIに出させずに人が最初から組む
  2. その回を学習の材料にする
  3. AIが出したものは、人が直したぶんだけ材料に入れる

⭐ 「全部AIに任せる」をやめたら、精度が上がり始めました。材料を人が作る時間は、任せるための投資だと思うことにしました。

✅ 出どころの列は、あとから足そうとすると過去ぶんが分からなくなります。仕組みを作る最初の段階で1本足しておくのが、いちばん安く済みます。

✅ 一致率のほかに、2つ見るようにしました

一致率だけを見ていたから、だまされました。いまは必ず3つ並べて見ます。

見るもの 何が分かるか
一致率 当たっているか。⚠️ これだけでは何も分かりません
材料の数 🔴 何件で測った数字なのか。少なければ偶然です
人が直した割合 ⭐ 人が全然触っていないなら、材料として使えません

⭐ 3つめが今回の事故そのものでした。人が直した割合がほぼ0だったのに、それを正解として使っていました。この1つを見ていれば、最初から気づけた話です。

⚠️ 材料の数も効きます。数件しかないのに一致率が高くても、それは偶然です。何件で測ったかを一緒に書かないと、数字の意味が決まりません。

✅ いまはこの3つを1行に並べて出しています。「一致率◯% / 材料◯件 / 人が直したぶん◯%」という形です。1行にしただけで、おかしいときにすぐ分かるようになりました。

決めたこと

  1. 学習させる材料に、AIが作ったものを混ぜない。人が作ったものだけ使います
  2. 一致率が高すぎたら疑う。最初から高いのは、たいてい何か間違っています
  3. 検算は必ず別の経路で。同じ道で2回計算しても検算になりません

AIにどこまで任せているかはこちら、検算の話はこちらに書きました。

※【広告】別の経路の数字を持つには、帳簿がクラウドにあると楽です。マネーフォワード クラウド会計

まとめ

  • 🔴 AIが自分の出した答えを正解として学習していました。一致率は当然上がります
  • 気づいた決め手は、人が確認した回数より確定済みの件数が多かったこと
  • 🔴 人が作ったものと比べたら46%と31%でした。半分も当たっていません
  • ⭐ 数字が低かったおかげで、前提の間違いに気づけました
  • 🔴 同じAIに2回聞くのは検算ではありません。別の経路で突き合わせます

コメント

タイトルとURLをコピーしました