羊社長です。毎日の割り当てをAIに組ませています。過去の実績を学習させて、精度を上げるつもりでした。
🔴 何が起きていたか
仕組みはこうでした。
- AIが予定を組む
- 人が確認して、確定する
- ⭕ 確定したものを「正解」として学習させる
一見まともです。ところが実際は、確定済みのほぼ全部がAIが作ったものでした。
⛔ つまりAIが自分の出した答えを正解として学習していたわけです。一致率は当然上がります。自分と自分を比べているだけでした。
気づいた手がかり
- 一致率が不自然に高かった。初回から高すぎました
- ⚠️ 間違いのパターンが毎回同じだった。人が直した跡が見えませんでした
- 確定済みの件数が、人が確認した回数より多かった
⭐ 決め手は3つめです。人が触っていない数のほうが多いと分かりました。
⭐ 直したあと、本当の数字
人が作ったものだけを材料にして、測り直しました。
| 一致率 | |
|---|---|
| 学習前(自分の出力と比較) | ⚠️ 高く見えていた |
| 人が作ったものと比較 | 🔴 46%と31% |
⛔ 半分も当たっていませんでした。これが本当の出発点でした。
⚠️ 分かったのは、前提が違っていたこと
数字が低い理由を調べたら、私が組み方の前提を間違えていたことが分かりました。
- 私は「1つに1つ」で組ませていました
- ⚠️ 実際は、58%が複数にまたがっていました
- ⭕ 前提を直して、1件ずつ解かせるようにしました
⭐ 一致率が低かったおかげで、前提の間違いに気づけました。高いままなら、ずっと気づきませんでした。
この形は、経理でも起きます
- 🔴 AIが入れた仕訳を「確定済み」として、次の判断の材料にする
- 🔴 AIが出した集計を、検算の答えとして使う
- ⚠️ どちらも数字は合います。自分と自分を比べているので
⛔ 検算は、別の経路で作った数字とつき合わせないと意味がありません。同じAIに2回聞くのは検算ではありません。
✅ 出どころの列を1本足しました
原因は、データを見ても「誰が作ったか」が分からなかったことでした。そこで、列を1本足しました。
足した列: 出どころ ai … AIが作って、人が触っていない hito … 人が作った、または人が直した
そして、学習の材料にするときはhito のものだけを使うようにしました。これだけで、自分の答えを学習する形は起きなくなりました。
| 前 | 後 | |
|---|---|---|
| 材料の選び方 | 🔴 「確定済み」全部 | ✅ 出どころが hito のものだけ |
| 人が直したとき | ⚠️ ai のまま | ✅ 触った時点で hito に書き換える |
| 材料の数 | 多く見えていた | 🔴 一気に減りました |
⚠️ 材料が減るのは、悪いことではありません。前は水で薄めたものを材料として数えていただけです。
⭐ 数が足りないぶんは、人が作る時間を先に取りました
材料が足りないので、そのまま学習させても意味がありません。そこで、人が最初から作る回を、意識して残すことにしました。
- 週に何回かは、AIに出させずに人が最初から組む
- その回を学習の材料にする
- AIが出したものは、人が直したぶんだけ材料に入れる
⭐ 「全部AIに任せる」をやめたら、精度が上がり始めました。材料を人が作る時間は、任せるための投資だと思うことにしました。
✅ 出どころの列は、あとから足そうとすると過去ぶんが分からなくなります。仕組みを作る最初の段階で1本足しておくのが、いちばん安く済みます。
✅ 一致率のほかに、2つ見るようにしました
一致率だけを見ていたから、だまされました。いまは必ず3つ並べて見ます。
| 見るもの | 何が分かるか |
|---|---|
| 一致率 | 当たっているか。⚠️ これだけでは何も分かりません |
| 材料の数 | 🔴 何件で測った数字なのか。少なければ偶然です |
| 人が直した割合 | ⭐ 人が全然触っていないなら、材料として使えません |
⭐ 3つめが今回の事故そのものでした。人が直した割合がほぼ0だったのに、それを正解として使っていました。この1つを見ていれば、最初から気づけた話です。
⚠️ 材料の数も効きます。数件しかないのに一致率が高くても、それは偶然です。何件で測ったかを一緒に書かないと、数字の意味が決まりません。
✅ いまはこの3つを1行に並べて出しています。「一致率◯% / 材料◯件 / 人が直したぶん◯%」という形です。1行にしただけで、おかしいときにすぐ分かるようになりました。
決めたこと
- 学習させる材料に、AIが作ったものを混ぜない。人が作ったものだけ使います
- 一致率が高すぎたら疑う。最初から高いのは、たいてい何か間違っています
- 検算は必ず別の経路で。同じ道で2回計算しても検算になりません
AIにどこまで任せているかはこちら、検算の話はこちらに書きました。
※【広告】別の経路の数字を持つには、帳簿がクラウドにあると楽です。マネーフォワード クラウド会計
まとめ
- 🔴 AIが自分の出した答えを正解として学習していました。一致率は当然上がります
- 気づいた決め手は、人が確認した回数より確定済みの件数が多かったこと
- 🔴 人が作ったものと比べたら46%と31%でした。半分も当たっていません
- ⭐ 数字が低かったおかげで、前提の間違いに気づけました
- 🔴 同じAIに2回聞くのは検算ではありません。別の経路で突き合わせます



コメント