AI丸投げ研究所(エーテルスタジオ) / 試した記録

問い合わせメール100件をAIに分けさせたら、18件まちがえた。それでも使えると思った理由

予約・変更・キャンセルが混ざった問い合わせ100件をAIで仕分ける実験。43件は自動で確定、迷った57件は人へ。まちがいは18件。架空のデータで試した記録と、使える形の考え方です。

この記事は実験の記録で、商品の機能ではありません。

2026年10月27日

AIに問い合わせ100件を任せたら、18件まちがえた。何が起きた?(短い動画)

問い合わせの返事に、毎日追われていませんか。予約と、予約の変更と、キャンセルが、同じ受信箱に混ざって届く。急ぎの物が埋もれるのが、一番こわいところです。

そこで「問い合わせを、AIに種類ごとに分けさせる」を、架空のデータで試しました。はっきり言って、まちがいもありました。

100件はどこへ行ったか(前 → 後)
100件問い合わせのメール予約・変更・キャンセルが混ざる
AIが1件ずつ種類を決める自信がある物だけ決め、迷った物は人へ
43件自動で種類が決まった
57件迷ったので人の確認へ下読みは済んでいる

架空のデータで試した結果です

何をしたか

用意したのは、問い合わせのメール100件(全部、架空のデータ)。中身は「予約」「変更」「キャンセル」が混ざっています。

仕分け用に学習させた仕組みに、1件ずつ読ませました。ルールは1つです。

  • 自信がある物だけ、自動で決める
  • 迷った物は、人が見る箱へ回す

結果: まちがいは18件

100件ぜんぶの答え合わせ
正解
82件
まちがい
18件

まちがいは隠さず、数字のまま出しています

正直、「100件のうち18件もまちがえるの?」と思う数字です。でも、人が見る量はこう変わりました。

人が目で見る件数
前(全部を人が)
100件
後(迷った物だけ)
57件

しかも「急ぎかどうか」の下読みは、もう終わった状態で届く

それでも使えると思った理由

ポイントは、まちがいを隠さなかった事です。

それでも使えると思った理由
  • まちがいを「決めた事」にしない。迷った57件は人の箱に残る
  • AIの自動化で大事なのは、全部を任せる事ではなく「あぶない判断を人の手元に残す」事
  • まちがえる前提で、まちがいが外に出ない形にする

返事は、だれが送るのか

この形では、返事を自動で送る事はしません。送るかどうかは、読んでから人が決めます。

AIがする事・人がする事
する事だれが
種類ごとに分けるAI
返事の下書きを作るAI
下書きを読んで直す人
送る人(AIは送らない)

自分の受信箱でも同じになるか

架空のデータでは、この形で動きました。ただし、本物の問い合わせは、お店ごとに言い回しも種類も違います。同じ数字になるとは言えません。

自分の受信箱で試すまでの流れ
  1. 無料相談で6つの質問に答える質問6つ・2分。名前やメールアドレスは聞きません。
  2. お見積りのご相談(メール)業種・困っている事務・今お使いの物・月の件数を、メール1通で。ファイルはまだ不要です。
  3. お返事とお見積りできるかどうかと、内容に合わせたお見積りをお返しします。
  4. ご納得いただいてから決める合わなければ、そこで終わりで大丈夫です。

※この記事の数字は、架空のデータで試した結果です。動画は、プログラムで処理した結果をもとに、分かりやすく作り直した映像で、画面の録画ではありません。

自分の作業でも同じになるか

お客様の手元の書類で同じになるかは、形を見ないと分かりません。作業の様子を、メール1通でお聞かせください。できるかどうかと、お見積りをお返しします。

メールの宛先: naito@aether-studio.jp(上のメールのボタンで開くメールの宛先です)

あわせて見る

やっているのは

YouTube「AI丸投げ研究所」で、面倒な事務の作業をAIでどこまで任せられるか、架空のデータで試して見せています。

チャンネルを見る → / YouTubeを見た方へ

まずはお見積りのご相談を、メールで

ご相談の内容によって、お見積りが変わります。はじめにメール1通でお聞かせください。内容を伺って、できるかどうかとお見積りをお返しします。ご相談は無料です。

メールに書いていただきたい事

  • 業種運送、ダンプ・土砂・建材など
  • 困っている事務月末の請求書づくりに時間がかかる、など
  • 今お使いの物ソフトの名前や、ファイルの形(エクセル・PDFなど)
  • 月の件数と今の作業時間請求書や日報が月にどのくらいか、その作業に今どのくらい時間がかかっているか(おおよそで大丈夫です)

メールの宛先: naito@aether-studio.jp(上のメールのボタンで開くメールの宛先です)

メールの宛先は naito@aether-studio.jp です。メールのアプリが開かない時は、この宛先へお送りください。