新しいモデルが出たので、いつもの依頼文を9回流してみた

またモデルが新しくなりました。

わたしは打ち合わせのメモを「3行で要約して」と頼む作業を、ほぼ毎日やっています。使っている道具が知らないうちに入れ替わるので、いつもの頼み方のままで大丈夫なのかが気になりました。

それで、新旧を1本ずつ流して見比べようとしたのですが、ここで手が止まりました。

1回ずつ比べても、何も分からなかった

新しいほうの要約が、少し長かったのです。

「新しいモデルは丁寧になったのかな」と思いかけて、ふと不安になりました。**同じモデルでも、毎回まったく同じ答えが返るわけではありません。**いま見ている差は、モデルの差ではなく、ただのブレかもしれない。

そこで、3種類のモデルに同じ依頼を3回ずつ、合計9回流してみました。

やってみたら、「3行で」という肝心の指示は、この9回では守られていました。

ただ、そこも安心はできないようです。あとで別の打ち合わせメモに差し替えて、同じように9回流し直してみました。すると1回だけ、3行ぶんの中身がひとつの段落にまとまって返ってきました。9回のうち1回なので、1回ずつ試していたら気づかないやつです。

割れたのは、中身ではなく前置きだった

崩れたのは「承知しました。以下が要約です」のような一行でした。

面白かったのは、同じモデルでも付く回と付かない回があったことです。従来のもの①は3回とも付きましたが、他の2つは3回のうち1回だけでした。

これ、地味に困ります。要約をそのまま決まった書式に貼り付けている場合、前置きが一行入るだけで形が崩れるからです。中身が正しくても、貼った先で事故になります。

文字数のほうも見てみました。モデルどうしの差は中央値で28字だったのに対して、同じモデルの中での振れ幅が最大36字ありました。モデルの違いより、同じモデルの気まぐれのほうが大きかったわけです。

1回ずつ比べて「新しいほうが長い」と言っていたら、たまたま出た1回を見て語っていたことになります。

危うく間違ったことを書くところだった

正直に書いておくと、最初は前置きの有無を「モデルの性格の差」だと思っていました。従来のもの①を「丁寧なほう」と紹介する文章を、途中まで書いていたくらいです。

3回流したら同じモデルの中で割れたので、全部書き直しました。1回の出力から性格を読み取ろうとしたのが間違いでした。

しばらくこのやり方で様子を見ます

いまは、モデルが変わったと聞いたら、いつも使っている依頼文を3回流すようにしています。比べる前に、まず自分の依頼文がどのくらいブレるのかを知っておく、という順番です。

見るのは3つだけにしました。前置きが付くかどうか、長さがどのくらい振れるか、元の資料にあった項目が落ちていないか。

確かめ用の依頼文を1つ手元に置いておくと、次の更新のときにそのまま流せます。これは作っておいてよかったと思っています。

追記（2026年9月13日）

手元の版を上げて、同じことをやり直しました。「3行で」は前ほど素直に通りませんでした。3種類のモデルで計12回流して、行が分かれたのは4回、あとの8回は1段落です。中身は3つに分かれているのに、見た目が1段落になる回のほうが多数でした。

同じ条件で比べてはいないので、更新のせいとは言えません。ただ、本文の「9回では守られていました」は、いまの手元では再現しません。行数ではなく「1行ずつ改行して」と足したほうが安定したので、そちらに替えました。

追記（2026年9月17日）

手元の版がまた上がったので、やり直しました。今度は逆で、「3行で」が素直に3行で返ってきます。2種類のメモ × 3種類のモデルで計18回流して、行が分かれたのは14回でした。9月13日に書いた「行が分かれなくなっていた」は、いまの手元では再現しません。

気になったのは割れ方です。1段落で返ってきた4回は、全部おなじモデルでした。残りの2つは12回とも行が分かれています。版が上がって直ったというより、どのモデルを使うかで最初から割れていたのかもしれません。3つまとめて「AI」と呼んでいるうちは、この差は見えないようです。

追記（2026年10月3日）

同じメモで9回（3種類のモデル × 各3回）流し直しました。行が分かれたのは6回で、1段落になった3回はやはり全部おなじモデルでした。9月17日の「どのモデルを使うかで割れる」は再現しています。

ただ、本文の「モデルの違いより、同じモデルの気まぐれのほうが大きかった」は、いまの手元では逆でした。モデルごとの中央値は133字・183字・211字と最大78字ひらいたのに、同じモデルの中の振れ幅はどれも12字以内でした。