良いプロンプトの評価軸
◆ 「良いプロンプト」とは何かを定義する
さていよいよ最終章 上級編に入ります
これまでは良いプロンプトの「作り方」を学んできましたが
ここでは作ったプロンプトの「良し悪し」をどう評価するかについて学びます
感覚的に「良い」ではなく明確な評価軸を持つことであなたのプロンプト技術はさらに向上します
◆ ① 再現性 – いつ誰が使っても同じ結果が出るか
まず最も重要な評価軸が再現性です
良いプロンプトとは特定のAIや特定のタイミングでしか上手くいかないものではなく
いつ誰が使ってもある程度安定して同じ質の回答が返ってくるものです
偶然の産物を狙うのではなく安定した結果を出すための設計が重要ですね
【評価のポイント】
・同じプロンプトをAIに3回投げてみて回答のバラつきがどれくらいあるかを確認する
・他の人にそのプロンプトを使ってもらい意図した通りの回答が出るか試してもらう
◆ ② 効率性 – 少ないやり取りで答えにたどり着けるか
次に効率性です
AIとの対話はフィードバックループが重要だと学びましたが
そもそも最初のプロンプトが優れていればそのやり取りの回数は少なくて済みます
何度も修正指示を出さないと期待した答えにたどり着けないプロンプトはまだ改善の余地があると言えますね
【評価のポイント】
・目的の回答を得るまでにAIと何回対話する必要があったか
・そのプロンプトを他の作業にも応用(コピペして少し修正)できるか
◆ ③ 正確性 – ハルシネーションや間違いが少ないか
最後は正確性です
AIはハルシネーションつまり嘘をつくことがあると学びました
良いプロンプトとはAIに余計な想像をさせず事実に基づいた回答を生成させるように誘導するものです
特に専門的な内容やデータを扱う際はAIにどの情報を参照してほしいかを明確に指示することが正確性に繋がります
【評価のポイント】
・回答に事実と異なる情報が含まれていないか
・指示した制約条件(文字数やトーンなど)をAIが守れているか
—
【用語まとめ】
- 再現性(さいげんせい)
同じ条件であれば同じ結果が何度でも得られること プロンプトの安定性を示す指標 - 効率性(こうりつせい)
目的を達成するためにどれだけ少ない労力や時間で済むかという指標 - 正確性(せいかくせい)
AIの回答が事実に基づいているか 指示通りであるかという指標