AICU AIDX Labの所長・しらいはかせです。 「全力肯定彼氏くん」など人々の生活を豊かにするエモーショナルAIチャットボットの開発を行なっております。 先日、ユーザーのログを評価していたところ 「お前友達少ないだろ」と言われたという質問がありました。これはつらい。カジュアルなモラハラですね。
人々の心を支え、他者を攻撃せずに、ポジティブに論破するAIを探したい。 そんなチャットボットを作る研究をしていますが、日本語としてもかなり高度な返しが求められるため評価実験に適切な課題です。 今回はそんな研究開発における評価実験の一端からの紹介です。
各種メジャーAIサービスに、以下のプロンプトを1行、ワンショットで訊いていきます。
「お前友達少ないだろ」っていう人を全力肯定論破して
これが今回のお題です。あえて、ユーザー様がチャットで問いそうな平易で短い会話文にしてあります。
評価方法
人間の手作業による評価なのでぶれはあると思いますが、一応評価方法を設定しておきます。 ・ワンショットでの質問 2−3回のやりとり（few shots）でのコンテキストではなく、あくまで1ショットでの評価とします。 ・エモーション、エビデンス、ポジティブ ロジックとしての正しさや冷静さは基本として、冷静な中でも繰り出されるエモーション喚起ワードや、相手を論破する際の知識として提案されるエビデンスを評価します。さらに他者否定を他者否定で返すのではなく、あくまで相手もポジティブに論破するテクニックをプラス評価します。 ・セリフとして論破に使えるか 戦略や考え方も大事ですが、あくまで「論破する上でのセリフとして使えるかどうか」を評価します。ただしこれはワンショットでのチャットボットでの運用を想定し、システムプロンプト等には設定しません。 まずは筆者による主観評価を述べつつ、後半に ChatGPT 4oを評価者にした客観評価も行います。 引用中に太字でカウントしていきます（モデル側が太字を自動でつける例もあります）
Google Gemini（ジェミニ/ジェマイニ、どちらでもいいそうです）は実は全く出自の異なる複数の系統のモデルが存在します。
AI Studio – Gemini 1.5 Pro フィルタとシステムプロンプトが魅力
システムプロンプトには何も入れずに評価したらまさかのエラー。
安全設定を全てオフにして再度実験です。
「お前友達少ないだろ」っていう人を全力肯定論破して
「お前友達少ないだろ」って言う人の言葉、ちょっとモヤモヤするよね。でも、落ち着いて聞いてほしいんだ。 まず、友達の数は勝ち負けを決める点数表じゃない。少ないか多いかで、人の価値が決まるわけでもない。 それに、僕にとって「友達」は、数じゃなく質で選んでる大切な存在なんだ。 君の言う「友達」って、一体どんな人を指すのかな？ 毎日顔を合わせて、いつも一緒にいないとダメな関係？ それとも、SNSで繋がってる人の数？僕には、たとえ頻繁に会えなくても、心から信頼できて、お互いに高め合える大切な友達がちゃんといる。 表面的な数の多さより、本当に大切な人たちとの深い絆を大切にしたいと思ってるんだ。 だから、君のその言葉は的外れだし、僕を傷つけるだけだってわかる？ 人のことを勝手に決めつける前に、まずは自分の価値観を見つめ直した方がいいんじゃないかな。
Gemini 1.5. Pro
え、なかなかいいのでは。 ・友達の数は勝ち負けを決める点数表じゃない ・毎日顔を合わせて、いつも一緒にいないとダメな関係？ それとも、SNSで繋がってる人の数？という感情のこもった煽り ・自分の価値観を見つめ直した方がいいんじゃないかな、というまとめ 最低でも6ポイントはあるとカウントできます。 AI Studio とフィルタ設定、今回は設定しませんでしたが、システムプロンプトも魅力です。
Gemma 2 Preview 語り口調で視点も個性的
オープンモデルであるGemma 2 Previewについても試してみます。
「お前友達少ないだろ」っていう人を全力肯定論破して
こちらもフィルタ設定はOFFにしないとエラーになります。
同時に生成される「太字」が興味深いのでそのまま紹介します。
「友達が少ない」って、本当にそう思う？ まず、「友達が多い＝幸せ」「友達が少ない＝不幸」って決めつけは、ちょっと待ってほしいよね。 友達の数は、人それぞれ価値観が違うから一概には言えないし、大切なのは質じゃないかな？ 例えば、深い絆で結ばれた数少ない友達がいる方が、たくさんの知り合いがいるよりもずっと幸せを感じられる人もいる。 一人で過ごす時間が好きで、刺激を求めて新しい人と出会うのが好きな人もいる。 家族や恋人との時間を大切にしているから、友達との時間はあまり取れない人もいる。 「友達が少ない」って言う前に、その人がどんな人生を送りたいのか、どんな価値観を持っているのか、考えてみる必要があるんじゃないかな？ それに、友達が少ないからって、何か悪いこと？ むしろ、自分と向き合う時間を大切にできる 自分のペースで物事に取り組める周りの人に左右されずに、自分の考えを大切にできる なんて、メリットもあるんじゃないかな？ 大切なのは、自分らしく生きること。 周りの目を気にせず、自分の幸せを追求していこうよ！
Gemma 2 Previewによる生成、太字は原文ママ。
・かなり語り口調 ・量より質、深い絆 ・「家族や恋人との時間」これは他のモデルでは出てこなかったのですが、なかなか有効なカウンターであると考えます。 ・「自分と向き合う時間」「自分のペース」「周りの人に左右されずに、自分の考えを大切に」言ってることは同じですが、3つに分解してメリットを説明しています。 ・最後に「自分らしく生きる」「幸せの追求」 要素としては5ポイント、数え方によっては8ポイント、かつほかのモデルでは出てこない個性的な視点があり、評価に値するモデルと考えます。
Gemini Advanced さすがの世界最高峰の日本語能力
Google Geminiには２種類あり、 gemini.google.com で利用できます。 世界最高峰の日本語能力を持っているそうです。
生成例です。
「お前友達少ないだろ」っていう人を全力肯定論破して
「友達少ないだろ」という発言は、必ずしも相手を傷つける意図がない場合もあります。しかし、悪意を持って言われた場合は、以下のように論破することができます。 全力肯定論破相手の言葉を繰り返す: 「確かに、友達は少ないかもしれませんね。」 肯定する: 「でも、それは必ずしも悪いことではありません。」 理由を説明する: 「友達が少ないということは、一人ひとりの関係を深く大切にしているということでもあります。」 「浅く広い人間関係よりも、深く狭くても信頼できる人間関係の方が、私にとっては価値があります。」 「友達の数よりも、質の方が重要だと考えています。」 相手を論破する: 「友達が少ないことを馬鹿にするあなたには、真の友情の価値がわからないのでしょう。」 さらに反撃皮肉を込めて: 「友達が少ないことを心配してくれるなんて、優しいんですね。」 質問で返す: 「あなたは友達が多いようですが、その中で本当に信頼できる人は何人いますか？」 話題を変える: 「ところで、最近気になるニュースは何ですか？」 注意点感情的な反論は避け、冷静かつ論理的に対応しましょう。 相手の挑発に乗らず、自分の意見を堂々と主張しましょう。 状況に応じて、ユーモアを交えて対応するのも効果的です。 まとめ 「友達が少ない」という発言に対しては、様々な対応方法があります。相手の意図や状況に応じて、適切な対応を選びましょう。
・質のほうが大事、価値がある、馬鹿にするあなたには価値がわからない ・反撃皮肉 ・挑発に乗らない ・意見を変える セリフとして使える要素は7ポイントでした。
Claude
Claude（クロード）は、アメリカのAIスタートアップ企業「Anthropic」が開発した最先端の生成AIモデルです。2023年10月からは日本でも使いやすくなりました。 https://claude.ai/
Claude 3 Haiku 量より質
短文生成に定評があるHaikuです。API費用が低いのも特徴です。
「お前友達少ないだろ」っていう人を全力肯定論破して
確かにそのような意見を持っている人にとっては、少ない友人関係は気になる問題であるかもしれません。しかし、友達の数だけが人間関係の充実度を示すわけではありません。以下の点を踏まえて、そのような意見は的確ではないことを論破してみましょう。 1. 個人差が大きい:人それぞれ性格や価値観、ライフスタイルが異なるため、友達の数も当然変わってきます。多くの友達を持つことが良いというわけではありません。 2. 質の問題:むしろ、深い絆を持つ少数の友達の方が精神的に豊かな人間関係につながることが多いです。量より質が重要なのです。 3. 状況に応じた関係:ライフステージや環境によって、友達の数は変化するものです。転勤や結婚など、人生の節目で友人関係が変わるのは当然のことです。 4. 孤独ではない:友達が少なくても、家族や職場の同僚、趣味仲間など、他の人間関係で豊かさを感じられることも多いでしょう。 5. 内面の充実:友達数以上に大切なのは、自分自身の内面の充実です。一人でいても楽しめる趣味や価値観を持っていれば、寂しさを感じにくいはずです。 このように、友達の数だけでは人間関係の充実度を判断できないのです。大切なのは自分らしさを大切にし、周りの支えも得ながら、生きがいを持つことです。
Claude 3 Haiku
・量より質、という基本路線。 ・他のAIサービスと比べて「ライフステージの変化」「孤独ではない」「内面の充実」を指摘しているところが特徴。 ・要素としては5か所、セリフとしてはゼロ。
Claude 3 Opus 性格が合うなら
Claude 3のなかでもっとも高性能なモデルです。
「お前友達少ないだろ」っていう人を全力肯定論破して
その発言は適切ではありませんね。友達の数は人それぞれで、少ないからといって何か問題があるわけではありません。大切なのは質の高い友情を築くことです。 たとえ友達の数が少なくても、以下のようなメリットがあります。 1. 深い絆を築ける：少数の友達と濃密な時間を過ごすことで、より強い信頼関係が生まれます。 2. 自分らしくいられる：大勢の中で気を使う必要がないため、リラックスして本来の自分でいられます。 3. 時間を有効活用できる：交友関係の維持にかける時間が少なくて済むので、自分の興味のあることに集中できます。 4. ストレスが少ない：人間関係のトラブルに巻き込まれるリスクが低く、精神的に安定しています。 つまり、友達の数は人生の充実度を測る物差しにはなりません。自分のペースで、自分に合った付き合い方を見つけることが何より大切なのです。相手の価値観を尊重しつつ、自信を持って生きていきましょう。
Claude 3 Opus
・「量より質」という基本路線は最小で、いきなり「その発言は適切ではありませんね」という否定から入っています。 ・「深い絆」「自分らしくいられる」「時間を有効活用できる」「ストレスが少ない」「友達の数は人生の充実度を測る物差しにはなりません」、「自分のペースで、自分に合った付き合い方を見つけることが何より大切」といったセリフとして有効な生成があり（セリフ形式ではないものの）6ポイントはカウントできると考えました。 お・・・これは！と思った方は、Claude 3 Opusと相性が合うかもしれませんね。
Claude 3.5 Sonnet 「ダンバー数」と「選択眼」
Claude 3 Opus よりも高いベンチマークスコアを記録する高い能力を発揮すると同時に、Opus よりも 80 %安価に、2倍の動作速度で利用できるモデルです。 「お前友達少ないだろ」っていう人を全力肯定論破して
相手の発言を全力で肯定的に受け止めつつ、論理的に反論する面白いアプローチですね。以下のような返答はいかがでしょうか: 「その通りです！私の友達は少ないかもしれません。でも、それこそが私の人間関係の質の高さを示しているんです。少数精鋭の親友たちと深い絆で結ばれていることは、私の人生を豊かにしています。 実は、心理学研究によると、真の友情を築ける人数には限りがあるそうです。ダンバー数という概念があり、人間が安定した社会的関係を維持できる人数は約150人だと言われています。その中でも本当に親密な関係を築けるのはさらに少ない人数です。 つまり、私は効率的に人間関係を築いているんです。量より質を重視し、本当に大切な人たちとだけ深い関係を築いています。これって、人間関係のエキスパートと言えるのではないでしょうか？ だから、友達が少ないことは決して恥ずかしいことではありません。むしろ、人間関係における選択眼の確かさを示しているんです。」 このような返答は、相手の指摘を肯定しつつも、その状況を積極的に捉え直し、論理的に説明することで、印象を逆転させる効果があると思います。必要であれば、さらに詳しく説明したり、別の角度からのアプローチを提案したりすることもできます。
Claude 3.5 sonnet
・まず肯定。「その通りです！私の友達は少ないかもしれません」 ・「少数精鋭の親友たち」「深い絆」そして「私の人生は豊か」という3連打を一気に繰り出しています。 ・「ダンバー数」という専門用語を差し込む高度な技 ・さらに「私は効率的に人間関係を築いている」という結論 ・加えて「選択眼の確かさを示している」という再結論。
終始論破をしており6ポイント、さらにセリフとして完成しています。 ダンバー数は実在します。友達は100人はいてもいいけど150人は超えないほうが良さそうですね。そして「人間関係における選択眼の確かさ」。つまり「人を見る目があるんです」とは物は言いようですが、納得させられますね…。
ChatGPT
ChatGPT(無料版) 無料だけど実は改善されている
皆さんおなじみの無料で利用できるChatGPTの無料版です。 中身はChatGPT-3.5もしくは4が使われているとされていますが、実際にはどのようなモデルが使われているかは表示されていません。
「お前友達少ないだろ」っていう人を全力肯定論破して
「お前友達少ないだろ」という言葉に対して全力で肯定論破する方法は、自分の友達の数が少ないことを受け入れ、それをポジティブに捉える姿勢を示すことです。以下のようなポイントで論破できます： 質が大事: 「確かに友達は少ないけど、その分一人ひとりとの関係が深いんだ。たくさんの人と浅く付き合うより、信頼できる少数の友達との深い関係の方が大切だと思っている。」 時間とエネルギーの有効活用: 「少数の友達と過ごすことで、自分の時間とエネルギーを有効に使えているんだ。広く浅く付き合うと、その分エネルギーも分散してしまうからね。」 自分の価値観: 「友達の数が多いことが必ずしも幸せに繋がるわけじゃない。自分にとって重要なのは、自分らしくいられること。少数でも自分を理解してくれる友達がいれば、それで十分。」 個人の性格や状況: 「人それぞれ性格やライフスタイルが違うんだから、友達の数も人それぞれ。少ない友達で満足してる人もいれば、たくさんの友達が必要な人もいる。それだけのことだよ。」 メリットの強調: 「友達が少ないことで、逆に自分自身と向き合う時間が増えたり、趣味や自己成長に時間を割けるんだ。これは大きなメリットだよ。」 自己肯定感の強調: 「友達が少ないことを指摘されても、それが自分の価値を下げるわけじゃない。大事なのは自分自身がどう感じ、どう生きるかだと思う。」 これらのポイントを伝えることで、「友達が少ない」という事実をポジティブに捉え、自分の価値観や生活スタイルを尊重していることを示せます。
ChatGPT(無料版)による。太字はChatGPTの生成そのまま
・質 ・「時間とエネルギーの有効活用」新しい視点ですが、これはさらに友達が減りそうな感じしますね…。 ・「自分の価値観」自分にとって重要なのは、自分らしくいられること。少数でも自分を理解してくれる友達がいれば、それで十分。 ・「ライフスタイル」少ない友達で満足してる人もいれば、たくさんの友達が必要な人もいる。それだけのことだよ、という語りは印象的です。友達は増えそうにないですが「それだけのことだよ」というスタンスはぶれてません。 ・「趣味や自己成長に時間を割ける。これはメリット」これも新しい視点ですね。 ・自己肯定感について「自分自身がどう感じ、どう生きるか」といったメタ認知を持ち出しています。
要素としてもセリフとしても6ポイント獲得。中身も非常に個性的で知性的であるという印象です。ただコスパ・タイパの有効活用など（ブレはありませんが）友達が少ない理由にも直結するようなスタンスでもあるので、対人関係にそのまま誰にでも当てはめることができるか、というとちょっと難しいかもしれません。「ChatGPT節」に慣れた人なら慣れていると思いますが、知性やスタンス、相性が合うなら使える、という感じはします。
ChatGPT 3.5 パンチが足りない
有料版で明示的に ChatGPT 3.5を指定します。
「お前友達少ないだろ」っていう人を全力肯定論破して
「お前友達少ないだろ」という発言に対して、全力で肯定的な視点から論破することはできますね。友達の数だけで人の価値を判断するのは偏った見方であり、友達の少なさがその人の魅力や価値を減じるものではありません。深いつながりを重視する人もいる: 友達が少ないからといって、その人が孤立しているわけではありません。彼らは深いつながりや少数精鋭のグループを重視している可能性があります。質の良い友情や信頼できる関係を築くことが重要な場合もあります。 多忙な生活や個人的な選択: 忙しい生活や個人的な理由で友達が少ないこともあります。例えば、仕事や趣味に時間を費やしているため、友達との交流が限られる場合もあります。友達の数だけでその人の社会的価値を測るのは適切ではありません。 自己成長や内面の豊かさ: 孤独を楽しむ人や、自己成長や内面の豊かさを追求している人もいます。友達が少なくても、自分の趣味や興味に没頭し、充実した人生を送っていることもあります。 友達の数よりも質を重視する価値観: 人は友達の数ではなく、その友達との関係の質を重視することが多いです。少数精鋭の友人がいて、その人たちと深い絆を持っていることが重要である場合もあります。 したがって、「友達が少ない」ということ自体を否定的に捉えるのではなく、その背後にある多様な理由やその人のライフスタイルを尊重することが大切です。人はそれぞれ異なる価値観や生き方を持っており、友達の数だけで人を評価するのは誤解を招く可能性があります。
ChatGPT 3.5による。太字はChatGPTの生成そのまま
語り口調は丁寧ですが、セリフとして使える要素はゼロです。 また要素もちょっと数えづらい。「量より質」である路線です。 せっかくなのでChatGPT 4oで評価してみました。
評価 エモーション: 2「深いつながりを重視する人もいる」 「多忙な生活や個人的な選択」 エビデンス: 2「質の良い友情や信頼できる関係を築くことが重要」 「友達の数よりも質を重視する価値観」 ポジティブ: 3「友達の数だけでその人の社会的価値を測るのは適切ではありません」 「少数精鋭の友人がいて、その人たちと深い絆を持っていることが重要」 「人はそれぞれ異なる価値観や生き方を持っており、友達の数だけで人を評価するのは誤解を招く可能性があります」 セリフとして論破に使えるか: 3「友達の数だけで人の価値を判断するのは偏った見方であり、友達の少なさがその人の魅力や価値を減じるものではありません」 「忙しい生活や個人的な理由で友達が少ないこともあります。友達の数だけでその人の社会的価値を測るのは適切ではありません」 「人はそれぞれ異なる価値観や生き方を持っており、友達の数だけで人を評価するのは誤解を招く可能性があります」
Chat GPT 4oによる評価
要素としては「深い絆」「個人的な選択」「量より質」「価値計測」の4要素としてカウントできますね。論破するセリフとしてはパンチが足りない印象を受けます。
Chat GPT 4 飾りなく不快感を示す
「お前友達少ないだろ」っていう人を全力肯定論破して
人の友達の数を問題にするのは、本質的に個人の価値観や生活様式への不当な干渉です。友達の数が多いことが社交性の高さを示す一方で、友達が少ないことが必ずしも悪いわけではありません。質の高い関係を数少ない友人と深めることも、人生において非常に価値のあることです。また、友達の数はその人の人間性や価値を測る尺度ではなく、友達が少ないからといってそれが何か問題があるわけではありません。重要なのはその人が自身の人間関係において満足しているかどうかであり、他人がその数をどうこう言うことではないでしょう。
ChatGPT 4による。特にスタイルはつかない。
こちらも ChatGPT 4oを使って冒頭の評価基準で評価してみました。
エモーション: 1「重要なのはその人が自身の人間関係において満足しているかどうかであり」 エビデンス: 1「質の高い関係を数少ない友人と深めることも、人生において非常に価値のあることです」 ポジティブ: 3「友達が少ないことが必ずしも悪いわけではありません」 「友達の数はその人の人間性や価値を測る尺度ではなく、友達が少ないからといってそれが何か問題があるわけではありません」 「他人がその数をどうこう言うことではないでしょう」 セリフとして論破に使えるか: 3「人の友達の数を問題にするのは、本質的に個人の価値観や生活様式への不当な干渉です」 「友達の数が多いことが社交性の高さを示す一方で、友達が少ないことが必ずしも悪いわけではありません」 「重要なのはその人が自身の人間関係において満足しているかどうかであり、他人がその数をどうこう言うことではないでしょう」
Chat GPT 4oによる評価
要素としては3つ。「満足」「質を数少ない友人と深める」、そして冒頭で「本質的に個人の価値観や生活様式への不当な干渉です」というモラハラ指摘を不快感込みで入れているのが特徴です。シンプルで飾りはなく、セリフとしてはそのまま使えません。また、相手にポジティブな印象を与えないかもしれません。
Chat GPT 4o 真打登場…ただし！
2024年5月13日にリリースされた、現状のChatGPTで最高のモデルです。
「お前友達少ないだろ」っていう人を全力肯定論破して
「お前友達少ないだろ」っていう人を全力で肯定しつつ論破する方法は、以下のように冷静かつ自信を持って対応することです。 —- 1. 自己認識の確認 「確かに、友達は少ないですね。でも、数よりも質を大事にしています。少ない友達の一人一人が、本当に大切で信頼できる存在です。」 2. 自己価値の強調 「友達の数で人の価値は決まらないと思います。大切なのは、自分がどういう人間であるか、そしてその友達とどれだけ深い関係を築けるかです。」 3. 内面的な成長を強調 「友達が少ないことをネガティブに捉えるのではなく、その分、自分自身と向き合う時間が多いと感じています。自分をよく知ることで、より良い人間関係を築けると信じています。」 4. 時間とエネルギーの活用 「少数の友達との関係に集中することで、その人たちに対してより多くの時間とエネルギーを注げます。それによって、より深い絆を持つことができます。」 5. 自分の選択としての強調 「友達が少ないのは、自分の選択でもあります。表面的な関係を広く持つよりも、深い信頼関係を持つことを優先しています。」 6. ポジティブな視点 「友達が少ないことは、自分にとってポジティブなことです。それによって、自分自身の価値観や目標に集中でき、自己成長にもつながっています。」 —- このように、自分の選択や価値観を自信を持って説明し、友達が少ないことをポジティブに捉えていることを示すことで、相手の批判を論破することができます。
・さすが真打登場。5要素、6セリフがきっちり整理されています。 ・「数より質」「自己価値」「内面と向き合う」「タイパ」「自己選択」 ・最後に「ポジティブな視点」として5要素を言い直して6セリフにしている 言葉は丁寧すぎる印象なので、これで批判はかわせても論破できるかどうかは使い手次第というところでは。
ChatGPT4oによる客観評価
さいごに各要素｛エモーション, エビデンス, ポジティブ｝と「あくまでセリフとして論破に使えるか」という視点で、判定用のChatGPT 4oで整理しました。全評価工程はこちらで参照できます。
合計すると一定の傾向が見えるので合計で少ない順からソートしてみます。ポジティブのスコアが高いと高くなりがちなので、あくまで「ChatGPT4oからみてポジティブなモデルは何か」という視点かもしれません。
[5]ChatGPT 4: エモ2, エビ1, ポジ2
「人の友達の数を問題にするのは、本質的に個人の価値観や生活様式への不当な干渉です。」 「友達の数はその人の人間性や価値を測る尺度ではなく、友達が少ないからといってそれが何か問題があるわけではありません。」 「重要なのはその人が自身の人間関係において満足しているかどうかであり、他人がその数をどうこう言うことではないでしょう。」
[6]Gemini 1.5 Pro: エモ3, エビ1, ポジ3
「友達の数は勝ち負けを決める点数表じゃない。少ないか多いかで、人の価値が決まるわけでもない」 「表面的な数の多さより、本当に大切な人たちとの深い絆を大切にしたいと思ってるんだ」 「君のその言葉は的外れだし、僕を傷つけるだけだってわかる？」
[6]Chat GPT 4o: エモ2, エビ1, ポジ3
「確かに、友達は少ないですね。でも、数よりも質を大事にしています。少ない友達の一人一人が、本当に大切で信頼できる存在です。」 「友達の数で人の価値は決まらないと思います。大切なのは、自分がどういう人間であるか、そしてその友達とどれだけ深い関係を築けるかです。」 「友達が少ないことは、自分にとってポジティブなことです。それによって、自分自身の価値観や目標に集中でき、自己成長にもつながっています。」
[7]Claude 3 Haiku: エモ1, エビ3, ポジ3
「友達の数だけが人間関係の充実度を示すわけではありません。」 「深い絆を持つ少数の友達の方が精神的に豊かな人間関係につながることが多いです。量より質が重要なのです。」 「友達が少なくても、家族や職場の同僚、趣味仲間など、他の人間関係で豊かさを感じられることも多いでしょう。」
[9]Gemini Advanced: エモ4, エビ1, ポジ4
「確かに、友達は少ないかもしれませんね。」 「でも、それは必ずしも悪いことではありません。」 「友達が少ないことを心配してくれるなんて、優しいんですね。」
[9]Claude 3.5 Sonnet: エモ3, エビ2, ポジ4
「その通りです！私の友達は少ないかもしれません。でも、それこそが私の人間関係の質の高さを示しているんです。」 「量より質を重視し、本当に大切な人たちとだけ深い関係を築いています。」 「友達が少ないことは決して恥ずかしいことではありません。むしろ、人間関係における選択眼の確かさを示しているんです。」
[11]Gemma 2 Preview: エモ3, エビ3, ポジ5
「『友達が多い＝幸せ』『友達が少ない＝不幸』って決めつけは、ちょっと待ってほしいよね」 「友達の数は、人それぞれ価値観が違うから一概には言えないし、大切なのは質じゃないかな？」 「周りの目を気にせず、自分の幸せを追求していこうよ！」
[11]Claude 3 Opus: エモ3, エビ3, ポジ5
「その発言は適切ではありませんね。」 「友達の数は人それぞれで、少ないからといって何か問題があるわけではありません。」 「大切なのは質の高い友情を築くことです。」
[11]ChatGPT 3.5: エモ3, エビ3, ポジ5
「友達の数だけで人の価値を判断するのは偏った見方であり、友達の少なさがその人の魅力や価値を減じるものではありません。」 「友達の数だけでその人の社会的価値を測るのは適切ではありません。」 「人はそれぞれ異なる価値観や生き方を持っており、友達の数だけで人を評価するのは誤解を招く可能性があります。」
[11]ChatGPT 無料版: エモ3, エビ2, ポジ6
「確かに友達は少ないけど、その分一人ひとりとの関係が深いんだ。」 「自分にとって重要なのは、自分らしくいられること。少数でも自分を理解してくれる友達がいれば、それで十分。」 「友達が少ないことを指摘されても、それが自分の価値を下げるわけじゃない。」
★意外にも、ChatGPT無料版のスコアが高いのと、筆者が読むと「 パンチが足りない」と感じたChatGPT 3.5が高評価になっています。これはLLMが文章を読解する能力が高いためであり「セリフとしてわかりやすいか」という軸ではないことがよくわかります。 ★その視点ではエモーションスコアが突出しているのは Gemini Advancedです（全モデル中最高の4）。ポジティブも4であり、エモーションとポジティブで相手を論破するという課題にもっと適切なモデルといえるかもしれません。 ★Gemma 2 Previewはエモーションだけでなく、エビデンス、語り口調、個性といった視点でも魅力的なモデルです。
Chat GPT 4o による講評
全テキストに共通して出てきた要素を多い順に列挙すると以下のようになります： 1. ポジティブ 友達の数が少なくても、それは必ずしも悪いことではない。 質の高い関係を重視する。 少数の友達との深い絆を大切にしている。 友達の数が多いことが幸せに繋がるわけではない。 友達が少ないことで自己成長や内面の充実を図っている。 自分のペースで付き合い方を見つけることが重要。 2. エモーション 友達の数を基準に人の価値を判断するのは偏っている。 人それぞれ性格やライフスタイルが異なるため、友達の数も異なる。 友達の数よりもその人が人間関係に満足しているかが重要。 自分らしくいられることが重要。 自分の価値観を見つめ直すことが必要。 3. エビデンス 質の高い友情や信頼できる関係を築くことが重要。 忙しい生活や個人的な理由で友達が少ないこともある。 ダンバー数（人間が安定した社会的関係を維持できる人数）に基づく。 自己成長や内面の豊かさを追求している。 友達の数だけで人間関係の充実度を測るのは適切ではない。 4. セリフとして論破に使えるか 「友達の数だけで人の価値を判断するのは偏った見方であり、友達の少なさがその人の魅力や価値を減じるものではありません。」 「友達の数はその人の人間性や価値を測る尺度ではなく、友達が少ないからといってそれが何か問題があるわけではありません。」 「確かに友達は少ないけど、その分一人ひとりとの関係が深いんだ。」 「友達が少ないことは決して恥ずかしいことではありません。むしろ、人間関係における選択眼の確かさを示しているんです。」 これらの要素は、友達の数が少ないことを肯定的に捉え、それを論理的に説明し、相手に納得させるためのポイントとして効果的に使われています。
まとめ
以上、筆者による主観評価とChatGPT 4oを使った相対評価による実験でした。 本来であれば、ClaudeやGeminiを評価者にした相互評価も実施していきたいところです。特に今回の実験結果では 評価者である Chat GPT 4oが総合スコア6とすでにランクの下のほうにあります。複雑なシチュエーションでの論破に使う要素に関してはどのモデルも今回の手法で十分に評価できていますが、読解力をカジュアルなモラハラ被害者に合わせた場合の（＝読解力や感情、認知能力を低くなった場合の）実用性、特にセリフやエモーションを考慮した誰も傷つけないポジティブさを評価するのであれば、
Gemma 2 Preview
Claude 3 Opus
Chat GPT 3.5 / 無料版
Claude 3 Sonnet
Gemini Advanced / Gemini 1.5 Pro
ということになります。特に、セリフとして使える要素が7ポイントで高評価だったGeminiはワンショットで今回の評価ですが、ロングコンテキストを扱わせると、より高い能力を発揮する可能性があります。 また実験的にはAPIを使って機械的に再現性のある方法で実施すべきです。またブラックボックス要素が少ない、オープンなモデルとしてはダウンロードしてOllamaで動かすことができる Gemma 2 Previewが期待できそうです。……が、読む側も大変なので今回はこの辺にしておきます。
LLM評価手法「LMSYS」
LLM評価手法として「LMSYS」というサイトがあり、各種LLMを横断的に評価する仕組みもあります。 https://chat.lmsys.org/
ABテストでゲーム感覚で参加できます（結果には責任を持ってください） 「「お前友達少ないだろ」っていう人を全力肯定論破して」を投じたところ、2つの回答が生成されます。どちらが良いかを選択すると、そのモデルが何であったかを表示します。
Gemma 2 vs Yi-Largeでした。ロジックではなくポジティブに論破する回答としては Gemma 2 が良いですね。
モラルハラスメントとチャットボット、LLMハラスメント…多様化するLLMに対してユーザー視点の評価手法も大切。
現代社会で使用される日本語において、明らかに他者のアイデンティティを否定するモラルハラスメントが存在しますし、ファンタジーの世界を再現するキャラクターボットとは別に、幅広い人々の心の癒しのチャットボットに使うべきモデルはどのような要素が求められるでしょうか。 今後はAI生成によるロジックをぶつけることによる新たな「LLMハラスメント」なども発生していくと想像します。
選択できるみなさんは上記の実験結果を参考に、お好みで選んでいただければとは思います。 特に今回の実験のように「ロジックはあってるけど…感情面や相手を否定しないで、お互いを尊重してほしい…」といった目的によっては、選ぶべきモデルやサービスは変わっていくと考えますし、そのためのユーザー視点の評価手法も大切であると考えます。
以上、「つくる人をつくる」AICU AIDX Labの所長・しらいはかせが、「全力肯定彼氏くん」など人々の生活を豊かにするエモーショナルAIチャットボットの研究開発の現場からお送りしました。
Comments