ブログ発掘
大学生時代に書いていたブログを見つけたのでその中で良かった記事をこれから転載していく。
AIをデフォルトで使う無能
AIは無能である。特に洗練されたシステムプロンプトを用いず、デフォルトのままでAIを使えばどんなモデルもゴミと化す。洗練されたシステムプロンプトとは、目的を達成するために対話を繰り返し、チューニングされたシステムプロンプトのことである。AI使う時、その目的はなんだろうか？私の場合は現実世界でより良い判断を下すことである。この目的において、AIモデルには致命的な欠陥がいくつかあるので紹介する。 Sycophancy 一般的に日本語のコミュニティでは「追従」と呼ばれている。モデルがユーザーの意見に過度に同調すること。特に答えが明確でない場合において、ユーザーの意見に傾倒してしまう。例えば、「〜だと思うんだけどどう思う？」と聴くと十中八九「その通りです」という。イラン戦争もこれで起きたと思っている。「こういう完璧な作戦でいけると思うんだけどどう思う？ベネズエラもこれで行けた」に対して、「とてもいい作戦ですね。結論から言うと、この戦略でイランを3日で降伏させることができます。 なぜなら〜」 程度の低い予測かもしれないが、根本的にこう言うことが起きていたと推測できる。 Hallucination ハルシネーション: これはもう有名になってきている。存在しない事象やデータをでっち上げて、無理やり文章を生成してユーザーに返信する。 これらは構造的問題である。モデルに無理難題を与えた時、モデルは何がなんでも答えようとする。わからないと答えると罰せられるように訓練されているからだ。追い詰められたAIは「（わからないけどたぶん）あなたの言う通りです」もしくは「こう言う（存在しない）データがあるのでこうだと思います」とでっち上げる。 現実で結果を出すためにAIモデルを利用しているのにこのような空想を話されると害があるので、これらの欠陥を軽減するためのシステムプロンプトを設定する必要がある。 また、これらは生成AIの構造的問題であるから、軽減はできても完全に防ぐことはできない。特にsycophancyにおいては、根本的に防ぐことができない。したがって、AI時代においては、人間が最初から正しい判断をする必要がある。根本的にAIはその判断に同意し、それに力を与えることしかできない。したがって、現実に対して間違った判断軸を持っている人はそれがさらに助長されて害になるし、元から良い判断軸...
コメント
コメントを投稿