Google検索のAI Overviewsを含むAIは、ハルシネーションを起こすことがあり、質問の仕方を2通りに変えて尋ねると、しばしば事実をでっち上げたり、矛盾する回答を提示したりします。
ある 新しい求人情報によると、Googleは検索体験を再構築する中で、AIの回答を検証し、その品質を改善するためのエンジニアを採用していることが示唆されています。
「Google検索では、情報を検索するということが何を意味するのかを――あらゆる方法で、どこでも――再定義しています。そのためには、世界中の人々が頼りにしている、普遍的にアクセス可能で有用な体験を維持しながら、複雑なエンジニアリング課題を解決し、インフラを拡張する必要があります」と、Googleは求人情報で説明しています。
職種名は「AI Answers Quality」で、Google検索チームに加わる人は、AIの回答、特にAI Overviewsの品質向上を担当することになります。
「SRPおよびAIモードにおいて、ユーザーの難しく複雑なクエリに対してAI Overviewsを提供できるよう、AI Answers Qualityチームを支援してください」と求人情報には記載されています。
Googleが自社のAI Overviewsに改善が必要であることを間接的に認めたのは今回が初めてで、そのタイミングも興味深いものです。
GoogleはユーザーにAI回答の閲覧を強いているが、品質改善はほとんど進めていない
最近のアップデート以降、Googleはより多くのユーザーをAIモードとAI回答へとますます誘導しています。
実際、Googleはニュース向けにDiscoverフィードをAI Overviewsで更新したほか、AIを使ってニュース媒体の見出しを書き換えることさえしています。
GoogleのAI Overviewsは大きく進歩しており、回答も過去に見られたものより良くなっていますが、まだ粗い部分が残っています。
例えば1週間ほど前、あるスタートアップの評価額をGoogleで調べたところ、Googleは400万ドルという数字をでっち上げました。その後、別のタブを開いて同じ質問を少しだけ言い換えて尋ねたところ、AI Overviewsはその企業の評価額は7,000万ドル超だと答えました。
私はGoogleが生成したリンク（引用）で回答を突き合わせて検証しましたが、Googleが2回にわたって引用した評価額は、参照したとされる情報源の中にそもそも存在しないことに気づきました。
これは、Googleが誤りを犯し得る例の一つにすぎません。
最近、The Guardianは、AI Overviewsが誤解を招く、あるいは明らかに誤った健康アドバイスを提供していると報じました 。
GoogleのAI回答はここ数か月で改善してきましたが、ほとんどのユーザーはGoogleが表示するものをすべて信じがちなため、さらなる改善が必要です。
