AIノートテイカーのリスク、もはや「あらゆる場所」の問題に

AIノートテイカーを導入するビジネスパーソンは、軽率なわけではありません。実際の業務上のニーズに応えているのです。私たちのチームは、支援先の企業との会議に一日中参加しています。その日のすべての会議について、終業時にきれいな要約を読めれば、顧客のより良いパートナーになれます。私たちが関わるAIファーストのスタートアップでは、新任のアカウントマネージャーが初日から、顧客との全会話の録音履歴を引き継げます。そして「この顧客が本当に重視していることは何か」をAIに尋ねられます。これは監視文化のための監視ではありません。人々により良いサービスを提供するための方法です。

それでも、AIノートテイカーにはサイバーリスクがあります。私たちはこの1年、その点を警告してきました。数週間で数百アカウントに達するシャドー導入、SOC 2も実質的な暗号化も備えていないベンダー、同意をめぐる法的責任、訴訟リスクなどです。4月には、筆者の一人が[un]promptedカンファレンスの壇上で、会議で最も重要な参加者はもはや人間ではないと主張しました。AIノートテイカーは何が重要かを判断し、アクションアイテムを割り当て、会議の公式記録となる要約を作成します。

ただし、AIノートテイカーについての初期の警告には、私たちがもはや持っていない前提がありました。ノートテイカーは会議に「参加する」という前提です。この前提は、今夏、静かに崩れました。ノートテイカーは会議プラットフォームを離れ、身体に装着されるようになったのです。ところが、ポリシーはこの変化に気づいてすらおらず、追いついていません。

会議から手首へ

7月28日、私たちの周囲で最もよく目にするAIノートテイカーであるGranolaが、Apple Watchアプリを公開しました。手首を一度タップするだけで、周囲で起きていることをすべて録音できます。通話に参加するボットも、録音を知らせるバナーも、テーブルの上に開いたノートPCもありません。

同じ週に、DEF CONはMeta型スマートグラスの会場への持ち込みを禁止しました。録音への懸念が理由です。一方のMetaは、AIペンダントを手がけるLimitlessをすでに買収しており、常時オンの個人録音を、世界最大級の消費者向けハードウェア流通網に組み込んでいます。私たちが支援したある上場企業は現在、未発表の計画を議論する全社会議の前に、参加者のスマートグラス着用を確認しています。

私たちも自分たちで試しました。ジャケットの袖の下にウォッチを隠し、一度タップして、夜の散歩全体を録音したのです。文字起こしは鮮明で、誰にも気づかれようがありませんでした。

米国では、相手の許可なく録音できるかどうかは、どの州にいるかで決まります。カリフォルニア州では禁止されていますが、許可している州も多くあります。さらに重要なのは、開示に関する規範がいまだにないことです。しかも、ハードウェアは今や目に見えないように設計されています。

記録は中立ではない

4月の講演以降、こうしたシステムを出し抜く方法を教えてくれる人に次々と出会いました。ある人は、私たちが降壇した直後に、実際の会議でノートテイカーに対してプロンプトインジェクションを仕掛けたと話しました。別の人は、これまで聞いた中で最も単純な手口を説明してくれました。早めに会議に入り、ノートテイカーだけと一緒にいる5分間に、記録させたい結論を最重要の要点として落ち着いて語り上げるというものです。3人目は、他社のノートテイカーを黙ってクラッシュさせる方法を見つけたと語りました。会議が終われば、記録は何も残りません。これらの手口には学術的な裏付けもあります。操作と呼ぶか、戦略的コミュニケーションと呼ぶかは別として、手法は有効です。

ノートテイカーのシステムは、それ自体も誤作動します。ある文字起こしが1語を聞き間違え、その誤りに合わせて残りの会話まで解釈し直した例を、私たちは目にしました。モデルが苦手とするアクセントを持つ同僚は、そのリスクをより多く負うことになります。しかも、これらのツールはもはや速記者ではありません。記憶を持っています。Granolaは過去の会議の文脈や、会議参加者の背景情報を、今日の議事メモに取り込みます。便利な機能ですが、社外で共有した要約から、相手側が参加していなかった会議での議論内容が漏れる可能性があることも意味します。

さらに、ポリシーを書くすべての人が念頭に置くべき事例があります。昨年11月、Campbellのセキュリティ担当幹部が解雇されました。私的なランチの会話だと思っていた場で、従業員がひそかに録音した会議での発言が理由です。録音は数カ月後に雇用問題を扱う弁護士を通じて表に出て、幹部は数日のうちに会社を去りました。発言内容をどう評価するかはともかく、その仕組みに注目してください。ノートテイカーのボットも、会議プラットフォームも関係ありません。1人の人物、1台のデバイス、そして話し手がオフレコだと信じていた1つの会話があっただけです。もはやオフレコというものは存在しません。

本格的なポリシーとは

取締役会や法務チームは今、CISOにノートテイカーのポリシーを求めています。複数の組織の検討を支援してきた経験から、私たちの結論は次のとおりです。

常に透明性を確保する。録音ツールが動いているなら、その場の全員が知っている状態にします。私たちが勧める最も手軽な方法は、表示名を「名前＋AI notetaker」に変えることです。このルールは従業員にも適用しなければなりません。同僚を無断で録音する従業員は、録音の中身を議論するまでもなく、解雇に値する行為を行っています。

会議を分類する。ある企業では、録音を絶対に許可しない会議を明記した正式なポリシーを策定しました。M&A、法務、人事、取締役会の非公開セッションなどが対象になるでしょう。ツールに決められてしまう前に、意図的に、文書の形で決めておくことが重要です。

他者のノートテイカーも管理する。監査人が自社の建物に入るとき、そのノートPCは自社の基準を満たさなければなりません。録音にも同じ原則を適用します。他組織が自社の従業員を録音するなら、それを把握し、コピーも受け取るべきです。

保持方針を選ぶ。全文の文字起こしは、要約とは企業記録としての性質が異なります。文字起こしを原則破棄し、法的保全を例外とするのか、永久に保管するのかを決めてください。ベンダーのデフォルト設定に任せてはいけません。

ノートテイカーのベンダーを実態どおりに扱う。ベンダーは、最も機微な会話を自社のクラウドに保管するスタートアップです。ベンダーのセキュリティ審査、データ再利用の条件、補償条項を確認しましょう。Brewer v. Otter.aiは、Otterのノートテイカーが全員の同意なく会議を録音し、その録音をモデルの学習に使ったと主張する集団訴訟です。Novacyの突然の閉鎖も、理由があって起きたことです。

責任者となる人間を置く。記録となるすべての文字起こしには、どのツールが録音した通話であっても、正確性を確認する責任を負う担当者を明確に定める必要があります。

なかには、弁護士が証言録取で記録を守るように、従業員に文字起こしを誘導する訓練をしようとする組織もあるでしょう。その発想は理解できますし、記録の正確性を確認することはまさに正しい対応です。しかし、公式記録をひそかに最適化する組織には、より大きな問題が待ち受けています。

かつて私たちは、ノートテイカーを会議に入れるべきかを議論していました。その議論は終わりました。記録装置が行く先々が、今や会議の場になるからです。マイクがすでに部屋の中にある世界を前提に、ポリシーを書いてください。実際に、すでにそこにあるのですから。