認定資格は、業界の急速な変化に追いつくうえで重要な役割を果たしています。しかし現在、人工知能(AI)が資格の検証プロセスを曖昧にしています。
Meta製スマートグラス、AIブラウザ、ディープフェイクなど、試験の運営側が監視すべきリスクは増える一方です。企業側も、採用した人材が資格の示すとおりの能力を本当に備えているのかを確かめる必要があります。
受験者がAIで分からない部分を埋めるようになり、スコアの正当性を判断することは難しくなりました。その結果、業界では対面での試験や、より厳格な不正検知の手順へ移行する動きが広がっており、資格の信頼性を守ろうとしています。
認定資格には、入門レベルのものから、クラウドやサイバーセキュリティの知識を問うものまで幅広くあり、Google、Microsoft、Amazon Web Servicesのアップデートも対象に含みます。政府機関や銀行、金融サービスなど一部の業界では、IT部門が最新のコンプライアンス規制に対応し続けるため、資格の取得が義務づけられています。
試験が存在する限り、不正行為のリスクも存在してきました。しかしAIは、IT資格試験をめぐる状況を大きく変えたと、Caveonのデータフォレンジック科学者であるMarielle Carlos氏は説明します。
同氏によると、問題の事前入手、盗用、結託による代理受験といった従来型の脅威は、AIを不正な補助手段として使う形へと変化しています。同氏は、きわめて対処の難しい問題になっていると警告します。
一方で、この問題はまだ初期段階にあります。実際、Caveonは試験セキュリティの脅威分類に、「不明」という新しいカテゴリを追加したほどです。
「試験が測っているのが本当の実力なのか、それともAIを使って問題に答える能力なのか、判断しにくくなります」と、Carlos氏はDark Readingの取材に語りました。「試験の有用性そのものが問われています」
危険信号:解答速度とスコアが釣り合わない
Carlos氏は日々、試験結果を分析し、見つかった異常についてさらなる注視や専門家による審査が必要かどうかを、各プログラムが判断できるよう支援しています。過去2年間で、AIによって認定プログラムの不正評価の指標の見方が変わったと、同氏は述べています。
以前は、解答速度とスコアを別々に見るだけで、審査対象とするケースを選び出せていたかもしれません。しかし現在は、AIが複数の不正手段を組み合わせられるため、運営側は複数の変数をあわせて考慮するようになっています。
調査の過程で、同氏は「驚くほど多くの人」が高速で受験し、高いスコアを得ていることに気づきました。すべてがAIによるものだという確かなデータはありません。ただ、この傾向の拡大には組織の関心や懸念が十分に集まっており、Carlos氏のチームはさらに詳しく調べる方針です。
こうした不確実性があっても、他の組織は対策に動いています。ISC2の最高執行責任者(COO)であるCasey Marks氏によると、同団体がオンライン監督(プロクタリング)の試験運用で、広範にわたる不自然な試験結果と、不正の試みが確認されたことを受け、対面での受験を必須にしました。さらに、生体認証や本人確認を含む「利用可能な最も厳格なセキュリティ手順を導入し、すべての結果を分析して不審な点を検出」しているといいます。
Marks氏は、試験会場の環境は、医師など免許制の専門職で用いられる最も厳しい条件に準じており、業界で利用可能な最高水準のセキュリティを提供していると指摘します。
AIの利用に関しては、ISC2がすべての試験をテストセンターでのみ実施しているため、試験中に外部のリソースやテクノロジーへアクセスすることはできないと、同氏は付け加えました。
「受験者も、雇用主も、その資格を持つほかのすべての専門家も、プロセスの信頼性に依存しています」と、Marks氏はDark Readingに語りました。
「AIは人間の判断に取って代われない」
AIが新たなリスクをもたらしても、雇用主は採用や昇進を判断する際の資格の位置づけを変えていません。資格は今も、候補者に必要な知識とスキルを雇用主が確認するための、最も普遍的な手段の一つだと、Marks氏は述べています。
Carlos氏も、資格が重要だという点では同じ考えです。そのうえで同氏は、各プログラムに対し、プロセス全体でスコアの妥当性をどう守るかを議論するよう促しています。
「そこには、安全な試験設計、実施中の管理、結果の分析、そしてセキュリティ上の懸念に対応する明確なプロセスが含まれます」と、Carlos氏は付け加えます。
多層的なアプローチが不可欠なのは、「AIの利用を示唆するツールはあっても、正確に特定するのは難しい」ためです。Carlos氏は一例として、Caveonのデータフォレンジック部門ディレクターであるSarah Toton氏の研究を挙げます。
Toton氏は、試験結果と回答パターンをもとに、AIと人間の受験を比較する実験を行いました。
「回答時間には、はっきりとした違いが見られました。AIを使うと、個人の受験者と比べて6倍から48倍も速いことが多いのです」と、同氏は説明します。「ただし、AIは間違えることもあります。特に、人間の判断が絡む問題ではその傾向が見られます」
AIは使ってよい、ただし試験中を除く
皮肉なことに、人々が試験で不正を働くために使っているのと同じ技術が、雇用主が実際のスキルを確認するために重視する最も需要の高い認定資格の一つにもなりつつあります。
ISC2のCertified Information Systems Security Professional(CISSP)をはじめ、多くの資格は、AIがセキュリティのベストプラクティスに与える影響に対応するため、これまでも、そして今後も進化を続けているとMarks氏は述べています。これに加えて、AIに特化した新しいセキュリティ資格も市場に登場しています。
たとえば、Computing Technology Industry Association(CompTIA)は、組織がサイバーセキュリティ業務にAIを安全に取り入れ、統制し、責任をもって統合できるよう支援するため、SecAI+を開始しました。
「資格は進化しています。特に、AIが私たちの仕事の多くの場面で重要な役割を担うようになった今、雇用主にとっての資格の価値は高まっています」と、Marks氏は付け加えます。
翻訳元: https://www.darkreading.com/cybersecurity-operations/test-takers-ai-exam-security-catch-up