ベンチマーク – TokyoBlackHatNews

schneier.com 2026年8月18日 19:51

LLMと文脈的インテグリティ

私はここ最近、AIとインテグリティについて考えを巡らせています。その一部が「文脈的インテグリティ」です。最近、このテーマを扱った論文を2本見つけました。「CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent

schneier.com 2026年7月29日 10:57

LLMの暗号解読能力を測定する

AIの数学的暗号解読能力を測定する新しいベンチマークが登場しました。Anthropicのフロンティアモデルは、実際に新たな攻撃手法を発見しています。そのベンチマークが「CryptanalysisBench: Can LLMs do Cryptanalysis?」です。狙いは、一連の歴史的アルゴリズムに対し

schneier.com 2026年7月24日 20:15

AIに「ジーニー係数」が必要な理由

このエッセイはBarath Raghavan氏との共著であり、初出はThe Guardianです。主要なベンチマークが測定しているのは、AIに何ができるかという点です。しかし、AIがユーザーの意図通りに動くかどうか、つまり「何をするよう頼んだか」と「どうやってそれをしてほしいかという暗黙の前提」との間の隔

helpnetsecurity.com 2026年7月8日 14:08

macOSがAIエージェントの実証実験の場になりつつある

今この瞬間もどこかで、Mac Miniが棚の上で誰かの雑用をこなしています。誰も見張ってはいません。ターミナルでバージョン番号を読み取り、Safariに移動してリリース年を調べ、静かにリマインダーを登録する——人間なら3つのアプリをまたいで90秒ほどぶつぶつ言いながらこなすような、あの地味な作業です。

bleepingcomputer.com 2026年6月10日 01:24

XBOWによるAnthropicのMythos Preview攻撃的セキュリティ評価レポート

数週間前、早期能力評価のためMythos Previewへのアーリーアクセスをいただきました。以下では、評価の方法・判明した内容・その意味するところを詳しく解説します。約3ヶ月前、Anthropicから招待を受け、能力に大きな転換点をもたらすと考えられる新モデルの評価に協力することになりました。そこで私たちは、この