Nvidia Ampere GPU、隠れた性能を解放：AIテンソル演算が大幅に向上
独立系開発者のZagitta氏が最近、「GPU Unlock」というオープンソースのプロジェクトを公開しました。このソフトウェアは、Nvidia Ampereアーキテクチャを採用した一部のグラフィックスカードに眠っていた演算能力を引き出します。起動の初期段階でハードウェアの速度セレクターを調整する
タグ: ベンチマーク
「最良」のAIモデルを定義することが難しくなっている
ここ数年、AIモデルを選ぶ際には、ベンチマークスコアの高いものを探したり、なじみのあるプロバイダーを選んだりするのが一般的でした。 どのAIモデルが「最良」かという議論は、AIセキュリティ研究者の間でSNS上の定番の話題になりました。しかし、脆弱性検出にAIを活用しようとするセキュリティチームにとって
GitHub、AIコードレビューの性能を測る「ReviewBench」を公開
GitHubの「ReviewBench」は、ソフトウェアのリリース前に、AIコードレビューツールがどれだけ問題を検出できるかを測定するベンチマークです。同サイトでリサーチプレビューとして公開されており、ユーザーはレビューエージェントを比較したり、自社ツールを評価したりできます。 コードレビューとは、提
Google、「Gemini 4」AIモデルを限られた組織に提供開始
Google の最新フロンティアモデルは、正式リリース時に複雑なエンタープライズ業務向けのトークン容量が拡大される見通しです。ただし現時点では、ベンチマーク結果は一長一短です。 Googleは数カ月の遅れを経て、新たなフロ
Claude Sonnet 5.5、価格を据え置いたまま高速化
Anthropicは、コーディングやオフィス業務向けのAIモデル「Claude Sonnet 5.5」をリリースしました。同社によると、前モデルより応答速度が30%以上向上し、多くのタスクで使用するトークン数も減っています。API の掲載価格は変わらないものの、タスク当たりのコストは下がります。 この
AWSがAI脆弱性検出の実力を検証、誤検知の多さが浮き彫りに
AWSの「Deception Benchmark(欺瞞ベンチマーク)」は、AIモデルが本物のセキュリティ脆弱性と、危険に見えるものの実際には安全なコードとをどれだけ正確に見分けられるかを測定するものです。AWSはこのベンチマークを一般公開し、研究者がサンプルの生成や精緻化にかかるコストを重複して負担す
LLMと文脈的インテグリティ
私はここ最近、AIとインテグリティについて考えを巡らせています。その一部が「文脈的インテグリティ」です。最近、このテーマを扱った論文を2本見つけました。 「CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent
LLMの暗号解読能力を測定する
AIの数学的暗号解読能力を測定する新しいベンチマークが登場しました。Anthropicのフロンティアモデルは、実際に新たな攻撃手法を発見しています。 そのベンチマークが「CryptanalysisBench: Can LLMs do Cryptanalysis?」です。狙いは、一連の歴史的アルゴリズムに対し
AIに「ジーニー係数」が必要な理由
このエッセイはBarath Raghavan氏との共著であり、初出はThe Guardianです。 主要なベンチマークが測定しているのは、AIに何ができるかという点です。しかし、AIがユーザーの意図通りに動くかどうか、つまり「何をするよう頼んだか」と「どうやってそれをしてほしいかという暗黙の前提」との間の隔
macOSがAIエージェントの実証実験の場になりつつある
今この瞬間もどこかで、Mac Miniが棚の上で誰かの雑用をこなしています。誰も見張ってはいません。ターミナルでバージョン番号を読み取り、Safariに移動してリリース年を調べ、静かにリマインダーを登録する——人間なら3つのアプリをまたいで90秒ほどぶつぶつ言いながらこなすような、あの地味な作業です。
すべての記事を読み込みました