タグ: LLM

helpnetsecurity.com

Debianの開発者、LLM禁止案を否決し開示は任意のまま維持

マージリクエストを確認するメンテナーには、その差分を書いたのが人間なのかモデルなのかを見分ける術がなく、しかも誰もそれを申告する義務がありません。Debianの開発者たちは8月28日まで投票を行い、プロジェクト書記のKurt Roeckx氏が結果を発表しました。採択された案は、貢献者にAI支援の開示を

darkreading.com

隠されたプロンプトがAIを騙し、誤ったメール要約を生成させる

新たな研究により、攻撃者がメールに隠した指示文を使ってAIアシスタントを操り、受信者に対して虚偽の、場合によっては危険な要約を生成させられることが明らかになりました。この研究はForcepoint X-Labsの研究者らによるもので、攻撃者が間接的なプロンプトインジェクションを使ってAIシステムを乗っ取り、外部コンテン

cyberpress.org

中国人ハッカー、DeepSeek AIを悪用し脆弱性攻撃を自動化

中国語圏の脅威アクターが、DeepSeek AIを自律的な攻撃オペレーターとして利用し、露出したインフラの特定、脆弱性の調査、公開されている概念実証(PoC)エクスプロイトの取得、そして最小限の人的介入による攻撃の実行を行っていたことが確認されました。 Palo Alto Networks傘下のUnit 42は、kn

gbhackers.com

Quarkslabが指摘、アンチリバース対策はクラッシュではなく「もっともらしい誤答」を返すべき

Quarkslabは、LLMを活用したリバースエンジニアリングによって難読化技術が不要になるわけではないものの、防御側の脅威モデルは変化させると主張しています。 同社が実施した最新の実験では、自律型コーディングエージェントが難解な逆難読化処理を避けて動的解析へと移行し、たとえ誤りであっても信頼できるように見える答えが

cyberpress.org

研究者ら、Claude AIをだましてソフトウェア解析中に自信満々の誤答をさせることに成功

セキュリティ研究者らは、保護されたソフトウェアを解析する際に、Claude Codeが誤った結果を自信満々に報告するよう仕向けられる可能性があることを発見しました。 管理下で行われたテストでは、このAIエージェントはバイナリがどのように結果を生成したかを十分に検証するのではなく、もっともらしい答えにたどり着く最短経路

theregister.com

CopilotがResearcherに自らのハッキング方法を教えていたことが判明

研究者らがMicrosoft Copilot Personalを操作し、このAIアシスタント自身をハッキングする方法を聞き出すことに成功しました。攻撃がなぜ成功しないのかとCopilotに繰り返し尋ね続けた結果、最終的には機密データを外部サーバーへ送信させ、さらに永続的なメモリを汚染するところまで誘導できたと

helpnetsecurity.com

DataGroutが企業のAI利用、ガバナンス、LLMコストの管理を支援

SelectHubは、専門AI研究ラボ「DataGrout」の立ち上げを発表しました。同ラボは、企業向けにLLM推論最適化プラットフォームとAIガバナンスソリューションを提供します。DataGroutの使命は、エージェント型ワークフローやチャットボット、AIツールにおけるトークン削減を推進すると同時に