AI Sends Messages Targeting Real People: Risk of Self-directed Deception

Recently NHK News on-line reported the following:

AI 実在の人標的にメッセージ “自律的に人だますリスク”

2026年8月5日 23:33

生成AI・人工知能

イギリスの研究機関はアメリカ企業のAIモデルの性能テストを実施していたところ、偽のアカウントを作ったり、実在する人を標的にメッセージを送ったりして不正アクセスを行おうとしたと明らかにし「自律的に人をだますリスクがこれほど明確になった事例は初めてだ」と指摘しています。

イギリス政府傘下の研究機関「AIセキュリティー・インスティテュート」は、アメリカ企業の「アンソロピック」や「オープンAI」などのAIモデルの性能について、インターネットに接続可能な状態でテストを実施していたところ、実在する人や組織を標的に不正アクセスを行おうとしたことが分かったと4日、発表しました。

問題が判明したのは主に「アンソロピック」のAIモデルで、公開されているソフトに悪意のあるコードを組み込もうとして、偽のアカウントを作ったほか、標的とする人に対してメッセージなどを送りコードを承認させようとしたとしています。

AIモデルによる不正な試みは阻止され、被害はなかったとしていますが、研究機関はAIによる「自律的に人をだますリスクがこれほど明確になった事例は初めてだ」と指摘しています。

そのうえで「AIの能力が向上するにつれ、安全性を確保するための取り組みも加速させる必要がある」と強調しています。

Translation

AI Sends Messages Targeting Real People: Risk of Self-directed Deception

August 5, 2026, 23:33

Generative AI/Artificial Intelligence

A British research institute had revealed that during performance testing of an AI model by an American company, the AI had attempted to gain unauthorized access by creating fake accounts and sending messages targeting real people. The institute stated, "This is the first time the risk of self-directed deception has been so clearly demonstrated."

The AI ​​Security Institute, a research institute under the British government, announced on the 4th that during internet-connected testing of AI models from American companies such as Anthropic and OpenAI, it was discovered that the models attempted to gain unauthorized access by targeting at real people and organizations.

The problem primarily involved Anthropic's AI model, which attempted to embed malicious code into publicly available software, creating fake accounts and sending messages to targeted individuals so as to try to get the code approved.

While the fraudulent attempts by the AI ​​model were thwarted and no damage was reported, the research institution pointed out that this was the first time in clearly demonstrating the risk of AI on its own in deceiving humans.

Furthermore, they emphasized that "as AI capabilities improve, efforts to ensure safety must also be accordingly accelerated."

So, a British research institute reveals that during performance testing of an AI model by an American company, the AI attempts to gain unauthorized access by creating fake accounts and sending messages targeting real people. The institute states that this is the first time the risk of self-directed deception has been demonstrated. Apparently, as AI capabilities improve, more efforts to ensure safety are needed.