Conversational Generator AI May Display Fake or Fraudulent Websites in its Answers; Caution Advised

Recently NHK News on-line reported the following:

対話型生成AI 回答に“偽サイトや詐欺サイト”表示か 注意を

2026年3月30日午後4時02分

生成AI・人工知能

活用が広がる対話型の生成AIが、回答の中で、偽のショッピングサイトや詐欺サイトを表示していたとみられるケースが確認されました。調査したセキュリティー会社は、AIは誤った回答をすることがあるとして注意を呼びかけています。

セキュリティー会社の「トレンドマイクロ」は、2月、1か月間、偽サイトや詐欺サイトなどに、利用者がどのような経路でアクセスしているのかを分析しました。

その結果、ChatGPTなど対話型の生成AIの回答に表示されたURLを通じて、アクセスしたとみられるケースが420件余り確認されました。

実際に会社が検証したところ、例えば、「動画生成アプリの公式サイトを教えてください」という質問に対し、AIの回答では、公式サイトではなく、クレジットカード情報などを入力させる詐欺サイトのURLが表示されたことがあったということです。

このほか、人気商品の販売サイトについて尋ねた際にも、偽のショッピングサイトが表示されたケースなどが確認されました。

セキュリティー会社によりますと、偽サイトは不正な操作などで検索サービスで上位に表示されることがあるため、AIがこうした情報を参照して、回答した可能性があるということです。

セキュリティー会社の本野賢一郎 詐欺対策チーフアナリストは「AIは誤った回答をすることがあると意識し、AIの回答だけを信じないで、公式サイトやほかの情報源でも調べることが大切だ」と話していました

Translation

Conversational Generator AI May Display Fake or Fraudulent Websites in its Answers; Caution Advised

March 30, 2026, 4:02 PM

Generative AI/Artificial Intelligence

Conversational generator AI, whose use was expanding, was found to have displayed fake shopping sites and fraudulent websites in its answers. The security company that investigated the issue was warning users that AI could sometimes provide incorrect answers.

Trend Micro (トレンドマイクロ), a security company, analyzed how users accessed fake or fraudulent websites in February for the whole month.

As a result, over 420 cases were identified where users appeared to have accessed these sites through URLs displayed in answers provided by conversational generative AI such as ChatGPT.

The company's verification revealed that in response to the questions such as "Please tell me the official website for the video generation app," the AI's answer sometimes displayed a URL to a fraudulent website that tricked users into entering credit card information, instead of displaying the official website.

In addition, cases were confirmed that when users asked about websites selling popular products, fake shopping sites were displayed.

According to the security company, fake websites could sometimes rank highly in search results due to fraudulent manipulation, and it's possible that the AI ​​referenced this information in providing the answer.

Kenichiro Motono (本野賢一郎), chief fraud prevention analyst at the security company stated that "It's important to be aware that AI can sometimes give incorrect answers, and not to trust only the AI's response. It's crucial to also check official websites and other sources of information."

So, conversational generator AI is found to have displayed fake shopping sites and fraudulent websites. Fake websites can sometimes rank highly in search results due to fraudulent manipulation, and it's possible that the AI relies this information and provides the answer. Apparently, we should not trust the AI fully.