Open AI: Development of generative AI that reproduces human voices, there are also concerns about the risk of misuse

Recently NHK News on-line reported the following:

オープンAI 人の声を再現する生成AI開発 悪用リスク懸念も

2024年3月30日 21時54分

アメリカのベンチャー企業、オープンAIは、人の声を再現する生成AIを開発したと発表しました。病気などで、ことばがうまく話せない人の支援に役立つとする一方、選挙などで悪用されるリスクを避けるため、現時点では本格的な公開はしないとしています。

アメリカのベンチャー企業、オープンAIは29日、人の声を再現する生成AI「Voice Engine」を開発したと発表しました。

もとになる15秒の声を吹き込んだうえで、しゃべらせたい文章を入力すると、もとの声とそっくりな音声で文章を読み上げることができるということです。

また、もとの声のアクセントを保ったまま音声を外国語に翻訳することもできるとしています。

この生成AIについてオープンAIは、病気などで、ことばがうまく話せない人の支援や、企業の外国向けの情報発信などに活用できるとしています。

一方、人の声を再現する生成AIをめぐっては、選挙などで偽の情報を広げるために悪用される懸念も指摘されていて、オープンAIも「人の声に似た音声の生成に深刻なリスクがあることは認識している。特に選挙がある年は最重要事項だ」としています。

このため、現時点ではサービスの本格的な公開は行わず、著名人の声の再現を防止する仕組みを作るなど、悪用を防ぐ対策が必要だとしています。

Translation

Open AI, an American venture company, announced that it had developed a generative AI that could reproduce human voice. While the company said it could be useful for supporting people who were unable to speak the language due to illness or other reasons, they were not making it publicly available at this time to avoid the risk of it being misused in elections etc.

Open AI, an American venture company, announced on the 29th that it had developed a generative AI "Voice Engine" that reproduced the human voice.

After you recorded an original voice for 15 seconds, then keyed in a sentence that you wanted to say, this sentence would be read out in exactly like the original voice.

It was also possible to translate audio into foreign languages while preserving the original accent.

Regarding generative AI, this Open AI could be used to support people who could not speak the language well due to illness, etc., and for companies to disseminate information to foreign countries.

On the other hand, concerns had been raised regarding generative AI that it could be misused to spread false information in elections etc.  Open AI supposed that "We recognize that there are serious risks in producing sounds that resemble the human voice. This is especially important in years when there are elections."

For this reason, the service would not be fully released to the public at this time, and it was necessary to take measures to prevent abuse, such as creating a mechanism to prevent the reproduction of celebrity voices.

So, Open AI has developed a generative AI that could reproduce the human voice.  Such a device could help the making of fake new for the purpose of spreading false information or false message to confuse others. In future we should take extra care when we receive important voices messages.