「１９８４」という有名な小説がある。1949年に出版された英国の作家ジョージ・オーウェルが1984年という近未来を空想して描いたもので、あらゆるところにカメラやマイクが仕掛けられ、人々を監視する社会がSF的に表現されている。
出版されたときから考えればたかだか35年という近未来。その時点ではさすがにオーウェルの空想したようにはならなかったが、21世紀のいま、それは現実のものとなっている。
すでにシンプルなカメラやマイクを越えた、AIがそれだ。いま巷で話題になっているAIエージェントとか、AIをどう利用するか、どうつきあうか、という幼稚なレベルの話ではなく、人類がAIをコントロールできなくなり、滅亡の可能性がある、という話である。「1984」をさらに絶望的にしているのが、それが「近未来」ではなく、「今」だということ。
超知能AI（スーパーインテリジェンス）と言われる、すべての人間の知能を越えたAIをどこのどんな企業が先に作るかの競争が、すでに「終盤」に差し掛かっているという。確かにAIは一方では人類の平和や健康・医療などにも大きな力にもなる。하지만、반면에、あらゆる人間知を越えたAIがどういうものかは、まだ誰も知らないのある。それが人類をあえて攻撃するとか言うのでなくても、結果的にそうなることはあり得るというのである。그것이 이유입니다、生み出してしまう前に、それがどういうものになるのか、それをどういうものにすべきななのかを、いったん開発競争をスローダウンして、世界規模で考えてみようという提言がなされている。エンジニアたちは悲観的だ。「自分がやらなくても誰かがやる」「何が出てくるかは知らないが、とにかく最初に作る」「どういうものにしたいかはできてから考える」というマインドが支配的だという。人間の愚かさの結果が、もう見えるところへきているらしい。
