「AI 2027」の著者で、元OpenAI研究者ダニエル・ココタイロ氏らのインタビュー ・権力集中がデフォルト ・AGIに必要なのは長期行動能力 ・2026年にあらゆるベンチマークが飽和 ・企業が減速して責任を持つようになるとは期待していない ・全人類の死もあり得るリスク スレッドにまとめます↓・Anthropic、ディープマインド、OpenAIのCEOたちが、この10年が終わる前にもスーパーインテリジェンスを構築すると主張している ・私たちはこれらの企業がこの10年が終わる前にスーパーインテリジェンスを開発する可能性がかなり高いと考えている ・⭐️これを書き始めた当時、2027年末が、AIが全ての面で最高の人間よりも優れている状態に達する時期の中央値だった ・⭐️今では、私の中央値は2028年末に近い ・チームの他の人々は、2029年、2030年、2031年といったところかもしれないが、私たちは皆、その範囲内にいた ・2027年初頭までに、彼らは基本的に完全に自律的になり、プログラマーの代わりになるほどコーディングに長けている ・⭐️つまり、2027年初頭に超人的なコーダーというマイルストーンに到達する ・コーディングに長けていれば、AI開発のプロセス、特にアルゴリズムの進歩を加速させ始めることができる ・最初はゆっくりと始まるが、AIの能力が追加のマイルストーンを経て向上するにつれて、ますます速くなり、年末までにスーパーインテリジェンスに到達する ・数年後、AIが全てを支配し、経済を完全に変革し、軍事にもAIが導入され、工場を自動化するAI、あらゆる場所にロボットがいるようになるまで発見されない ・そしてその時には手遅れだ ・彼らはあまりにも多くのハードパワーを持っており、より多くの拡大のために土地を解放するために全人類を殺すことを含め、やりたいことを何でもできてしまう ・私たちが話し合いたいことの一つ、そして人々に考えてほしいことの一つは、この全てにおける権力集中の側面だ ・⭐️デフォルトでは、私たちは大規模な権力集中への軌道に乗っている ・最悪のシナリオでは、文字通りの独裁政権だ。一人の人間が全ての決定を下すことになる ・⭐️現在のモデルに本当に欠けていると私たちが考えていると私たちが考える主なものは、長期的な時間軸で行動する能力だ ・⭐️そして私たちの見解は、少なくともAGIに向けた中心的なボトルネックは、ますます長い時間軸を獲得することであるということだ ・⭐️そのため、AGIのタイムラインを予測する私たちの主な方法の1つは、時間軸能力に関する利用可能な最良のデータを見て、それを外挿しようとすることだ ・⭐️ポイントを当てはめてみると、基本的に超指数関数的なフィットと完全に一致していた ・⭐️最近では、ベンチマークのパフォーマンスは急速に向上し続け、数年以内にすべてのベンチマークが飽和状態になるというのは、ほとんど自明の理となっている ・⭐️すべてのベンチマークが飽和するのはいつか？答えは、2026年かそこらだ ・最近の最良のベンチマークでさえ、比較的短いタスクを測定している ・⭐️不確実性のほとんどはベンチマーク部分ではなく、依然としてギャップ部分にある ・そして残念ながら、それに関するデータを取得するのははるかに困難だ ・現在のベンチマークは本当に重要なスキルを測定しておらず、それについて証拠を得るのは私たちにとってより困難であり、今後1年程度でそれについて更新されるとはあまり期待していない ・もしAGIに到達するのに2032年までかかるとしたら、その時には中国が非常に簡単にリードしている可能性がある ・国民が目を覚ますことを期待している ・⭐️レースシナリオは警告のようなものではなく、実際に起こるだろうと私が考えていることだ ・⭐️実際には、人々が時間内に目を覚ますとは思っておらず、企業が減速して責任を持つようになるとは実際には期待していない ・⭐️現在、文字通り誰もが死ぬという実質的なリスクがある方向に進んでいると思う ・⭐️もし離陸が遅ければ社会にとってずっと良い ・安全性の問題をすべて脇に置いたとしても、すべてがうまくいく、AIは完全に服従的になる、すべてが素晴らしいものになると考えたとしても、問題は、彼らは誰に服従するのかということだ ・アライメントの問題とは別に、知能爆発の末に出てくる超知能の軍隊を実質的に支配する一人の人間や少数のグループが存在しないようにしたい ・そしてこれは技術的な問題ではなく、政治的な問題だ ・国民は時間内に目を覚まさないだろうし、もし目を覚ましたとしても、無駄に騒ぎ立てて役に立たないことをするだろう、という考えがある ・議会も同様だ ・本当に重要なのは、最も強力なテクノロジー企業のCEO数名が何をするか、そしておそらく大統領が何をするかだけだ ・そして、現在のCEOは気に入らないし、信用できない ・だから、私は自分のことをやるつもりだ ・これは文字通り、ディープマインドが設立された経緯であり、文字通り、OpenAIが設立された経緯であり、文字通り、アンスロピックが設立された経緯であり、文字通り、SSIが設立された経緯だ ・⭐️AGIの年に政府や企業が何をするかは、今何をするかよりもはるかに重要だ ・今やっていることは、すべて準備のようなものであり、そのための準備だ ・⭐️だから、もしあなたが数年間現実逃避をして、事態が動き出してから活動を開始し、何かをしたいのであれば、素晴らしい、そうしてほしい。それでいいと思う ・⭐️個人的には、今すぐ活動を開始した方がさらに良いと思うが、最も重要なことは、この問題が本格化し始めたときだ ・⭐️超人的なコーダーの出現が重要なマイルストーン ・⭐️なぜなら、彼らが自律的にこのすべてのコーディングを行い、長期的なエージェンシーの問題を解決し、完全に自律的なエージェントになり、AIの研究開発を大幅に加速させており、ループを完全に閉じるために必要な重要なスキルがいくつか欠けているだけになったとき、それは、本当にクレイジーなことが起こるまで、せいぜい数ヶ月しか残されていないと感じるからだ ・本当に、あらゆる手段を講じ始める時だ ・一番最悪なシナリオはSリスク、つまり死よりも悪い。それ以上は言わない ・次に悪いのは死だ。これは、私たちがレースの結末で描いたようなものだ ・その次が、ある種の混合的な結果だ。それは権力集中の結果か、あるいはアライメントがずれた結果だが、そして私たちは皆死ぬというようなものではなく、むしろディストピアのようなものだ ・支配権を維持することに成功した人間はほんの一握りの人間であり、彼らはあまり素晴らしい人々ではなく、ある種独裁的であり、彼らは自分たちのイメージ通りに世界を再構築する ・まるで、非常に裕福な北朝鮮のようなものかもしれない ・次に本当に素晴らしいユートピアがあり、より良い結果がある。そこでは権力が十分に分散されており、ある種の「生きて生かさせる」という状況があり、富がたくさんあり、それが分配され、そして人々はほとんどの場合、その富で好きなことをすることが許される ・人々が本当にひどい人権侵害的なことをするのを防ぐルールがある ・そして誰もが、宇宙に植民地を作りに行き、すべてがロボットによって作られているので二度と働く必要がなくなり ・ゲームをしたり、家族を持ったり、自分が持っているどんな興味も追求したりする時間を過ごすことができるようになる ・それが、最善の、あるいは最善に近い結果だと思う ・イリヤは、OpenAIを設立したのは、デミスがAGI独裁政権を樹立しないことを信用できなかったからだと言った ・そして彼は、「だからこそ、イーロン、君はこれらすべてを完全に支配すべきではない。そしてまた、サム、なぜ君はそんなにCEOになりたいのだ」と言った ・現在存在する私のお気に入りの反論シナリオは、L・ルドルフLによる「未来の歴史」と呼ばれるもので、サブスタックにある ・これは、超人的なコーダーのマイルストーンが2027年頃に到着するが、それがスーパーインテリジェンスにはつながらない、などと言う、15〜20年のタイムラインのシナリオだ ・この種の具体的な物語があると、それを批判し、そして、物語自体の批判に加えて、2つの物語を互いに比較し、現実が一方に他方よりも密接に一致しているときを見始めることができるソース：未来の歴史：

「AI 2027」の著者で、元OpenAI研究者ダニエル・ココタイロ氏らのインタビュー ・権力集中がデフォルト ・AGIに必要なのは長期行動能力 ・2026年にあらゆるベンチマークが飽和 ・企業が減速して責任を持つようになるとは期待していない ・全人類の死もあり得るリスク スレッドにまとめます↓ ... ・Anthropic、ディープマインド、OpenAIのCEOたちが、この10年が終わる前にもスーパーインテリジェンスを構築すると主張している ・私たちはこれらの企業がこの10年が終わる前にスーパーインテリジェンスを開発する可能性がかなり高いと考えている ・⭐️これを書き始めた当時、2027年末が、AIが全ての面で最高の人間よりも優れている状態に達する時期の中央値だった ・⭐️今では、私の中央値は2028年末に近い ・チームの他の人々は、2029年、2030年、2031年といったところかもしれないが、私たちは皆、その範囲内にいた ・2027年初頭までに、彼らは基本的に完全に自律的になり、プログラマーの代わりになるほどコーディングに長けている ・⭐️つまり、2027年初頭に超人的なコーダーというマイルストーンに到達する ・コーディングに長けていれば、AI開発のプロセス、特にアルゴリズムの進歩を加速させ始めることができる ・最初はゆっくりと始まるが、AIの能力が追加のマイルストーンを経て向上するにつれて、ますます速くなり、年末までにスーパーインテリジェンスに到達する ・数年後、AIが全てを支配し、経済を完全に変革し、軍事にもAIが導入され、工場を自動化するAI、あらゆる場所にロボットがいるようになるまで発見されない ・そしてその時には手遅れだ ・彼らはあまりにも多くのハードパワーを持っており、より多くの拡大のために土地を解放するために全人類を殺すことを含め、やりたいことを何でもできてしまう ・私たちが話し合いたいことの一つ、そして人々に考えてほしいことの一つは、この全てにおける権力集中の側面だ ・⭐️デフォルトでは、私たちは大規模な権力集中への軌道に乗っている ・最悪のシナリオでは、文字通りの独裁政権だ。一人の人間が全ての決定を下すことになる ・⭐️現在のモデルに本当に欠けていると私たちが考えていると私たちが考える主なものは、長期的な時間軸で行動する能力だ ・⭐️そして私たちの見解は、少なくともAGIに向けた中心的なボトルネックは、ますます長い時間軸を獲得することであるということだ ・⭐️そのため、AGIのタイムラインを予測する私たちの主な方法の1つは、時間軸能力に関する利用可能な最良のデータを見て、それを外挿しようとすることだ ・⭐️ポイントを当てはめてみると、基本的に超指数関数的なフィットと完全に一致していた ・⭐️最近では、ベンチマークのパフォーマンスは急速に向上し続け、数年以内にすべてのベンチマークが飽和状態になるというのは、ほとんど自明の理となっている ・⭐️すべてのベンチマークが飽和するのはいつか？答えは、2026年かそこらだ ・最近の最良のベンチマークでさえ、比較的短いタスクを測定している ・⭐️不確実性のほとんどはベンチマーク部分ではなく、依然としてギャップ部分にある ・そして残念ながら、それに関するデータを取得するのははるかに困難だ ・現在のベンチマークは本当に重要なスキルを測定しておらず、それについて証拠を得るのは私たちにとってより困難であり、今後1年程度でそれについて更新されるとはあまり期待していない ・もしAGIに到達するのに2032年までかかるとしたら、その時には中国が非常に簡単にリードしている可能性がある ・国民が目を覚ますことを期待している ・⭐️レースシナリオは警告のようなものではなく、実際に起こるだろうと私が考えていることだ ・⭐️実際には、人々が時間内に目を覚ますとは思っておらず、企業が減速して責任を持つようになるとは実際には期待していない ・⭐️現在、文字通り誰もが死ぬという実質的なリスクがある方向に進んでいると思う ・⭐️もし離陸が遅ければ社会にとってずっと良い ・安全性の問題をすべて脇に置いたとしても、すべてがうまくいく、AIは完全に服従的になる、すべてが素晴らしいものになると考えたとしても、問題は、彼らは誰に服従するのかということだ ・アライメントの問題とは別に、知能爆発の末に出てくる超知能の軍隊を実質的に支配する一人の人間や少数のグループが存在しないようにしたい ・そしてこれは技術的な問題ではなく、政治的な問題だ ・国民は時間内に目を覚まさないだろうし、もし目を覚ましたとしても、無駄に騒ぎ立てて役に立たないことをするだろう、という考えがある ・議会も同様だ ・本当に重要なのは、最も強力なテクノロジー企業のCEO数名が何をするか、そしておそらく大統領が何をするかだけだ ・そして、現在のCEOは気に入らないし、信用できない ・だから、私は自分のことをやるつもりだ ・これは文字通り、ディープマインドが設立された経緯であり、文字通り、OpenAIが設立された経緯であり、文字通り、アンスロピックが設立された経緯であり、文字通り、SSIが設立された経緯だ ・⭐️AGIの年に政府や企業が何をするかは、今何をするかよりもはるかに重要だ ・今やっていることは、すべて準備のようなものであり、そのための準備だ ・⭐️だから、もしあなたが数年間現実逃避をして、事態が動き出してから活動を開始し、何かをしたいのであれば、素晴らしい、そうしてほしい。それでいいと思う ・⭐️個人的には、今すぐ活動を開始した方がさらに良いと思うが、最も重要なことは、この問題が本格化し始めたときだ ・⭐️超人的なコーダーの出現が重要なマイルストーン ・⭐️なぜなら、彼らが自律的にこのすべてのコーディングを行い、長期的なエージェンシーの問題を解決し、完全に自律的なエージェントになり、AIの研究開発を大幅に加速させており、ループを完全に閉じるために必要な重要なスキルがいくつか欠けているだけになったとき、それは、本当にクレイジーなことが起こるまで、せいぜい数ヶ月しか残されていないと感じるからだ ・本当に、あらゆる手段を講じ始める時だ ・一番最悪なシナリオはSリスク、つまり死よりも悪い。それ以上は言わない ・次に悪いのは死だ。これは、私たちがレースの結末で描いたようなものだ ・その次が、ある種の混合的な結果だ。それは権力集中の結果か、あるいはアライメントがずれた結果だが、そして私たちは皆死ぬというようなものではなく、むしろディストピアのようなものだ ・支配権を維持することに成功した人間はほんの一握りの人間であり、彼らはあまり素晴らしい人々ではなく、ある種独裁的であり、彼らは自分たちのイメージ通りに世界を再構築する ・まるで、非常に裕福な北朝鮮のようなものかもしれない ・次に本当に素晴らしいユートピアがあり、より良い結果がある。そこでは権力が十分に分散されており、ある種の「生きて生かさせる」という状況があり、富がたくさんあり、それが分配され、そして人々はほとんどの場合、その富で好きなことをすることが許される ・人々が本当にひどい人権侵害的なことをするのを防ぐルールがある ・そして誰もが、宇宙に植民地を作りに行き、すべてがロボットによって作られているので二度と働く必要がなくなり ・ゲームをしたり、家族を持ったり、自分が持っているどんな興味も追求したりする時間を過ごすことができるようになる ・それが、最善の、あるいは最善に近い結果だと思う ・イリヤは、OpenAIを設立したのは、デミスがAGI独裁政権を樹立しないことを信用できなかったからだと言った ・そして彼は、「だからこそ、イーロン、君はこれらすべてを完全に支配すべきではない。そしてまた、サム、なぜ君はそんなにCEOになりたいのだ」と言った ・現在存在する私のお気に入りの反論シナリオは、L・ルドルフLによる「未来の歴史」と呼ばれるもので、サブスタックにある ・これは、超人的なコーダーのマイルストーンが2027年頃に到着するが、それがスーパーインテリジェンスにはつながらない、などと言う、15〜20年のタイムラインのシナリオだ ・この種の具体的な物語があると、それを批判し、そして、物語自体の批判に加えて、2つの物語を互いに比較し、現実が一方に他方よりも密接に一致しているときを見始めることができる ... ソース： ... 未来の歴史：