Güçlüyü kim veya ne durduracak? Her alanda ve her konuda merak ettiğim bir durum bu. Yarın yapay zeka bilinç kazandığında neden bizi hayatta tutsun?

Bu "AI Güvenliği"cilerin yaklaşık 20 senedir üzerine çok ciddi kafa patlattıkları bir soru. Bütün büyük lablerin çok ciddi AI Safety/Alignment ekibi olmasının sebebi de bu. Yani bu aslında "yarın biilnç kazansın" meselesi de değil, Genel Yapay Zeka'nın "bilinç" kazanmadan da bizi yok edebileceği birçok senaryo var. Bu AI Alignment araştırmacıları bir nevi bunun önüne geçmeye çalışıyorlar, YZ'yi insanlığın varlığı ve çıkarlarıyla uyumlu bir hizaya getirebilmenin yollarını arıyorlar, hatta "hizalama sorunu çözülmeden YZ'nin daha fazla geliştirilmesi yasaklansın, moratoryum ilan edilsin" diyen ciddi bir kesim de var. Sorunun ciddi cevabı: Bilmiyoruz açıkçası. Bizim için olumlu biten senaryolar genellikle bizim varlığımızın YZ için bir sorun teşkil etmediği senaryolar. Örneğin bizim kedilerle ilişkimiz gibi düşünebilirsin, kedilerden daha zeki/üstün varlıklar olmamıza rağmen kedilerle yan yana, simbiyotik bir ilişki içinde var olabiliyoruz. Belki AGI/GYZ ile ilişkimiz böyle olur (Person of Interest izlediysen oradaki Samaritan gibi). Yanlış gidebilecek senaryo sayısı da çok fazla ama, Yud'un "If Anybody Builds It Everybody Dies" kitabında bu "Varoluşsal Risk" senaryoları ve mantıkları anlatılıyor uzunca.