Ai masih menjadi momok yang menakutkan bagi semua orang, bukan hanya sebuah cerita fiksi ilmiah, jadi bagaimana kita bisa memastikan AI akan tetap “ramah” bagi si pembuat?

Kita tarik kebalang setengah miliar tahun yang lalu ketika kumpulan kotoran, ketika sebuah molekul membuat salinannya sendiri dengan demikian leluhur tertingi dari semua kehidupan di bumu. Itu dimulai empat juta tahun yang lalu ketika volume otak mulai berkembang dengan cepat di garis hominid.

Lima puluh ribu tahun yang lalu dengan munculnya Homo sapiens sapiens.

Sepuluh ribu tahun yang lalu dengan penemuan peradaban.

Lima ratus tahun yang lalu dengan penemuan mesin cetak. Kehilangan diri Anda dalam sebuah kisah yang luar biasa

Lima puluh tahun yang lalu dengan penemuan komputer.

Dalam waktu kurang dari tiga puluh tahun, itu akan berakhir.

itu akan berakhir. Jaan Tallinn menemukan kata-kata ini pada tahun 2007, dalam sebuah esai online berjudul Staring into the Singularity . “Itu” adalah peradaban manusia. Kemanusiaan akan lenyap, demikian prediksi penulis esai itu, dengan munculnya superintelijen, atau AI, yang melampaui kecerdasan tingkat manusia dalam beragam bidang.

Tallinn, seorang programmer komputer kelahiran Estonia, memiliki latar belakang dalam fisika dan kecenderungan untuk mendekati kehidupan seperti satu masalah pemrograman besar. Pada tahun 2003, ia ikut mendirikan Skype, mengembangkan backend untuk aplikasi tersebut. Dia menguangkan sahamnya setelah eBay membelinya dua tahun kemudian, dan sekarang dia mencari sesuatu untuk dilakukan. Menatap Singularitas mengerjakan kode komputer, fisika kuantum dan kutipan Calvin dan Hobbes. Dia ketagihan.

Tallinn segera menemukan bahwa pengarangnya, Eliezer Yudkowsky, seorang ahli teori otodidak, telah menulis lebih dari 1.000 esai dan blogpost, banyak dari mereka mengabdikan diri untuk superintelijen. Dia menulis sebuah program untuk mengikis tulisan-tulisan Yudkowsky dari internet, memesannya secara kronologis dan memformatnya untuk iPhone-nya. Kemudian dia menghabiskan sebagian besar tahun membacanya.

Istilah kecerdasan buatan, atau simulasi kecerdasan di komputer atau mesin, diciptakan kembali pada tahun 1956, hanya satu dekade setelah penciptaan komputer digital elektronik pertama. Harapan untuk lapangan pada awalnya tinggi, tetapi pada 1970-an, ketika prediksi awal tidak berjalan, “AI musim dingin” muncul. Ketika Tallinn menemukan esai Yudkowsky, AI sedang menjalani kebangkitan. Para ilmuwan sedang mengembangkan AI yang unggul di bidang-bidang tertentu, seperti menang dalam catur, membersihkan lantai dapur, dan mengenali ucapan manusia. AI “sempit” seperti itu, demikian sebutannya, memiliki kemampuan manusia super, tetapi hanya dalam bidang dominasi khusus mereka. AI yang bermain catur tidak dapat membersihkan lantai atau membawa Anda dari titik A ke titik B. AI yang sangat cerdas, Tallinn menjadi percaya, akan menggabungkan berbagai keterampilan dalam satu entitas. Lebih gelap lagi, itu mungkin juga menggunakan data yang dihasilkan oleh manusia yang memiliki smartphone untuk unggul dalam manipulasi sosial.

Membaca artikel Yudkowsky, Tallinn menjadi yakin bahwa kecerdasan super dapat menyebabkan ledakan atau pelarian AI yang dapat mengancam keberadaan manusia – bahwa ultrasmart AI akan mengambil tempat kita di tangga evolusi dan mendominasi kita dengan cara kita sekarang mendominasi kera. Atau, lebih buruk lagi, basmi kita.

Setelah menyelesaikan esai terakhir, Tallinn mengirim email ke Yudkowsky – semuanya huruf kecil, seperti gayanya. “Aku jaan, salah satu insinyur pendiri skype,” tulisnya. Akhirnya ia sampai pada titik: “Saya setuju bahwa … mempersiapkan acara AI umum yang melampaui kecerdasan manusia adalah salah satu tugas utama bagi kemanusiaan.” Ia ingin membantu.

Ketika Tallinn terbang ke Bay Area untuk pertemuan lain seminggu kemudian, ia bertemu dengan Yudkowsky, yang tinggal di dekatnya, di sebuah kafe di Millbrae, California. Kebersamaan mereka berlangsung hingga empat jam. “Dia sebenarnya, benar-benar memahami konsep dan detail yang mendasarinya,” kata Yudkowsky baru-baru ini. “Ini sangat langka.” Setelah itu, Tallinn menulis cek sebesar $ 5.000 (Rp. 71,2jt) kepada Singularity Institute for Artificial Intelligence, organisasi nirlaba di mana Yudkowsky adalah peneliti. (Organisasi itu berganti nama menjadi Machine Intelligence Research Institute , atau Miri, pada 2013.) Sejak itu, Tallinn memberi lembaga itu lebih dari $ 600.000.

Pertemuan dengan Yudkowsky membawa tujuan Tallinn, mengirimnya ke sebuah misi untuk menyelamatkan kita dari ciptaan kita sendiri. Dia memulai perjalanan hidup, memberikan ceramah di seluruh dunia tentang ancaman yang ditimbulkan oleh kecerdasan super. Namun, sebagian besar, ia mulai mendanai penelitian ke dalam metode yang mungkin memberi jalan keluar bagi umat manusia: apa yang disebut AI bersahabat. Itu tidak berarti mesin atau agen sangat ahli dalam mengobrol tentang cuaca, atau bahwa ia mengingat nama-nama anak Anda – meskipun AI yang sangat cerdas mungkin dapat melakukan kedua hal itu. Itu tidak berarti dimotivasi oleh altruisme atau cinta. Kesalahan umum adalah mengasumsikan bahwa AI memiliki dorongan dan nilai manusia. “Ramah” berarti sesuatu yang jauh lebih mendasar: bahwa mesin masa depan tidak akan memusnahkan kita dalam upaya mereka untuk mencapai tujuan mereka.

Pada musim semi, saya bergabung dengan Tallinn untuk makan di ruang makan Jesus College di Cambridge University. Ruang seperti gereja itu dihiasi dengan jendela-jendela kaca patri, cetakan emas, dan lukisan-lukisan minyak para lelaki dengan rambut palsu.

Tallinn duduk di meja mahoni yang tebal, mengenakan pakaian kasual Lembah Silikon: celana jins hitam, kaus oblong, dan sepatu kanvas. Langit-langit kayu berkubah memanjang tinggi di atas guncangan rambutnya yang berwarna abu-abu. Di usia 47 tahun, Tallinn dalam beberapa hal adalah wirausaha teknologi buku teks Anda. Dia berpikir bahwa berkat kemajuan sains (dan jika AI tidak menghancurkan kita), dia akan hidup selama “bertahun-tahun”. Ketika keluar clubbing dengan peneliti, ia bahkan lebih lama dari mahasiswa pascasarjana muda. Kekhawatirannya tentang kecerdasan super adalah umum di antara kelompoknya. Salah satu pendiri PayPal, Peter Thiel , yayasan telah memberikan $ 1,6 juta kepada Miri dan, pada 2015, pendiri Tesla, Elon Musk, menyumbangkan $ 10 juta kepada Future of Life Institute, sebuah organisasi keselamatan teknologi di Cambridge, Massachusetts. Tapi pintu masuk Tallinn ke dunia yang dijernihkan ini muncul di balik tirai besi pada 1980-an, ketika ayah seorang teman sekelas dengan pekerjaan pemerintah memberi beberapa anak-anak yang cerah akses ke komputer mainframe. Setelah Estonia merdeka, ia mendirikan perusahaan video-game. Saat ini, Tallinn masih tinggal di ibu kotanya – juga disebut Tallinn – bersama istrinya dan yang termuda dari keenam anaknya. Ketika dia ingin bertemu dengan para peneliti, dia sering menerbangkannya ke wilayah Baltik.

Strategi pemberiannya metodis, seperti hampir semua hal lain yang dia lakukan. Dia menyebarkan uangnya di antara 11 organisasi, masing-masing bekerja pada pendekatan yang berbeda untuk keselamatan AI, dengan harapan orang akan tetap bertahan. Pada 2012, ia mendirikan Pusat Studi Eksistensial Risiko Cambridge (CSER) di Cambridge dengan pengeluaran awal mendekati $ 200.000.

Jaan Tallinn di Futurefest di London pada 2013. Jaan Tallinn di Futurefest di London pada 2013. Foto: Michael Bowles / Rex / Shutterstock Risiko eksistensial – atau risiko-X, sebagaimana Tallinn menyebutnya – adalah ancaman terhadap kelangsungan hidup manusia. Selain AI, 20-aneh peneliti di CSER mempelajari perubahan iklim, perang nuklir, dan bioweapon. Tetapi, bagi Tallinn, disiplin-disiplin lain itu “benar-benar hanya obat-obatan gerbang”. Kekhawatiran tentang ancaman yang lebih luas diterima, seperti perubahan iklim, mungkin menarik orang masuk. Kengerian mesin superintel mengambil alih dunia, ia berharap, akan meyakinkan mereka untuk tetap tinggal. Dia mengunjungi Cambridge untuk sebuah konferensi karena dia ingin komunitas akademik menganggap keselamatan AI lebih serius.

Di Jesus College, teman-teman makan kami adalah bermacam-macam pengunjung konferensi, termasuk seorang wanita dari Hong Kong yang belajar robotika dan seorang pria Inggris yang lulus dari Cambridge pada 1960-an. Pria yang lebih tua itu bertanya kepada semua orang di meja tempat mereka kuliah. (Jawaban Tallinn, Universitas Tartu Estonia, tidak membuatnya terkesan.) Ia kemudian mencoba mengarahkan pembicaraan ke arah berita. Tallinn menatapnya kosong. “Saya tidak tertarik pada risiko jangka pendek,” katanya.

Tallinn mengubah topik pembicaraan menjadi ancaman kecerdasan super. Ketika tidak berbicara dengan programmer lain, dia default ke metafora, dan dia berlari melalui suite-nya: AI canggih dapat membuang kita secepat manusia menebang pohon. Superintelijen bagi kita sama seperti kita bagi gorila.

Seorang AI akan membutuhkan tubuh untuk mengambil alih, kata pria yang lebih tua. Tanpa semacam selubung fisik, bagaimana mungkin bisa mendapatkan kontrol fisik?

Tallinn telah menyiapkan metafora lain: “Tempatkan saya di ruang bawah tanah dengan koneksi internet, dan saya bisa melakukan banyak kerusakan,” katanya. Lalu dia menggigit risotto.

E sangat AI, apakah itu Roomba atau salah satu keturunannya yang mendominasi dunia, didorong oleh hasil. Pemrogram menetapkan sasaran-sasaran ini, bersama dengan serangkaian aturan tentang cara mengejar mereka. Advanced AI tidak perlu perlu diberikan tujuan penguasaan dunia untuk mencapainya – itu bisa saja kebetulan. Dan sejarah pemrograman komputer penuh dengan kesalahan kecil yang memicu bencana. Pada 2010, misalnya, ketika seorang pedagang dengan perusahaan reksa dana Waddell & Reed menjual ribuan kontrak berjangka, perangkat lunak perusahaan meninggalkan variabel kunci dari algoritma yang membantu melaksanakan perdagangan. Hasilnya adalah ” flash crash ” triliun dolar AS.

Para peneliti Tallinn dana percaya bahwa jika struktur hadiah dari manusia super AI tidak diprogram dengan benar, bahkan tujuan jinak dapat memiliki tujuan berbahaya. Salah satu contoh terkenal, yang dikemukakan oleh filsuf Universitas Oxford Nick Bostrom dalam bukunya Superintelligence , adalah agen fiksi yang diarahkan untuk membuat sebanyak mungkin penjepit kertas. AI mungkin memutuskan bahwa atom-atom dalam tubuh manusia akan lebih baik digunakan sebagai bahan baku.

Pandangan Tallinn memiliki bagian dari para pencela, bahkan di antara komunitas orang-orang yang peduli dengan keamanan AI. Beberapa objek yang terlalu dini untuk khawatir tentang membatasi AI super-intelijen ketika kita belum memahaminya. Yang lain mengatakan bahwa fokus pada aktor teknologi jahat mengalihkan perhatian dari masalah paling mendesak yang dihadapi lapangan, seperti fakta bahwa mayoritas algoritma dirancang oleh orang kulit putih, atau berdasarkan data yang bias terhadap mereka . “Kita berada dalam bahaya membangun dunia yang tidak ingin kita tinggali jika kita tidak mengatasi tantangan itu dalam waktu dekat,” kata Terah Lyons, direktur eksekutif Kemitraan untuk AI, sebuah konsorsium industri teknologi yang berfokus tentang keamanan AI dan masalah lainnya. (Beberapa institut yang didukung Tallinn adalah anggota.) Namun, ia menambahkan, beberapa tantangan jangka pendek yang dihadapi para peneliti, seperti menyingkirkan bias algoritmik, adalah pendahulu bagi yang mungkin dilihat manusia dengan AI yang sangat cerdas.

Tallinn tidak begitu yakin. Dia membantah bahwa AI superintensif membawa ancaman unik. Pada akhirnya, ia berharap bahwa komunitas AI dapat mengikuti jejak gerakan anti nuklir di tahun 1940-an. Setelah pemboman Hiroshima dan Nagasaki, para ilmuwan bersatu untuk mencoba membatasi pengujian nuklir lebih lanjut. “Para ilmuwan Proyek Manhattan bisa mengatakan: ‘Lihat, kami melakukan inovasi di sini, dan inovasi selalu baik, jadi mari kita terjun ke depan,'” katanya kepada saya. “Tapi mereka lebih bertanggung jawab dari itu.”

Tallinn memperingatkan bahwa pendekatan apa pun untuk keselamatan AI akan sulit dilakukan dengan benar. Jika AI cukup pintar, ia mungkin memiliki pemahaman yang lebih baik tentang kendala daripada pembuatnya. Bayangkan, katanya, “terbangun di penjara yang dibangun oleh sekelompok bocah berusia lima tahun yang buta.” Seperti itulah rasanya bagi AI yang sangat cerdas yang dikekang oleh manusia. Ahli teori Yudkowsky menemukan bukti ini mungkin benar ketika, mulai tahun 2002, ia melakukan sesi obrolan di mana ia memainkan peran AI yang tertutup dalam kotak, sementara rotasi orang lain memainkan penjaga gerbang yang bertugas menjaga AI tetap masuk. Tiga dari lima kali, Yudkowsky – seorang manusia belaka – mengatakan dia meyakinkan penjaga gerbang untuk membebaskannya.

Eksperimennya tidak membuat para peneliti enggan merancang kotak yang lebih baik. Para peneliti yang didanai Tallinn sedang mengejar berbagai macam strategi, dari yang praktis hingga yang tampaknya dibuat-buat. Beberapa berteori tentang AI tinju, baik secara fisik, dengan membangun struktur aktual untuk menampungnya, atau dengan memprogram dalam batas-batas apa yang dapat dilakukannya. Yang lain mencoba mengajarkan AI untuk mematuhi nilai-nilai kemanusiaan. Beberapa bekerja pada off-switch terakhir-parit. Salah satu peneliti yang mempelajari ketiganya adalah ahli matematika dan filsuf Stuart Armstrong di Future of Humanity Institute , yang disebut Tallinn sebagai “tempat paling menarik di alam semesta.” (Tallinn telah memberi FHI lebih dari $ 310.000.)

Armstrong adalah salah satu dari sedikit peneliti di dunia yang berfokus penuh waktu pada keselamatan AI. Ketika saya bertemu dia untuk minum kopi di Oxford, dia mengenakan kemeja rugby yang tidak dikunci dan terlihat seperti seseorang yang menghabiskan hidupnya di balik layar, dengan wajah pucat dibingkai oleh rambut pirang yang berantakan. Dia menambahkan penjelasannya dengan campuran referensi budaya populer dan matematika yang membingungkan. Ketika saya bertanya kepadanya seperti apa rasanya berhasil di keamanan AI, dia berkata: “Sudahkah Anda menonton film L ego ? Segalanya menarik.” Filsuf Nick Bostrom. Filsuf Nick Bostrom. Foto: Getty Salah satu jenis penelitian Armstrong melihat pada pendekatan khusus untuk tinju yang disebut “oracle” AI. Dalam sebuah makalah 2012 dengan Nick Bostrom, yang ikut mendirikan FHI, ia mengusulkan tidak hanya membungkam kecerdasan super dalam tangki penampungan – struktur fisik – tetapi juga membatasi untuk menjawab pertanyaan, seperti papan Ouija yang benar-benar cerdas. Bahkan dengan batasan-batasan ini, AI akan memiliki kekuatan besar untuk membentuk kembali nasib manusia dengan secara halus memanipulasi para interogatornya. Untuk mengurangi kemungkinan ini terjadi, Armstrong mengusulkan batas waktu untuk percakapan, atau melarang pertanyaan yang mungkin mengganggu tatanan dunia saat ini. Dia juga telah menyarankan memberikan langkah-langkah proxy oracle untuk bertahan hidup manusia, seperti rata-rata industri Dow Jones atau jumlah orang yang menyeberang jalan di Tokyo, dan mengatakan itu untuk menjaga ini tetap stabil.

Pada akhirnya, Armstrong percaya, mungkin perlu untuk membuat, seperti yang ia sebut dalam satu kertas, “tombol merah besar”: baik saklar fisik, atau mekanisme yang diprogram menjadi AI untuk secara otomatis mematikan sendiri jika terjadi pelarian. Namun merancang sakelar seperti itu masih jauh dari mudah. Bukan hanya AI canggih yang tertarik pada pemeliharaan diri dapat mencegah tombol ditekan. Bisa juga menjadi penasaran mengapa manusia merancang tombol, mengaktifkannya untuk melihat apa yang terjadi, dan menjadikan dirinya tidak berguna. Pada 2013, seorang programmer bernama Tom Murphy VII mendesain AI yang bisa mengajar dirinya sendiri untuk bermain game Nintendo Entertainment System. Bertekad untuk tidak kalah di Tetris, AI hanya menekan jeda – dan membuat game tetap beku. “Sungguh, satu-satunya langkah yang menang bukanlah bermain,” Murphy mengamati dengan masam, dalam makalah tentang ciptaannya.

Agar strategi untuk berhasil, AI harus tidak tertarik pada tombol, atau, seperti Tallinn katakan: “Itu harus menetapkan nilai yang sama kepada dunia di mana itu tidak ada dan dunia di mana itu ada.” Tetapi bahkan jika para peneliti dapat mencapainya, ada tantangan lain. Bagaimana jika AI telah menyalin sendiri ribuan kali di internet?

Pendekatan yang paling menggairahkan peneliti adalah menemukan cara untuk membuat AI mematuhi nilai-nilai manusia – bukan dengan memprogramnya, tetapi dengan mengajar AI untuk mempelajarinya. Di dunia yang didominasi oleh politik partisan, orang sering memikirkan cara-cara di mana prinsip-prinsip kita berbeda. Tetapi, Tallinn memberi tahu saya, manusia memiliki banyak kesamaan: “Hampir semua orang menghargai kaki kanan mereka. Kami hanya tidak memikirkannya. ”Harapannya adalah bahwa AI mungkin diajarkan untuk memahami aturan yang tidak dapat diubah.

Dalam prosesnya, AI perlu belajar dan menghargai sisi manusia yang kurang logis: bahwa kita sering mengatakan satu hal dan memaksudkan hal lain, bahwa sebagian preferensi kita bertentangan dengan yang lain, dan bahwa orang kurang dapat diandalkan ketika mabuk. Terlepas dari tantangan, Tallinn percaya, itu patut dicoba karena taruhannya sangat tinggi. “Kita harus memikirkan beberapa langkah ke depan,” katanya. “Menciptakan AI yang tidak sesuai minat kita akan menjadi kesalahan yang mengerikan.” Pada malam terakhirnya di Cambridge, saya bergabung dengan Tallinn dan dua peneliti untuk makan malam di restoran steak. Seorang pelayan duduk kelompok kami di ruang bawah tanah yang putih dengan suasana seperti gua. Dia memberi kami menu satu halaman yang menawarkan tiga jenis mash. Sepasang suami istri duduk di meja di sebelah kami, dan kemudian beberapa menit kemudian meminta untuk pindah ke tempat lain. “Itu terlalu sesak,” keluh wanita itu. Saya memikirkan komentar Tallinn tentang kerusakan yang bisa dia dapatkan jika dikunci di ruang bawah tanah dengan koneksi internet. Di sinilah kami, di dalam kotak. Seolah diberi petunjuk, para lelaki itu memikirkan cara untuk keluar. Para tamu Tallinn termasuk mantan peneliti genomik Seán Ó hÉigeartaigh , yang adalah direktur eksekutif CSER, dan Matthijs Maas, seorang peneliti AI di University of Copenhagen. Mereka bercanda tentang sebuah ide untuk film aksi kutu buku berjudul Superintelligence v Blockchain!, Dan membahas sebuah game online bernama

Pada malam terakhirnya di Cambridge, saya bergabung dengan Tallinn dan dua peneliti untuk makan malam di restoran steak. Seorang pelayan duduk kelompok kami di ruang bawah tanah yang putih dengan suasana seperti gua. Dia memberi kami menu satu halaman yang menawarkan tiga jenis mash. Sepasang suami istri duduk di meja di sebelah kami, dan kemudian beberapa menit kemudian meminta untuk pindah ke tempat lain. “Itu terlalu sesak,” keluh wanita itu. Saya memikirkan komentar Tallinn tentang kerusakan yang bisa dia dapatkan jika dikunci di ruang bawah tanah dengan koneksi internet. Di sinilah kami, di dalam kotak. Seolah diberi petunjuk, para lelaki itu memikirkan cara untuk keluar. Para tamu Tallinn termasuk mantan peneliti genomik Seán Ó hÉigeartaigh , yang adalah direktur eksekutif CSER, dan Matthijs Maas, seorang peneliti AI di University of Copenhagen. Mereka bercanda tentang sebuah ide untuk film aksi kutu buku berjudul Superintelligence v Blockchain!, Dan membahas sebuah game online bernama

“Tapi mereka lebih bertanggung jawab dari itu.” T allinn memperingatkan bahwa pendekatan apa pun untuk keselamatan AI akan sulit dilakukan dengan benar. Jika AI cukup pintar, ia mungkin memiliki pemahaman yang lebih baik tentang kendala daripada pembuatnya. Bayangkan, katanya, “terbangun di penjara yang dibangun oleh sekelompok bocah berusia lima tahun yang buta.” Seperti itulah rasanya bagi AI yang sangat cerdas yang dikekang oleh manusia. Ahli teori Yudkowsky menemukan bukti ini mungkin benar ketika, mulai tahun 2002, ia melakukan sesi obrolan di mana ia memainkan peran AI yang tertutup dalam kotak, sementara rotasi orang lain memainkan penjaga gerbang yang bertugas menjaga AI tetap masuk. Tiga dari lima kali, Yudkowsky – seorang manusia belaka – mengatakan dia meyakinkan penjaga gerbang untuk membebaskannya. Eksperimennya tidak membuat para peneliti enggan merancang kotak yang lebih baik. Para peneliti yang didanai Tallinn sedang mengejar berbagai macam strategi, dari yang praktis hingga yang tampaknya dibuat-buat. Beberapa berteori tentang AI tinju, baik secara fisik, dengan membangun struktur aktual untuk menampungnya, atau dengan memprogram dalam batas-batas apa yang dapat dilakukannya. Yang lain mencoba mengajarkan AI untuk mematuhi nilai-nilai kemanusiaan. Beberapa bekerja pada off-switch terakhir-parit. Salah satu peneliti yang mempelajari ketiganya adalah ahli matematika dan filsuf Stuart Armstrong di Future of Humanity Institute , yang disebut Tallinn sebagai “tempat paling menarik di alam semesta.” (Tallinn telah memberi FHI lebih dari $ 310.000.)

Armstrong adalah salah satu dari sedikit peneliti di dunia yang berfokus penuh waktu pada keselamatan AI. Ketika saya bertemu dia untuk minum kopi di Oxford, dia mengenakan kemeja rugby yang tidak dikunci dan terlihat seperti seseorang yang menghabiskan hidupnya di balik layar, dengan wajah pucat dibingkai oleh rambut pirang yang berantakan. Dia menambahkan penjelasannya dengan campuran referensi budaya populer dan matematika yang membingungkan. Ketika saya bertanya kepadanya seperti apa rasanya berhasil di keamanan AI, dia berkata: “Sudahkah Anda menonton film Lego ? Segalanya menarik.

Salah satu jenis penelitian Armstrong melihat pada pendekatan khusus untuk tinju yang disebut “oracle” AI. Dalam sebuah makalah 2012 dengan Nick Bostrom, yang ikut mendirikan FHI, ia mengusulkan tidak hanya membungkam kecerdasan super dalam tangki penampungan – struktur fisik – tetapi juga membatasi untuk menjawab pertanyaan, seperti papan Ouija yang benar-benar cerdas. Bahkan dengan batasan-batasan ini, AI akan memiliki kekuatan besar untuk membentuk kembali nasib manusia dengan secara halus memanipulasi para interogatornya. Untuk mengurangi kemungkinan ini terjadi, Armstrong mengusulkan batas waktu untuk percakapan, atau melarang pertanyaan yang mungkin mengganggu tatanan dunia saat ini. Dia juga telah menyarankan memberikan langkah-langkah proxy oracle untuk bertahan hidup manusia, seperti rata-rata industri Dow Jones atau jumlah orang yang menyeberang jalan di Tokyo, dan mengatakan itu untuk menjaga ini tetap stabil. Pada akhirnya, Armstrong percaya, mungkin perlu untuk membuat, seperti yang ia sebut dalam satu kertas, “tombol merah besar”: baik saklar fisik, atau mekanisme yang diprogram menjadi AI untuk secara otomatis mematikan sendiri jika terjadi pelarian. Namun merancang sakelar seperti itu masih jauh dari mudah. Bukan hanya AI canggih yang tertarik pada pemeliharaan diri dapat mencegah tombol ditekan. Bisa juga menjadi penasaran mengapa manusia merancang tombol, mengaktifkannya untuk melihat apa yang terjadi, dan menjadikan dirinya tidak berguna. Pada 2013, seorang programmer bernama Tom Murphy VII mendesain AI yang bisa mengajar dirinya sendiri untuk bermain game Nintendo Entertainment System. Bertekad untuk tidak kalah di Tetris, AI hanya menekan jeda – dan membuat game tetap beku. “Sungguh, satu-satunya langkah yang menang bukanlah bermain,” Murphy mengamati dengan masam, dalam makalah tentang ciptaannya. Agar strategi untuk berhasil, AI harus tidak tertarik pada tombol, atau, seperti Tallinn katakan: “Itu harus menetapkan nilai yang sama kepada dunia di mana itu tidak ada dan dunia di mana itu ada.” Tetapi bahkan jika para peneliti dapat mencapainya, ada tantangan lain. Bagaimana jika AI telah menyalin sendiri ribuan kali di internet? Pendekatan yang paling menggairahkan peneliti adalah menemukan cara untuk membuat AI mematuhi nilai-nilai manusia – bukan dengan memprogramnya, tetapi dengan mengajar AI untuk mempelajarinya. Di dunia yang didominasi oleh politik partisan, orang sering memikirkan cara-cara di mana prinsip-prinsip kita berbeda. Tetapi, Tallinn memberi tahu saya, manusia memiliki banyak kesamaan: “Hampir semua orang menghargai kaki kanan mereka. Kami hanya tidak memikirkannya. ”Harapannya adalah bahwa AI mungkin diajarkan untuk memahami aturan yang tidak dapat diubah. Dalam prosesnya, AI perlu belajar dan menghargai sisi manusia yang kurang logis: bahwa kita sering mengatakan satu hal dan memaksudkan hal lain, bahwa sebagian preferensi kita bertentangan dengan yang lain, dan bahwa orang kurang dapat diandalkan ketika mabuk. Terlepas dari tantangan, Tallinn percaya, itu patut dicoba karena taruhannya sangat tinggi. “Kita harus memikirkan beberapa langkah ke depan,” katanya. “Menciptakan AI yang tidak sesuai minat kita akan menjadi kesalahan yang mengerikan.” Pada malam terakhirnya di Cambridge, saya bergabung dengan Tallinn dan dua peneliti untuk makan malam di restoran steak. Seorang pelayan duduk kelompok kami di ruang bawah tanah yang putih dengan suasana seperti gua. Dia memberi kami menu satu halaman yang menawarkan tiga jenis mash. Sepasang suami istri duduk di meja di sebelah kami, dan kemudian beberapa menit kemudian meminta untuk pindah ke tempat lain. “Itu terlalu sesak,” keluh wanita itu. Saya memikirkan komentar Tallinn tentang kerusakan yang bisa dia dapatkan jika dikunci di ruang bawah tanah dengan koneksi internet. Di sinilah kami, di dalam kotak. Seolah diberi petunjuk, para lelaki itu memikirkan cara untuk keluar. Para tamu Tallinn termasuk mantan peneliti genomik Seán Ó hÉigeartaigh , yang adalah direktur eksekutif CSER, dan Matthijs Maas, seorang peneliti AI di University of Copenhagen. Mereka bercanda tentang sebuah ide untuk film aksi kutu buku berjudul Superintelligence v Blockchain!, Dan membahas sebuah game online bernama

Yang lain mengatakan bahwa fokus pada aktor teknologi jahat mengalihkan perhatian dari masalah paling mendesak yang dihadapi lapangan, seperti fakta bahwa mayoritas algoritma dirancang oleh orang kulit putih, atau berdasarkan data yang bias terhadap mereka . “Kita berada dalam bahaya membangun dunia yang tidak ingin kita tinggali jika kita tidak mengatasi tantangan itu dalam waktu dekat,” kata Terah Lyons, direktur eksekutif Kemitraan untuk AI, sebuah konsorsium industri teknologi yang berfokus tentang keamanan AI dan masalah lainnya. (Beberapa institut yang didukung Tallinn adalah anggota.) Namun, ia menambahkan, beberapa tantangan jangka pendek yang dihadapi para peneliti, seperti menyingkirkan bias algoritmik, adalah pendahulu bagi yang mungkin dilihat manusia dengan AI yang sangat cerdas. Tallinn tidak begitu yakin. Dia membantah bahwa AI superintensif membawa ancaman unik. Pada akhirnya, ia berharap bahwa komunitas AI dapat mengikuti jejak gerakan anti nuklir di tahun 1940-an. Setelah pemboman Hiroshima dan Nagasaki, para ilmuwan bersatu untuk mencoba membatasi pengujian nuklir lebih lanjut. “Para ilmuwan Proyek Manhattan bisa mengatakan: ‘Lihat, kami melakukan inovasi di sini, dan inovasi selalu baik, jadi mari kita terjun ke depan,'” katanya kepada saya. “Tapi mereka lebih bertanggung jawab dari itu.” T allinn memperingatkan bahwa pendekatan apa pun untuk keselamatan AI akan sulit dilakukan dengan benar. Jika AI cukup pintar, ia mungkin memiliki pemahaman yang lebih baik tentang kendala daripada pembuatnya. Bayangkan, katanya, “terbangun di penjara yang dibangun oleh sekelompok bocah berusia lima tahun yang buta.” Seperti itulah rasanya bagi AI yang sangat cerdas yang dikekang oleh manusia. Ahli teori Yudkowsky menemukan bukti ini mungkin benar ketika, mulai tahun 2002, ia melakukan sesi obrolan di mana ia memainkan peran AI yang tertutup dalam kotak, sementara rotasi orang lain memainkan penjaga gerbang yang bertugas menjaga AI tetap masuk. Tiga dari lima kali, Yudkowsky – seorang manusia belaka – mengatakan dia meyakinkan penjaga gerbang untuk membebaskannya. Eksperimennya tidak membuat para peneliti enggan merancang kotak yang lebih baik. Para peneliti yang didanai Tallinn sedang mengejar berbagai macam strategi, dari yang praktis hingga yang tampaknya dibuat-buat. Beberapa berteori tentang AI tinju, baik secara fisik, dengan membangun struktur aktual untuk menampungnya, atau dengan memprogram dalam batas-batas apa yang dapat dilakukannya. Yang lain mencoba mengajarkan AI untuk mematuhi nilai-nilai kemanusiaan. Beberapa bekerja pada off-switch terakhir-parit. Salah satu peneliti yang mempelajari ketiganya adalah ahli matematika dan filsuf Stuart Armstrong di Future of Humanity Institute , yang disebut Tallinn sebagai “tempat paling menarik di alam semesta.” (Tallinn telah memberi FHI lebih dari $ 310.000.) Armstrong adalah salah satu dari sedikit peneliti di dunia yang berfokus penuh waktu pada keselamatan AI. Ketika saya bertemu dia untuk minum kopi di Oxford, dia mengenakan kemeja rugby yang tidak dikunci dan terlihat seperti seseorang yang menghabiskan hidupnya di balik layar, dengan wajah pucat dibingkai oleh rambut pirang yang berantakan. Dia menambahkan penjelasannya dengan campuran referensi budaya populer dan matematika yang membingungkan. Ketika saya bertanya kepadanya seperti apa rasanya berhasil di keamanan AI, dia berkata: “Sudahkah Anda menonton film L ego ? Segalanya menarik.” Filsuf Nick Bostrom. Filsuf Nick Bostrom. Foto: Getty Salah satu jenis penelitian Armstrong melihat pada pendekatan khusus untuk tinju yang disebut “oracle” AI. Dalam sebuah makalah 2012 dengan Nick Bostrom, yang ikut mendirikan FHI, ia mengusulkan tidak hanya membungkam kecerdasan super dalam tangki penampungan – struktur fisik – tetapi juga membatasi untuk menjawab pertanyaan, seperti papan Ouija yang benar-benar cerdas. Bahkan dengan batasan-batasan ini, AI akan memiliki kekuatan besar untuk membentuk kembali nasib manusia dengan secara halus memanipulasi para interogatornya. Untuk mengurangi kemungkinan ini terjadi, Armstrong mengusulkan batas waktu untuk percakapan, atau melarang pertanyaan yang mungkin mengganggu tatanan dunia saat ini. Dia juga telah menyarankan memberikan langkah-langkah proxy oracle untuk bertahan hidup manusia, seperti rata-rata industri Dow Jones atau jumlah orang yang menyeberang jalan di Tokyo, dan mengatakan itu untuk menjaga ini tetap stabil. Pada akhirnya, Armstrong percaya, mungkin perlu untuk membuat, seperti yang ia sebut dalam satu kertas, “tombol merah besar”: baik saklar fisik, atau mekanisme yang diprogram menjadi AI untuk secara otomatis mematikan sendiri jika terjadi pelarian. Namun merancang sakelar seperti itu masih jauh dari mudah. Bukan hanya AI canggih yang tertarik pada pemeliharaan diri dapat mencegah tombol ditekan. Bisa juga menjadi penasaran mengapa manusia merancang tombol, mengaktifkannya untuk melihat apa yang terjadi, dan menjadikan dirinya tidak berguna. Pada 2013, seorang programmer bernama Tom Murphy VII mendesain AI yang bisa mengajar dirinya sendiri untuk bermain game Nintendo Entertainment System. Bertekad untuk tidak kalah di Tetris, AI hanya menekan jeda – dan membuat game tetap beku. “Sungguh, satu-satunya langkah yang menang bukanlah bermain,” Murphy mengamati dengan masam, dalam makalah tentang ciptaannya. Agar strategi untuk berhasil, AI harus tidak tertarik pada tombol, atau, seperti Tallinn katakan: “Itu harus menetapkan nilai yang sama kepada dunia di mana itu tidak ada dan dunia di mana itu ada.” Tetapi bahkan jika para peneliti dapat mencapainya, ada tantangan lain. Bagaimana jika AI telah menyalin sendiri ribuan kali di internet? Pendekatan yang paling menggairahkan peneliti adalah menemukan cara untuk membuat AI mematuhi nilai-nilai manusia – bukan dengan memprogramnya, tetapi dengan mengajar AI untuk mempelajarinya. Di dunia yang didominasi oleh politik partisan, orang sering memikirkan cara-cara di mana prinsip-prinsip kita berbeda. Tetapi, Tallinn memberi tahu saya, manusia memiliki banyak kesamaan: “Hampir semua orang menghargai kaki kanan mereka. Kami hanya tidak memikirkannya. ”Harapannya adalah bahwa AI mungkin diajarkan untuk memahami aturan yang tidak dapat diubah. Dalam prosesnya, AI perlu belajar dan menghargai sisi manusia yang kurang logis: bahwa kita sering mengatakan satu hal dan memaksudkan hal lain, bahwa sebagian preferensi kita bertentangan dengan yang lain, dan bahwa orang kurang dapat diandalkan ketika mabuk. Terlepas dari tantangan, Tallinn percaya, itu patut dicoba karena taruhannya sangat tinggi. “Kita harus memikirkan beberapa langkah ke depan,” katanya. “Menciptakan AI yang tidak sesuai minat kita akan menjadi kesalahan yang mengerikan.”

Pada malam terakhirnya di Cambridge, saya bergabung dengan Tallinn dan dua peneliti untuk makan malam di restoran steak. Seorang pelayan duduk kelompok kami di ruang bawah tanah yang putih dengan suasana seperti gua. Dia memberi kami menu satu halaman yang menawarkan tiga jenis mash. Sepasang suami istri duduk di meja di sebelah kami, dan kemudian beberapa menit kemudian meminta untuk pindah ke tempat lain. “Itu terlalu sesak,” keluh wanita itu. Saya memikirkan komentar Tallinn tentang kerusakan yang bisa dia dapatkan jika dikunci di ruang bawah tanah dengan koneksi internet. Di sinilah kami, di dalam kotak. Seolah diberi petunjuk, para lelaki itu memikirkan cara untuk keluar.

Para tamu Tallinn termasuk mantan peneliti genomik Seán Ó hÉigeartaigh , yang adalah direktur eksekutif CSER, dan Matthijs Maas, seorang peneliti AI di University of Copenhagen. Mereka bercanda tentang sebuah ide untuk film aksi kutu buku berjudul Superintelligence v Blockchain!, Dan membahas sebuah game online bernama


Universal Paperclips , yang membahas skenario dalam buku Bostrom. Latihan ini melibatkan berulang kali mengklik mouse Anda untuk membuat penjepit kertas. Ini tidak terlalu mencolok, tapi itu memberi alasan mengapa mesin mungkin mencari cara yang lebih bijaksana untuk menghasilkan perlengkapan kantor.

Akhirnya, pembicaraan bergeser ke pertanyaan yang lebih besar, seperti yang sering terjadi ketika Tallinn hadir. Tujuan akhir dari penelitian keselamatan-AI adalah menciptakan mesin yang, seperti yang pernah dikatakan oleh filsuf Cambridge dan salah satu pendiri CSER, Huw Price, “manusia super etis dan kognitif”. Orang lain telah mengajukan pertanyaan: ” jika kita tidak ingin AI mendominasi kita, apakah kita ingin mendominasi AI? Dengan kata lain, apakah AI memiliki hak? Tallinn percaya ini adalah antropomorfisasi yang tidak perlu. Ini mengasumsikan bahwa kecerdasan sama dengan kesadaran” – kesalahpahaman yang mengganggu banyak peneliti AI. Sebelumnya pada hari itu, peneliti CSER José Hernández-Orallo bercanda bahwa ketika berbicara dengan peneliti AI, kesadaran adalah “kata-C”. (“Dan ‘kehendak bebas’ adalah kata-F,” tambahnya.)

Mengapa para miliarder Lembah Silikon bersiap menghadapi kiamat di Selandia Baru  Baca lebih lajut Di ruang bawah tanah, Tallinn mengatakan bahwa kesadaran adalah intinya: “Ambil contoh termostat. Tidak ada yang akan mengatakan itu sadar. Tetapi benar-benar merepotkan untuk menghadapi agen itu jika Anda berada di ruangan yang diatur ke negatif 30 derajat. “

Ó hÉigeartaigh menyela. “Akan lebih baik untuk khawatir tentang kesadaran,” katanya, “tetapi kita tidak akan memiliki kemewahan untuk khawatir tentang kesadaran jika kita belum terlebih dahulu menyelesaikan tantangan keselamatan teknis.”

Orang-orang terlalu asyik dengan AI yang sangat cerdas, kata Tallinn. Bagaimana bentuknya? Haruskah kita khawatir tentang satu AI mengambil alih, atau pasukan mereka? “Dari sudut pandang kami, yang penting adalah apa yang AI lakukan,” tegasnya. Dan itu, dia percaya, mungkin masih terserah manusia – Untuk Sekarang

Rizal Amri

I am Web Developer in Padang Sidempuan, Indonesia. Currently doing frontend development at CoretanIT, freelance side project at GitHub. I also love to play video games, listen to podcast and read wall of text online
~ rizal@coretanit.com