(SeaPRwire) –   Lloyd Blankfein menghabiskan beberapa dekade di Goldman Sachs belajar cara mengelola risiko dalam skala besar. Ia melihat perusahaan ini berhasil melewati keruntuhan pasar tahun 1987, pecahnya bursa saham dot-com, krisis keuangan tahun 2008, dan penataan ulang regulasi pasca-krisis yang mengubah wajah Wall Street. Jadi, ketika mantan CEO dan senior chairman Goldman Sachs ini mengatakan sesuatu yang mencemaskannya tentang AI, penting untuk memperhatikan apa sebenarnya masalahnya.

Bukan superintelejensi atau senjata otonom. Ini masalah yang jauh lebih biasa — dan dalam beberapa aspek lebih menakutkan —.

Masalah dengan AI bukan “karena lebih cerdas daripada kita dan akan mengubah kita menjadi anjing peliharaan,” kata Blankfein dalam wawancara baru di The a16z Show oleh Andreessen Horowitz, dirilis hari Senin, “tapi karena kita tidak punya kemampuan untuk menguji apakah teknologinya benar atau salah.” Saat Anda mengelola institusi besar, katanya, Anda tidak bisa membuat kesalahan dan angka-angka memang sangat penting.

Mengacu pada AI secara khusus dan kemajuan teknologi secara umum, ia mengatakan, “semua hal berputar-putar di belakang layar,” dan Anda tidak benar-benar mendapatkan pandangan dekat tentang proses berfikir teknologi yang Anda andalkan. “Sekarang Anda bisa meninggalkkan satu program lunak, [dan] bisa keluar dan melakukan 70.000 transaksi,” katanya, menjelaskan bahwa saat ia mulai di ruang perdagangan, semua orang bisa mendengar setiap kesalahan, dan ruangan akan diam saat ada kesalahan terkecil.

Penjelasan sederhana ini mungkin merupakan bentuk paling akurat hingga saat ini mengenai alasan Wall Street — meskipun menghabiskan miliaran dolar untuk menerapkan AI di perdagangan, kepatuhan, dan operasional back-office — tetap sangat enggan memberi agen otonomi kunci untuk sesuatu yang benar-benar penting.

Kecepatan tanpa pengawasan adalah risiko nyata

Industri keuangan telah lama memahami bahwa kecepatan menciptakan leverage, dan leverage itu sendiri berdampak dua arah. Perdagangan yang tepat waktu akan memperbesar keuntungan. Sebaliknya, kesalahan — yang dieksekusi dengan kecepatan mesin, di seluruh ribuan posisi, sebelum intervensi manusia — akan memperbesar kerugian dengan cepat pula.

Apa yang sedang dijelaskan Blankfein bukanlah hipotesis. “Flash crash” tahun 2010, ketika perdagangan algoritmik sesaat menghapus hampir $1 triliun nilai pasar dalam beberapa menit, sudah memberikan gambaran awal. Demikian juga dengan bencana Knight Capital tahun 2012, di mana kesalahan perangkat lunak menyebabkan perusahaan ini kehilangan $440 juta dalam 45 menit — efektif menghancurkannya. Kedua insiden ini terjadi lebih dari satu dekade sebelum generasi AI saat ini.

Generasi baru lebih cepat, lebih otonom, dan lebih mampu mengikuti keputusan tanpa titik kontrol manusia di antaranya. Analisis Deloitte bulan Maret 2026 tentang MIT AI Risk Database mengidentifikasi lebih dari 350 risiko berbeda yang dapat timbul dari perilaku otonom atau agentik di bidang perbankan saja — banyak di antaranya tidak ditangani oleh kerangka kerja yang ada saat ini. Para peneliti firm menggambarkan mekanisme inti yang sedang diperingatkan Blankfein: satu kesalahan fiksi (hallucination) bisa meluas ke sistem terhubung, agen routing pembayaran bisa salah mengalokasikan dana sebelum ada manusia yang mengetahuinya, dan loop agen rekursif bisa mendorong biaya cloud ke angka ratusan ribu dolar sebelum ada yang memperhatikannya.

American Bankers Association memberikan peringatan pada Desember 2025 tentang potensi “momen 737 Max” — di mana ketergantungan berlebihan pada otomatisasi bertabrakan dengan kepercayaan publik dan akuntabilitas regulasi sebelum perlindungan (guardrail) sudah siap.

Angka-angka di balik intuisi

Dengan detail mengejutkan, data ini mendukung intuisi Blankfein. Studi Wakefield Research bulan Januari 2026 menemukan bahwa hanya 14% CFO yang sepenuhnya percaya AI bisa menyediakan data akuntansi yang akurat tanpa campur tangan manusia — namun sebagian besar perusahaan yang sama sudah menggunakan alat AI. 97% menyatakan bahwa pengawasan manusia tetap penting untuk akurasi, dan sebagian besar telah mengalami setidaknya satu contoh hasil AI yang fiktif atau tidak akurat.

Laporan CFA Institute tahun 2025 tentang AI yang Dapat Dijelaskan di Keuangan menyampaikan masalah teknis dengan jelas: sistem yang didorong AI menghadapi “kesulitan pengawasan disebabkan oleh transparansi terbatas dalam sumber data dan logika pengambilan keputusan.”

Analisis LinkedIn terpisah bulan Januari 2026 bahkan lebih langsung: “Pengawas kurang memiliki data yang konsisten dan detail mengenai di mana dan bagaimana AI benar-benar digunakan,” dan kerangka kerja manajemen risiko model yang ada “menantang validasi, pemantauan, dan auditabilitas tradisional.”

Sementara itu, pelaksanaan (deployment) terjadi dengan cepat melebihi tata kelola (governance). 92% perusahaan fintech terkemuka pada Q1 2026 telah mengintegrasikan setidaknya satu agen otonom ke dalam produksi inti — di kuartal yang sama dengan protokol standarisasi “Guardrail Protocols” yang dipersingkat untuk transaksi di atas $1 juta memerlukan autentikasi manusia. Dan 70% eksekutif perbankan di perusahaan yang sudah menggunakan AI agentik melaporkan bahwa kerangka kerja tata kelola tertinggal jauh dari kecepatan pelaksanaan, menurut survei MIT Technology Review Insights tahun 2025.

Keraguan Goldman yang tidak biasa

Blankfein juga menyampaikan observasi tajam tentang bagaimana Goldman secara historis menangani transisi sistem: menjalankan sistem lama dan baru secara paralel selama beberapa tahun sebelum melakukan peralihan penuh. Ini adalah disiplin, katanya, yang sebagian besar perusahaan teknologi tidak berbagi — dan semakin bertolak belakang dengan budaya “move fast” yang mendefinisikan gelombang penerapan AI yang melanda keuangan.

Peringatan implisitnya adalah perusahaan yang paling agresif menerapkan agen AI juga paling kecil kemungkinannya untuk telah menguji tekanan (stress-test) terhadap apa yang terjadi saat agen-agen tersebut salah.

Kontras ini terasa relevan sekarang. Goldman telah meluncurkan asisten AI-nya kepada seluruh karyawan lebih dari 46.000 orang dan mengidentifikasi enam area bisnis “siap untuk diserobotisasi” dalam surat kepada pemegang saham terbarunya. JPMorgan memiliki lebih dari 450 kasus penggunaan AI di produksi, dan LLM Suite-nya digunakan oleh 150.000 karyawan setiap minggu. Citi memiliki lebih dari 70% dari 182.000 karyawannya menggunakan alat AI yang disetujui perusahaan.

Tapi hampir semua telah menetapkan garis yang sama: eksekusi otonom di atas ambang tertentu masih memerlukan persetujuan manusia. Industri sedang berlomba-lomba menerapkan AI di mana-mana kecuali di tempat di mana masalah 70.000 transaksi Blankfein benar-benar akan terjadi.

“Kami selalu harus melakukan sesuatu dua kali,” kata Blankfein tentang cara kerja lama. “Kami harus menjalankannya 50 kali dan sempurna 49 kali pertama sebelum bisa pergi ke arah itu.” Artinya, mungkin akan sangat lama sebelum agen AI benar-benar dipercaya untuk selalu benar sejak awal.