Ketika sistem kecerdasan buatan (AI) mulai masuk ke lingkungan produksi dan mengambil tindakan, organisasi dengan cepat menyadari bahwa penegakan akuntabilitas menjadi jauh lebih sulit. Tidak seperti perangkat lunak perusahaan tradisional, alat-alat pintar ini dapat menghasilkan keluaran yang tidak terduga karena berinteraksi secara dinamis dengan data, API, dan alur kerja bisnis. Menurut pengamatan tim redaksi, ketidakpastian ini sering kali memicu kekacauan penentuan tanggung jawab saat terjadi kegagalan operasional.
// RELATED STORIES
Suka dengan artikel ini?
Dapatkan lebih banyak informasi teknologi menarik dengan berlangganan newsletter kami. Gratis!
Subscribe Sekarang →"Ketika terjadi kesalahan pada AI, tanggung jawab umumnya dibebankan kepada siapa pun yang paling dekat dengan titik masalah," ujar David DuChene, manajer pra-penjualan data dan AI di SHI International. Oleh karena itu, seiring berjalannya sistem ini dari sekadar penasihat menjadi pelaku dalam alur kerja, akuntabilitas tidak bisa lagi ditegakkan hanya melalui kebijakan di atas kertas. Pemimpin TI harus membangunnya langsung ke dalam struktur operasi melalui kepemilikan yang jelas dan observabilitas berkelanjutan.
Banyak perusahaan masih menganggap akuntabilitas AI sebagai tanggung jawab bersama, tetapi para ahli berpendapat bahwa asumsi ini adalah hal pertama yang gagal saat sistem mulai beroperasi. "Tanggung jawab bersama berarti tidak ada akuntabilitas," tegas Joe Wilson, SVP dan CIO di CSG. Menurutnya, setiap inisiatif AI harus melalui tinjauan tata kelola yang melibatkan kepemimpinan eksekutif, di mana kepemilikan langsung sudah ditetapkan sejak awal proyek.
Berdasarkan pantauan redaksi, banyak perusahaan yang terburu-buru menerapkan sistem AI sebelum fondasi tata kelola dan operasionalnya siap. David DuChene mengibaratkan fenomena ini seperti membangun dinding rumah sebelum menuangkan fondasinya. Akibatnya, tim sering kali menyadari bahwa mereka kekurangan sistem klasifikasi data, kontrol akses berbasis identitas yang sadar AI, pelacakan silsilah data, hingga saluran eskalasi saat terjadi kegagalan.
Seth Dobrin, CEO Arya Labs dan mantan pemimpin AI global di IBM, mengenang sebuah perusahaan asuransi yang menghabiskan 18 bulan membangun sistem pintar sebelum akhirnya diblokir total oleh tim hukum. Masalahnya bukan pada teknologinya, melainkan tidak adanya tata kelola sejak awal proses. Dobrin menekankan bahwa tata kelola seharusnya tidak memperlambat proyek, melainkan diintegrasikan ke dalam alur kerja agar tim bisa bergerak cepat tanpa risiko kepatuhan di kemudian hari.
Fondasi utama dari akuntabilitas AI yang sukses adalah tata kelola data yang kuat. Tanpa adanya pelacakan silsilah dan asal-usul data, perusahaan akan kesulitan melakukan analisis akar masalah saat AI membuat keputusan keliru. Menurut Quais Taraki, CTO EnterpriseDB, sebuah asisten AI yang merangkum interaksi pelanggan bisa saja menarik data rahasia dari sistem yang tidak seharusnya terhubung dengan alat AI generatif jika tidak dikelola dengan ketat.
Sistem pemantauan perusahaan tradisional umumnya dirancang hanya untuk melacak waktu aktif dan kinerja aplikasi. Namun, AI memperkenalkan tantangan baru seperti melacak jalur penalaran dan pergeseran perilaku. Nik Kale, anggota Coalition for Secure AI (CoSAI), menyatakan bahwa pertanyaan yang tepat saat sistem rusak bukan "mengapa AI membuat keputusan itu?", melainkan "apa yang sebenarnya dilakukan oleh sistem tersebut?" karena kegagalan biasanya muncul dari interaksi sistem di sekitar model AI.
Pertanyaan akuntabilitas paling krusial dalam operasional AI adalah kapan sistem harus berhenti dan meminta bantuan manusia. Menurut Nik Kale, jalur eskalasi eksplisit dan mekanisme penghentian darurat harus diatur dengan jelas, dengan menempatkan manusia yang memiliki otoritas penuh untuk mengambil kendali. Kegagalan AI sering kali bersifat halus, seperti penurunan kualitas keluaran secara bertahap, sehingga membutuhkan respons multidisiplin yang melibatkan tim hukum, keamanan, hingga operasional TI secara simultan.
Pada akhirnya, beberapa perusahaan masih mengatur AI layaknya perangkat lunak tradisional yang deterministik, padahal AI berperan lebih seperti seorang pekerja. Seperti halnya karyawan, sistem AI membutuhkan pengawasan, evaluasi, dan intervensi berkelanjutan karena model dan data terus berubah dari waktu ke waktu. Melalui pengamatan spesialis industri, organisasi yang paling maju kini menyadari bahwa akuntabilitas operasional yang adaptif adalah satu-satunya cara untuk memastikan teknologi ini tetap aman dan terkendali.