Dua anotator manusia terlatih yang melabeli sentimen 20.000 ujaran pusat panggilan hanya sepakat pada kappa Cohen sebesar 0,605, pada skala di mana 1,0 adalah kesepakatan sempurna dan 0 adalah kebetulan (peneliti ConnexAI, IntechOpen 2026). Batas atas itu penting karena setiap skor sentimen di dasbor analitik ucapan dilatih dan dinilai berdasarkan label seperti ini. Sementara itu, sistem pengenalan ucapan komersial salah mengenali 16,5% hingga 19,2% kata pada 50 percakapan pusat panggilan yang nyata, dibandingkan 10,2% hingga 11,62% pada tolok ukur telepon standar (Szymanski dkk., Findings of EMNLP 2020), dan 49,8% dari 1.104 perusahaan sudah menjalankan analitik interaksi pada transkrip tersebut (Metrigy, AI for Business Success 2025-26). Kami menghimpun data dari Metrigy, dokumen SEC NICE dan Verint, tolok ukur ucapan yang dipublikasikan di EMNLP dan LREC, oleh OpenAI dan di arXiv, NBER, Peraturan Kecerdasan Buatan Uni Eropa (EU AI Act), dan Majelis Umum Illinois, serta beberapa sumber primer lainnya. Untuk sisi otomatisasi dari industri yang sama (voicebot dan agen AI, bukan analitik), lihat statistik otomatisasi pusat kontak dengan AI suara kami.
TL;DR
- 49,8% perusahaan sudah menggunakan analitik interaksi dan 29,9% lainnya berencana menambahkannya (Metrigy, AI for Business Success 2025-26).
- 55% pusat kontak masih menjalankan jaminan kualitas dengan lembar kerja, turun dari 65% setahun sebelumnya (Scorebuddy dan Call Centre Helper, Desember 2025).
- Tingkat kesalahan kata ASR komersial pada 50 percakapan pusat panggilan yang nyata: 16,5% hingga 19,2% (Szymanski dkk., Findings of EMNLP 2020).
- Whisper large-v2 membuat 17,6% kesalahan kata pada panggilan telepon CallHome tetapi 2,7% pada ucapan buku audio yang dibacakan (OpenAI, makalah Whisper, 2022).
- Pada audio pusat panggilan nyata beraksen Afrika, Whisper-large-v3 mencatat WER 24,69% dan model terbaik 13,45% (AfriSpeech-MultiBench, arXiv 2025).
- Anotator manusia sepakat tentang sentimen ujaran pusat panggilan pada kappa Cohen 0,605 (peneliti ConnexAI, IntechOpen 2026).
- Dua anotator yang menilai panggilan pelanggan nyata sepakat pada ICC hanya 0,62 untuk valensi dan 0,52 untuk arousal (studi CusEmo, arXiv 2023).
- Model sentimen yang hanya memakai akustik mencapai akurasi terbobot 54,23% pada panggilan telepon, dibandingkan 85,76% untuk manusia (Chen dkk., LREC 2020).
- Asisten AI meningkatkan produktivitas agen dukungan sebesar 14% dan sentimen pelanggan sebesar 0,18 poin pada skala -1 sampai 1 (makalah kerja NBER 31161).
- Menyimpulkan emosi karyawan di tempat kerja dari suara dilarang di Uni Eropa sejak 2 Februari 2025 (Peraturan AI Uni Eropa, Peraturan (UE) 2024/1689).
- Illinois menetapkan ganti rugi $1.000 hingga $5.000 per pelanggaran yang melibatkan pengenal biometrik seperti sidik suara (740 ILCS 14).
1. Adopsi: Analitik Interaksi dan Jaminan Kualitas Otomatis
Pertanyaan soal adopsi setengah terjawab. 49,8% dari 1.104 perusahaan sudah menggunakan analitik interaksi (perangkat lunak yang mentranskripsi dan menambang panggilan, obrolan, dan email untuk topik, frasa kepatuhan, dan sentimen), dan 29,9% lainnya berencana menerapkannya dalam tahun itu (Metrigy, AI for Business Success 2025-26). Yang berubah adalah deskripsi tugasnya. Kelompok pengguna terbesar, 46,2%, kini mengatakan nilai terbesar adalah membandingkan kinerja agen AI dengan agen manusia (analisis Metrigy, 14 Mei 2025). Analitik ucapan berubah menjadi papan skor untuk otomatisasi, bukan sekadar alat pembinaan.
Proses jaminan kualitas (QA) yang hendak digantikan analitik ini masih mengejutkan manualnya. Survei yang disponsori vendor menemukan bahwa ketergantungan pada lembar kerja untuk QA turun dari 65% menjadi 55% dari tahun ke tahun, dan 44% pusat kontak menyatakan minat kuat pada penilaian otomatis atau waktu nyata (Scorebuddy dan Call Centre Helper, What Contact Centers Are Doing Right Now, Desember 2025). Basis vendornya terkonsentrasi dan besar: NICE melaporkan total pendapatan 2025 sebesar $2.945,4 juta, naik dari $2.735,3 juta, dengan pendapatan cloud naik 12,8%, dan membayar total imbalan akhir sebesar $887,3 juta untuk perusahaan AI percakapan Cognigy (Form 20-F NICE untuk tahun fiskal 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Perusahaan yang sudah menggunakan analitik interaksi | 49,8% dari 1.104 perusahaan | Metrigy, AI for Business Success 2025-26 |
| Perusahaan yang berencana menerapkan analitik interaksi selama 2025 | 29,9% | Metrigy, AI for Business Success 2025-26 |
| Pengguna analitik yang nilai terbesarnya adalah membandingkan efektivitas agen AI dengan efektivitas agen manusia | 46,2% (kelompok terbesar) | Analisis Metrigy, Mei 2025 |
| Pusat kontak yang memakai lembar kerja untuk jaminan kualitas, tahun ini berbanding tahun lalu | 55% berbanding 65% | Survei Scorebuddy dan Call Centre Helper, Desember 2025 (disponsori vendor) |
| Pusat kontak dengan minat kuat pada penilaian kualitas otomatis atau waktu nyata | 44% | Survei Scorebuddy dan Call Centre Helper, Desember 2025 (disponsori vendor) |
| Organisasi pelanggan NICE dan pelanggan Fortune 100 | Lebih dari 25.000 organisasi di lebih dari 150 negara, termasuk 85 dari Fortune 100 | NICE Form 20-F, tahun fiskal 2025 |
| Pelanggan Fortune 100 Verint dan negara yang dilayani | Lebih dari 80 dari Fortune 100, di lebih dari 175 negara | Verint Form 10-K, tahun fiskal yang berakhir 31 Januari 2025 |
| Pendapatan Verint dari bisnis langganannya | Sekitar 80% | Verint Form 10-K, tahun fiskal yang berakhir 31 Januari 2025 |
Catatan konteks: angka yang menyebut bahwa tim QA manual hanya meninjau “1% hingga 3%” atau “kurang dari 5%” panggilan beredar luas, tetapi setiap versi yang kami temukan berasal dari blog vendor atau kutipan yang tidak dapat diverifikasi, sehingga kami mengecualikannya. Tidak ada survei publik independen pada 2025 atau 2026 yang melaporkan porsi panggilan yang ditinjau manusia dibandingkan yang dinilai mesin. Form 10-K Verint juga melaporkan bahwa sekitar 72% pendapatannya berasal dari Amerika.
2. Akurasi Transkripsi pada Audio Panggilan Nyata
Setiap skor sentimen berbasis teks dimulai dari transkrip, dan audio panggilan spontan pita sempit (8 kHz) termasuk audio sehari-hari tersulit bagi sebuah sistem pengenal. Tingkat kesalahan kata (WER) adalah porsi kata yang disubstitusi, dihapus, atau disisipkan sistem dibandingkan transkrip manusia. Tiga sistem komersial mencatat WER 16,5% hingga 19,2% pada 50 percakapan pusat panggilan yang nyata, dibandingkan 10,2% hingga 11,62% pada tolok ukur telepon Switchboard (Szymanski dkk., WER we are and WER we think we are, Findings of EMNLP 2020). Para penulis mencatat bahwa hasil terbaik yang dipublikasikan pada Switchboard sekitar 5%, sehingga panggilan nyata berjalan pada tingkat kesalahan kira-kira tiga hingga empat kali lipat dari yang disiratkan tolok ukur utama (16,5 / 5 = 3,3 dan 19,2 / 5 = 3,84). Data terbaru yang tersedia untuk sistem komersial pada audio pusat panggilan privat: Szymanski dkk., 2020; kami tidak menemukan pengulangan publik atas pengujian ini pada rekaman panggilan nyata dengan mesin komersial saat ini.
Model terbuka yang lebih baru menunjukkan kesenjangan yang sama. Whisper large-v2 mencatat WER 2,7% pada LibriSpeech test-clean (buku audio yang dibacakan) tetapi 17,6% pada CallHome dan 13,8% pada Switchboard, keduanya kumpulan percakapan telepon (OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision, 2022). Aksen memperlebar kesenjangan itu: pada kumpulan privat kecil berisi panggilan agen-pelanggan nyata beraksen Afrika, hasilnya berkisar dari 13,45% untuk model terbaik hingga 88,71% untuk yang terburuk (AfriSpeech-MultiBench, arXiv November 2025). Statistik bias aksen dan tingkat kesalahan kata kami membahas dimensi itu secara mendalam.
| Metrik | Nilai | Sumber |
|---|---|---|
| WER tiga sistem ASR komersial pada 50 percakapan pusat panggilan nyata (8,5 jam audio, 2,2 jam ucapan) | 16,5% hingga 19,2% | Szymanski dkk., Findings of EMNLP 2020 |
| WER ketiga sistem yang sama pada tolok ukur telepon HUB’05 Switchboard | 10,2% hingga 11,62% | Szymanski dkk., Findings of EMNLP 2020 |
| WER pusat panggilan menurut domain bisnis untuk sistem terbaik | 13,73% (asuransi) hingga 20,95% (pemesanan perjalanan) | Szymanski dkk., Findings of EMNLP 2020 |
| WER pada ucapan pelanggan berbanding ucapan agen, untuk yang terlemah dari tiga sistem | 20,99% berbanding 17,83% | Szymanski dkk., Findings of EMNLP 2020 |
| WER Whisper large-v2 pada ucapan buku audio yang dibacakan (LibriSpeech test-clean) berbanding panggilan telepon CallHome berbanding panggilan telepon Switchboard | 2,7% berbanding 17,6% berbanding 13,8% | OpenAI, makalah Whisper 2022 |
| WER NVIDIA Conformer-CTC large berbanding wav2vec2-large-960h pada panggilan telepon CallHome | 11,3% berbanding 34,8% | OpenAI, makalah Whisper 2022 (tabel perbandingan) |
| WER pada audio pusat panggilan nyata beraksen Afrika: model terbaik berbanding Whisper-large-v3 berbanding GPT-4o Transcribe | 13,45% berbanding 24,69% berbanding 23,20% | AfriSpeech-MultiBench, arXiv November 2025 |
| Porsi kumpulan evaluasi pusat panggilan hasil transkripsi ASR (618 ujaran) yang mengandung kesalahan transkripsi | 42,6% (263 sampel) | Peneliti ConnexAI, IntechOpen 2026 |
Catatan pencilan: kesenjangan antara agen dan pelanggan tidak berlaku universal. Untuk yang terbaik dari tiga sistem komersial, WER pelanggan dan agen hampir identik (16,48% berbanding 16,49%), jadi sisi pelanggan lebih sulit bagi sebagian mesin, bukan semuanya. Kesalahannya juga berbeda jenis dari kesalahan tolok ukur; statistik halusinasi pengenalan ucapan kami membahas kata-kata rekaan, yang tidak dipisahkan oleh skor WER saja.
3. Sentimen Teks pada Transkrip Panggilan: Kesepakatan Manusia dan Akurasi Mesin
Angka yang tidak nyaman dalam analitik sentimen adalah acuan dasar manusia. Dua anotator yang melabeli 20.000 ujaran pusat panggilan (broadband, asuransi, dan industri lain) sepakat pada kappa Cohen 0,605 (peneliti ConnexAI, Enhancing Call Centre Sentiment Analysis with Large Language Models, IntechOpen 2026). Kappa mengoreksi kesepakatan mentah terhadap kebetulan: 1,0 adalah kesepakatan sempurna dan 0 adalah hasil yang akan dihasilkan oleh kebetulan semata. Setiap angka “akurasi sentimen” dari vendor dinilai terhadap label yang sering diperdebatkan oleh manusia sendiri.
Dalam batas atas itu, model bekerja baik pada teks bersih dan tersandung pada kelas yang paling penting. Dengan instruksi anotasi lengkap, LLM terbuka berparameter 32 miliar cocok dengan standar emas manusia (label acuan manusia) 91% dari waktu pada tiga kelas, tetapi F1 makronya (rata-rata skor F1 per kelas, yang menghukum pengabaian kelas langka) adalah 0,79. Uji tekan yang sesungguhnya adalah keluaran ASR: pada panggilan produksi yang ditranskripsi mesin, pendekatan yang sama mencapai F1 makro 0,74 dari ujaran tunggal dan 0,86 ketika melihat jendela enam giliran bicara. Konteks lebih berpengaruh daripada ukuran: dalam pengujian yang sama, model Qwen3 berparameter 4 miliar mencetak F1 makro 0,78 sementara saudaranya yang berparameter 32 miliar mencetak 0,56. Pada korpus telepon Switchboard, komposisi label menunjukkan mengapa “netral” mendominasi dasbor: 52,6% segmen bersifat netral (Chen dkk., A Large Scale Speech Sentiment Corpus, LREC 2020).
| Metrik | Nilai | Sumber |
|---|---|---|
| Kesepakatan antara dua anotator manusia tentang sentimen 20.000 ujaran pusat panggilan (kappa Cohen) | 0,605 | Peneliti ConnexAI, IntechOpen 2026 |
| LLM terbuka (Qwen2.5-32B-Instruct) dengan instruksi lengkap berbanding standar emas manusia, 3 kelas sentimen, 8.750 sampel | Akurasi 0,91, F1 makro 0,79 | Peneliti ConnexAI, IntechOpen 2026 |
| DistilBERT yang disetel lanjutan berbanding pengklasifikasi SVM, F1 makro pada panggilan yang ditranskripsi manusia | 0,90 berbanding 0,82 | Peneliti ConnexAI, IntechOpen 2026 |
| LLM pada transkrip mesin (ASR) panggilan produksi: ujaran tunggal berbanding jendela konteks enam giliran, F1 makro | 0,74 berbanding 0,86 | Peneliti ConnexAI, IntechOpen 2026 |
| Akurasi rata-rata anotator manusia secara individual terhadap label mayoritas, panggilan telepon Switchboard (49.500 segmen, 140 jam) | Sekitar 85% | Chen dkk. (Google), LREC 2020 |
Catatan konteks: dalam bab yang sama, kelas negatif menjadi titik lemah bahkan bagi pengklasifikasi terbaik (DistilBERT yang disetel lanjutan mencapai F1 0,78 pada sentimen negatif berbanding 0,94 pada positif), dan SVM ambruk pada transkrip mesin, dengan F1 makro 0,25 pada ucapan agen dan 0,46 pada ucapan pelanggan. Panggilan produksi yang ditranskripsi mesin juga miring: 61% netral, 30% positif, dan 9% negatif. Model yang melabeli semuanya netral tampak akurat pada data semacam itu sambil melewatkan 9% pelanggan yang marah.
4. Deteksi Emosi Akustik: Apa yang Ditambahkan Suara
Nada suara adalah daya jual “AI emosi”, tetapi dalam tolok ukur sentimen panggilan telepon Switchboard, nada suara adalah sinyal tunggal yang paling lemah. Model yang hanya memakai akustik mencapai akurasi terbobot 54,23% pada sentimen tiga kelas, dibandingkan 85,76% untuk manusia, dan penambahan teks mengangkatnya menjadi 65,65% (Chen dkk., LREC 2020, melaporkan acuan dasar Lu dkk. 2019). Akurasi terbobot menghitung setiap segmen secara setara; akurasi tak terbobot merata-ratakan ketiga kelas, sehingga skor tak terbobot 39,63% dari model akustik hanya sekitar 6 poin di atas 33,3% yang akan diperoleh dari tebakan acak (39,63 - 33,33 = 6,3). Data terbaru yang tersedia untuk tolok ukur sentimen panggilan telepon publik yang membandingkan ketiga jenis masukan: korpus sentimen Switchboard, LREC 2020.
Panggilan layanan pelanggan nyata bahkan lebih sulit dilabeli. Di pusat panggilan perjalanan bisnis Prancis (studi CusEmo), dua anotator yang menilai emosi pelanggan secara kontinu mencapai korelasi intrakelas (ICC, skor kesepakatan dari 0 hingga 1) sebesar 0,62 untuk valensi (seberapa positif atau negatif) dan 0,52 untuk arousal (seberapa aktif atau tenang) (End-to-End Continuous Speech Emotion Recognition in Real-life Customer Service Call Center Conversations, arXiv 2023). Konkordansi model terbaik dengan penilaian itu (CCC, koefisien korelasi konkordansi, di mana 1 berarti sempurna) adalah 0,699 untuk valensi dan 0,508 untuk arousal, setelah model diberi tahu seberapa empatik agen tersebut. Dengan kata lain, suasana hati pelanggan lebih mudah dibaca ketika model juga mendengar agen. Untuk penggunaan klinis teknologi yang sama, lihat statistik akurasi pengenalan emosi ucapan kami.
| Metrik | Nilai | Sumber |
|---|---|---|
| Akurasi terbobot, sentimen 3 kelas pada panggilan telepon Switchboard: model hanya akustik berbanding model akustik plus teks berbanding model yang memakai fitur pengenalan ucapan berbanding pendengar manusia | 54,23% berbanding 65,65% berbanding 70,10% berbanding 85,76% | Chen dkk. (Google), LREC 2020 |
| Akurasi tak terbobot (rata-rata kelas), empat pendekatan yang sama dalam urutan yang sama | 39,63% berbanding 54,59% berbanding 62,39% berbanding 84,61% | Chen dkk. (Google), LREC 2020 |
| Koleksi sumber CusEmo dari pusat panggilan perjalanan bisnis Prancis | 5.548 percakapan, 375,39 jam | Studi CusEmo, arXiv 2023 |
| Percakapan CusEmo dengan anotasi konteks; audio pelanggan yang dinilai emosinya | 469 percakapan; 13,15 jam | Studi CusEmo, arXiv 2023 |
| Kesepakatan antara dua anotator yang menilai emosi pelanggan (ICC): valensi berbanding arousal | 0,62 berbanding 0,52 | Studi CusEmo, arXiv 2023 |
| Konkordansi model terbaik dengan penilaian manusia (CCC) ketika empati agen ditambahkan: valensi berbanding arousal | 0,699 berbanding 0,508 | Studi CusEmo, arXiv 2023 |
Catatan konteks: korpus CusEmo hanya untuk penggunaan internal dan belum dipublikasikan, dan hanya 469 dari 5.548 percakapan yang mendapat anotasi konteks. Data emosi pusat panggilan nyata langka justru karena rekamannya memuat data pribadi, yang menjadi salah satu alasan sebagian besar angka akurasi yang dipublikasikan berasal dari podcast, ucapan yang diperankan, atau korpus telepon berusia puluhan tahun.
5. Hasil Bisnis yang Terukur
Vendor analitik menjual hasil, dan bukti terbaik yang terkontrol berasal dari teks, bukan suara. Dalam studi terhadap 5.179 agen dukungan pelanggan dan sekitar 3 juta obrolan, asisten percakapan AI meningkatkan jumlah masalah yang terselesaikan per jam rata-rata 14% dan 34% untuk agen pemula dan berketerampilan rendah (Brynjolfsson, Li, dan Raymond, Generative AI at Work, makalah kerja NBER 31161). Studi ini mengukur suasana hati pelanggan dengan pengklasifikasi sentimen berbasis LLM (SiEBERT, menilai teks dari -1 sampai 1), sehingga menjadi salah satu dari sedikit studi lapangan besar yang memakai sentimen otomatis sebagai hasil, bukan sebagai fitur.
Metrik yang lebih lunak juga bergerak: sentimen pelanggan naik 0,18 poin (setengah simpangan baku), permintaan untuk berbicara dengan manajer turun hampir 25%, dan waktu penanganan turun 3,8 menit. Tingkat penyelesaian nyaris tidak berubah. Para pembeli tampaknya percaya bahwa data tersebut layak berada di puncak: hampir 84% perusahaan, dan 96,7% kelompok sukses Metrigy, mengatakan data interaksi pelanggan harus menjadi bagian dari dasbor kinerja eksekutif (analisis Metrigy, Mei 2025).
| Metrik | Nilai | Sumber |
|---|---|---|
| Peningkatan produktivitas (masalah terselesaikan per jam) dengan asisten percakapan AI, 5.179 agen | Rata-rata 14% | Makalah kerja NBER 31161, Brynjolfsson, Li, dan Raymond |
| Peningkatan produktivitas untuk agen pemula dan berketerampilan rendah | 34% | Makalah kerja NBER 31161 |
| Perubahan rata-rata sentimen pelanggan (skor SiEBERT dari -1 sampai 1) | +0,18 poin, sekitar setengah simpangan baku | Makalah kerja NBER 31161 |
| Perubahan permintaan pelanggan untuk berbicara dengan manajer (garis dasar sekitar 6 poin persentase) | Hampir 25% lebih rendah | Makalah kerja NBER 31161 |
| Perubahan rata-rata waktu penanganan | 3,8 menit lebih singkat, penurunan 9% | Makalah kerja NBER 31161 |
| Perubahan tingkat penyelesaian (garis dasar 82%) | +1,3 poin persentase, signifikan hanya pada tingkat 10% | Makalah kerja NBER 31161 |
| Perusahaan yang menginginkan data interaksi di dasbor eksekutif: semua perusahaan berbanding kelompok tersukses | Hampir 84% berbanding 96,7% | Analisis Metrigy, Mei 2025 |
Catatan pencilan: sentimen agen dalam studi NBER hanya naik 0,02 poin, sekitar 1% dari simpangan baku, sehingga peningkatannya terlihat pada cara pelanggan menulis, bukan cara agen menulis. Studi ini mencakup obrolan teks di satu perusahaan; kami tidak menemukan studi terkontrol berskala sebanding tentang hasil analitik panggilan suara.
6. Regulasi dan Privasi: Aturan Pengenalan Emosi dan Hukum Sidik Suara
Garis hukumnya berjalan di antara emosi siapa yang dibaca dan dari apa. Sejak 2 Februari 2025, Peraturan AI Uni Eropa melarang sistem AI yang menyimpulkan emosi seseorang di tempat kerja, kecuali untuk alasan medis atau keselamatan (Peraturan (UE) 2024/1689, Pasal 5(1)(f) dan 113). Peraturan itu mendefinisikan pengenalan emosi sebagai penyimpulan “berdasarkan data biometrik mereka”, itulah sebabnya pedoman Komisi menganggap pusat panggilan yang memakai pengenalan suara untuk melacak kemarahan karyawan sebagai terlarang, tetapi pusat panggilan yang melacak emosi pelanggan berada di luar larangan, dan penyimpulan dari teks tertulis juga berada di luarnya (pedoman Komisi Eropa tentang praktik AI yang dilarang, 4 Februari 2025, contoh sebagaimana diringkas oleh CMS, 10 Februari 2025). Dalam praktiknya, sentimen berbasis transkrip pada pelanggan adalah rancangan paling aman di Eropa, dan penilaian nada suara pada agen adalah yang paling berisiko.
Pertimbangan 44 dari peraturan tersebut membenarkan larangan itu dengan menunjuk pada kekhawatiran serius tentang dasar ilmiah pengenalan emosi, dengan menyebut keandalan yang terbatas, kurangnya spesifisitas, dan daya generalisasi yang terbatas, kelemahan yang sama yang diukur oleh skor kesepakatan di bagian 3 dan 4. Di Amerika Serikat, eksposur paling tajam bersifat biometrik: Illinois menganggap sidik suara sebagai pengenal biometrik, sehingga setiap sistem yang membangun sidik suara penutur (misalnya untuk autentikasi penelepon) tunduk pada aturannya dan ganti rugi per pelanggarannya (Undang-Undang Privasi Informasi Biometrik Illinois, 740 ILCS 14).
| Metrik | Nilai | Sumber |
|---|---|---|
| Tanggal berlakunya larangan Uni Eropa atas penyimpulan emosi di tempat kerja dan pendidikan (Pasal 5(1)(f)) | 2 Februari 2025 | Peraturan AI Uni Eropa, Peraturan (UE) 2024/1689, Pasal 113 |
| Denda maksimum untuk penggunaan praktik AI yang dilarang | EUR 35.000.000 atau 7% dari total omzet tahunan global, mana yang lebih tinggi | Peraturan AI Uni Eropa, Pasal 99(3) |
| Status sistem pengenalan emosi yang tidak dilarang (misalnya pada pelanggan) | Tercantum sebagai sistem AI berisiko tinggi | Peraturan AI Uni Eropa, Lampiran III, butir 1(c) |
| Tanggal penerapan umum Peraturan AI Uni Eropa sebagaimana dipublikasikan | 2 Agustus 2026 | Peraturan AI Uni Eropa, Pasal 113 |
| Pusat panggilan yang memakai pengenalan suara untuk melacak emosi karyawan seperti kemarahan | Dilarang | Pedoman Komisi Eropa, Februari 2025 |
| Pusat panggilan yang memakai pengenalan suara untuk melacak emosi pelanggan | Di luar larangan di tempat kerja | Pedoman Komisi Eropa, Februari 2025 |
| Ganti rugi yang ditetapkan undang-undang Illinois per pelanggaran yang melibatkan pengenal biometrik seperti sidik suara: kelalaian berbanding disengaja atau sembrono | $1.000 berbanding $5.000 | BIPA Illinois, 740 ILCS 14/20 |
| Tanggal berlaku BIPA Illinois dan perubahan terbaru | 3 Oktober 2008; diubah oleh Public Act 103-769, berlaku 2 Agustus 2024 | Majelis Umum Illinois |
Catatan konteks: pedoman Komisi tidak mengikat, dan penafsiran yang berwenang berada di tangan Pengadilan Uni Eropa. Laporan tahunan NICE sendiri memperingatkan bahwa Peraturan AI “berlaku secara bertahap hingga Agustus 2026” dan bahwa denda untuk ketidakpatuhan “signifikan” (Form 20-F NICE untuk tahun fiskal 2025).
Ringkasan: Akurasi Deteksi Sentimen Analitik Ucapan Pusat Panggilan dalam Angka
| Metrik | Nilai | Sumber |
|---|---|---|
| Perusahaan yang sudah menggunakan analitik interaksi berbanding yang berencana menerapkannya pada 2025 | 49,8% berbanding 29,9% (dari 1.104) | Metrigy, AI for Business Success 2025-26 |
| Pusat kontak yang masih memakai lembar kerja untuk jaminan kualitas | 55% (turun dari 65%) | Scorebuddy dan Call Centre Helper, Desember 2025 |
| Total pendapatan NICE 2025 | $2.945,4 juta | NICE Form 20-F, tahun fiskal 2025 |
| WER ASR komersial pada 50 percakapan pusat panggilan nyata | 16,5% hingga 19,2% | Szymanski dkk., Findings of EMNLP 2020 |
| Sistem yang sama pada tolok ukur telepon Switchboard | 10,2% hingga 11,62% | Szymanski dkk., Findings of EMNLP 2020 |
| WER Whisper large-v2: ucapan buku audio yang dibacakan berbanding panggilan telepon CallHome | 2,7% berbanding 17,6% | OpenAI, makalah Whisper 2022 |
| WER pada audio pusat panggilan beraksen Afrika: model terbaik berbanding Whisper-large-v3 | 13,45% berbanding 24,69% | AfriSpeech-MultiBench, arXiv 2025 |
| Kesepakatan manusia dengan manusia tentang sentimen ujaran pusat panggilan (kappa Cohen) | 0,605 | Peneliti ConnexAI, IntechOpen 2026 |
| F1 makro sentimen LLM pada transkrip ASR: ujaran tunggal berbanding konteks enam giliran | 0,74 berbanding 0,86 | Peneliti ConnexAI, IntechOpen 2026 |
| Akurasi terbobot pada sentimen panggilan telepon: hanya akustik berbanding akustik plus teks berbanding manusia | 54,23% berbanding 65,65% berbanding 85,76% | Chen dkk. (Google), LREC 2020 |
| Kesepakatan anotator tentang valensi berbanding arousal pelanggan dalam panggilan nyata (ICC) | 0,62 berbanding 0,52 | Studi CusEmo, arXiv 2023 |
| Peningkatan produktivitas dari asisten percakapan AI, semua agen berbanding agen pemula | 14% berbanding 34% | Makalah kerja NBER 31161 |
| Perubahan sentimen pelanggan (skala -1 sampai 1) dan permintaan berbicara dengan manajer dengan bantuan AI | +0,18 poin; permintaan hampir 25% lebih sedikit | Makalah kerja NBER 31161 |
| Larangan Uni Eropa atas penyimpulan emosi di tempat kerja berlaku sejak | 2 Februari 2025 | Peraturan AI Uni Eropa, Pasal 113 |
| Pusat panggilan yang memakai pengenalan suara untuk melacak emosi karyawan berbanding emosi pelanggan | Dilarang berbanding di luar larangan di tempat kerja | Pedoman Komisi Eropa, Februari 2025 |
| Denda maksimum Uni Eropa untuk praktik AI yang dilarang | EUR 35.000.000 atau 7% dari omzet global | Peraturan AI Uni Eropa, Pasal 99(3) |
| Ganti rugi Illinois per pelanggaran biometrik, kelalaian berbanding disengaja | $1.000 berbanding $5.000 | BIPA Illinois, 740 ILCS 14 |
Metodologi dan Sumber
- Metrigy, The Value of Interaction Analytics (AI for Business Success 2025-26, 1.104 perusahaan) dan analisis Metrigy atas studi yang sama, 14 Mei 2025: adopsi, rencana adopsi, kasus penggunaan utama, sikap terhadap dasbor.
- Scorebuddy dan Call Centre Helper, What Contact Centers Are Doing Right Now, 11 Desember 2025: survei perangkat QA, disponsori vendor; ukuran sampel tidak diungkapkan dalam rilis.
- NICE Ltd, Form 20-F untuk tahun fiskal yang berakhir 31 Desember 2025 (SEC EDGAR): pendapatan, pertumbuhan cloud, basis pelanggan, imbalan Cognigy, faktor risiko Peraturan AI.
- Verint Systems, Form 10-K untuk tahun fiskal yang berakhir 31 Januari 2025 (SEC EDGAR): basis pelanggan, negara, porsi langganan, pendapatan regional.
- Szymanski dkk., WER we are and WER we think we are, Findings of EMNLP 2020: ASR komersial pada 50 percakapan pusat panggilan nyata.
- Radford dkk. (OpenAI), Robust Speech Recognition via Large-Scale Weak Supervision, 2022: WER Whisper pada LibriSpeech, CallHome, dan Switchboard.
- Ashungafac dkk. (Intron Health), AfriSpeech-MultiBench, arXiv November 2025: WER domain pusat panggilan untuk 18 sistem ASR.
- Jordan, Fonseka, Stacey, dan Sitvaev (ConnexAI), Enhancing Call Centre Sentiment Analysis with Large Language Models, IntechOpen, 20 Juni 2026: kesepakatan manusia, akurasi sentimen LLM dan pengklasifikasi, ketahanan terhadap ASR. Para penulis bekerja untuk vendor AI pusat kontak.
- Chen dkk. (Google), A Large Scale Speech Sentiment Corpus, LREC 2020 (LDC2020T14): label sentimen Switchboard, akurasi manusia, acuan dasar akustik dan teks.
- End-to-End Continuous Speech Emotion Recognition in Real-life Customer Service Call Center Conversations (CusEmo), arXiv 2023: korpus emosi pusat panggilan nyata dan hasil model.
- Brynjolfsson, Li, dan Raymond, Generative AI at Work, makalah kerja NBER 31161: hasil produktivitas, sentimen, eskalasi, dan attrisi.
- Peraturan (UE) 2024/1689 (Peraturan AI Uni Eropa), EUR-Lex: Pasal 3(39), Pasal 5(1)(f), Pasal 99(3), Pasal 113, Lampiran III, Pertimbangan 44.
- Komisi Eropa, Pedoman tentang praktik AI yang dilarang, 4 Februari 2025 dan ringkasan CMS atas contoh pusat panggilan, 10 Februari 2025.
- Majelis Umum Illinois, Undang-Undang Privasi Informasi Biometrik, 740 ILCS 14: definisi sidik suara dan ganti rugi yang ditetapkan undang-undang.
- Catatan data: studi WER pusat panggilan komersial (2020), makalah Whisper (2022), acuan dasar sentimen Switchboard (2020), dan studi CusEmo (2023) adalah data publik terbaru yang tersedia untuk pengukurannya masing-masing; kami tidak menemukan pengujian publik yang lebih baru atas mesin komersial pada rekaman panggilan nyata, dan kumpulan data pusat panggilan yang dipakai dalam makalah-makalah ini bersifat privat. Bab IntechOpen tidak konsisten di beberapa bagian (abstraknya menyebut 3.000 observasi sentimen sementara isinya memakai 8.750, dan abstraknya memberi F1 ASR “sekitar 0,76” berbanding F1 makro 0,74 dan akurasi 0,76 di isinya); kami memakai tabel pada isi bab. Teks makalah CusEmo melaporkan 0,657 dan 0,434 untuk satu pengaturan yang dicantumkan tabelnya sebagai .667 dan .499. Kumpulan pusat panggilan AfriSpeech-MultiBench hanya memiliki 16 sampel (0,80 jam), dan makalah itu menyebut 18 maupun 19 sistem yang dievaluasi. Hasil NBER berasal dari obrolan teks di satu perusahaan, bukan panggilan suara. Metrigy menggambarkan hasil adopsi yang sama sebagai 49,8% di satu tempat dan “hanya setengah” di tempat lain. Klaim yang banyak diulang bahwa QA manual mencakup 1% hingga 3% panggilan tidak dapat dilacak ke survei independen dan dikecualikan. Jadwal Peraturan AI Uni Eropa dikutip sebagaimana dipublikasikan di Jurnal Resmi; periksa amendemen berikutnya sebelum mengandalkan tanggal 2 Agustus 2026 untuk kewajiban berisiko tinggi.
Terakhir diperbarui: 27 Oktober 2026. Kami memperbarui rangkuman ini setiap kuartal, dan pembaruan berikutnya diperkirakan terjadi ketika Metrigy menerbitkan studi AI for Business Success berikutnya dan NICE mengajukan Form 20-F tahunan berikutnya.