합성 음성의 불쾌한 골짜기 통계 (2026년): 탐지, 섬뜩함, 얼굴-목소리 불일치에 관한 데이터 포인트 40개 이상

불쾌한 골짜기와 합성 음성 통계 2026: 청취자가 실제 음성과 AI 음성을 정확히 구분한 비율은 53.95%에 불과했고, 섬뜩함, 음성 클론, 얼굴-목소리 불일치 데이터도 담았다.

172명에게 실제 음성과 AI가 생성한 음성을 가려내게 했을 때 정답률은 53.95%에 불과해 동전 던지기를 간신히 웃도는 수준이었지만, 같은 참가자들이 얼굴을 분류했을 때의 정답률은 65.48%였다(Ivory 외, Scientific Reports 2026, 인쇄 중). 실존 인물의 클론은 화자의 동일성에 대해서도 청취자를 속인다. 대조 정확도는 자연스러운 음성의 86.98%에서 딥페이크의 68.94%로 떨어졌다(Roswandowitz 외, Communications Biology 2024). 참가자 1,212명과 널리 쓰이는 세 가지 딥페이크 데이터셋에서 사람의 평균 정확도는 73%였다(Warren 외, ACM CCS 2024). 그런데도 고전적인 불쾌한 골짜기, 즉 사람과 거의 비슷하지만 완전히 같지는 않은 대상에서 편안함이 떨어지는 현상은 합성 음성만으로는 거의 나타나지 않는다. 우리는 PLOS One, Scientific Reports, Communications Biology, eNeuro, ISCA Archive, Frontiers, ACM CCS, i-Perception, 그리고 2026년의 업계 조사 두 건의 데이터를 종합했다. 최신 음성 합성의 바탕이 되는 청취 테스트 벤치마크는 저희 합성 음성의 자연스러움과 MOS 통계를, 합성 음성을 여전히 들키게 하는 음높이와 강세 오류는 저희 신경망 TTS 운율 오류 통계를 참고하세요.

요약

  • 청취자가 실제 음성과 합성 음성을 올바르게 분류한 비율은 53.95%였고, 얼굴은 65.48%였다 (Ivory 외, Scientific Reports 2026).
  • 음성의 경우 확신도가 정확도와 맞물리지 않았다. AUROC는 .48이며, .5는 통찰이 없다는 뜻이다 (Ivory 외, Scientific Reports 2026).
  • 음성 클론이 사람으로 판정된 비율은 0.70, 실제 녹음은 0.72, 일반 AI 음성은 0.39였다 (Lavan 외, PLOS One 2025).
  • 세 가지 딥페이크 데이터셋에서 사람의 평균 정확도는 참가자 1,212명 기준 73%였다 (Warren 외, ACM CCS 2024).
  • 화자 동일성 대조 정확도는 자연스러운 음성의 86.98%에서 딥페이크의 68.94%로 떨어졌다 (Roswandowitz 외, Communications Biology 2024).
  • TTS 음성이 인간다울수록 더 쾌적하다고 평가되었다: r(203) = .48, p < .001 (Ross, Corley, Lai, Speech Prosody 2024).
  • 얼굴과 목소리가 불일치하는 조합은 일치하는 조합보다 더 섬뜩하다고 평가되었다, t(47) = 6.042, p < 0.001 (Mitchell 외, i-Perception 2011).
  • 사람 목소리는 가상 캐릭터의 호감도를 로봇 목소리의 2.99에 비해 3.75로 끌어올렸다 (Choi 외, IEEE ISMAR-Adjunct 2023).
  • 들은 내레이션이 AI라는 것을 알게 된 뒤, 라디오 청취자의 25%는 더 호의적이 되었고 20%는 덜 호의적이 되었다 (Crowd React Media 2026).
  • 예시를 통한 사전 친숙화는 딥페이크 탐지를 평균 3.84%밖에 높이지 못했다 (Mai 외, PLOS ONE 2023).
  • 미국, 영국, DACH 지역 성인의 67%가 자신의 목소리가 복제되는 것을 걱정한다 (Malwarebytes 2026, 벤더 자체 조사).

1. 탐지: 청취자는 AI 음성과 사람 음성을 얼마나 구분하는가

핵심은 사람들이 실패한다는 사실이 아니라, 그 실패가 청각에 국한된다는 점이다. 얼굴에서는 우연 수준을 넉넉히 넘어섰던 같은 참가자들이 음성에서는 53.95%(95% 신뢰구간 = [52.64, 55.27])를 기록했다. 두 감각을 나란히 검증한 Lancaster University의 사전 등록 연구 결과다(Ivory 외, Scientific Reports, 인쇄 중). 가짜 얼굴을 잘 가려내는 것은 가짜 음성을 잘 가려내는 것에 대해 아무것도 알려주지 않았다. 저자들은 감각을 가로지르는 범용 탐지 능력을 발견하지 못했다.

수치를 크게 좌우하는 것은 청취자의 능력보다 과제의 형식이다. UCL 연구진이 한 번에 클립 하나씩 들려주었을 때 청취자 529명의 정답률은 70.35%였지만, 진짜 클립과 딥페이크 클립을 함께 들려주었을 때는 85.59%의 시행에서 가짜를 알아냈다(Mai 외, PLOS ONE 2023). 현실에서는 비교용 클립이 주어지는 경우가 드물다. 데이터셋의 연식도 영향을 준다. University of Florida의 참가자 1,212명 연구에서 정확도는 Wavefake 세트의 65%부터 FakeAVCeleb의 81%까지 걸쳐 있었다.

지표값출처
실제 음성과 합성 음성을 올바르게 분류한 비율 (참가자 172명, 실제 음성 40개와 합성 음성 40개)53.95% (95% 신뢰구간 = [52.64, 55.27])Ivory 외, Scientific Reports 2026 (인쇄 중)
같은 참가자가 실제 얼굴과 AI 생성 얼굴을 올바르게 분류한 비율65.48% (95% 신뢰구간 = [63.75, 67.21])Ivory 외, Scientific Reports 2026 (인쇄 중)
한 번에 클립 하나씩 판단했을 때 올바른 분류 비율 (n = 529, 영어와 중국어)70.35%Mai 외, PLOS ONE 2023
진짜 클립과 함께 들었을 때 딥페이크를 알아낸 비율 (두 클립 과제)시행의 85.59%Mai 외, PLOS ONE 2023
세 가지 딥페이크 데이터셋에서 사람의 평균 정확도 (참가자 1,212명)73%Warren 외, ACM CCS 2024
가장 어려운 데이터셋(Wavefake)과 가장 쉬운 데이터셋(FakeAVCeleb)의 평균 정확도65% 대 81%Warren 외, ACM CCS 2024
AI 음성 클론을 AI라고 올바르게 식별한 비율 (두 연구에 걸친 Prolific 표본, 참가자 604명)약 60%Barrington, Cooper, Farid, Scientific Reports 2025
일반 AI 음성과 사람 음성을 변별하는 청취자 민감도(d’)와 음성 클론과 사람 음성을 변별하는 민감도 (n = 50)2.93 대 0.13Lavan 외, PLOS One 2025

참고: d’(디프라임)는 신호 탐지 이론의 민감도 점수로, 0은 청취자가 두 범주를 전혀 구분하지 못한다는 뜻이다. 저자들이 지적하듯 Mai 외의 딥페이크는 비교적 오래된 알고리즘으로 만들어졌다. 한 클립 대 두 클립 비교에 대해 확인 가능한 최신 데이터는 Mai 외, PLOS ONE 2023이다.

2. 음성 클론: 복제본이 본인으로 통할 때

일반 AI 음성은 여전히 제품처럼 들린다. 특정 인물의 클론은 그렇지 않고, 바로 여기서 사람의 청각은 한계에 부딪힌다. Queen Mary University of London 연구진은 상용 클로닝 도구로 화자당 약 4분의 녹음에서 클론을 만들었고, 청취자는 이 클론을 0.70의 비율로 사람이라고 판정했으며 실제 녹음은 0.72였다(Lavan 외, PLOS One 2025). 저자들의 결론은 정확하다. 클론은 실제처럼 들리지만, AI 얼굴이 실제 얼굴보다 더 실제 같아 보일 수 있는 것과 같은 의미의 ‘초현실적’ 수준에는 아직 이르지 못했다. 클론에 이제 얼마나 적은 음성이 필요한지는 저희 제로샷 음성 클로닝 참조 음성 길이 통계에서 추적하고 있다.

화자 동일성은 두 번째 시험이며, 클론은 대부분 이를 통과한다. UC Berkeley 연구에서 참가자들은 AI 음성이 실제 화자와 같은 사람이라고 약 80%의 비율로 판단했다(Barrington, Cooper, Farid, arXiv v2, Scientific Reports 2025에 게재). 독일어 두 단어 문장을 사용한 University of Zurich의 뇌 영상 연구(연구 자극에는 독일어로 ‘그가 넘어진다’를 뜻하는 ‘Er fällt’가 포함되었다)에서는 화자 동일성 대조 정확도가 자연스러운 음성의 86.98%에서 딥페이크의 68.94%로 떨어졌다(Roswandowitz 외, Communications Biology 2024).

지표값출처
’사람’으로 판정된 음성의 비율: 음성 클론 대 실제 사람 녹음 대 일반 AI 음성 (실험 2, 영국 성인 n = 50)0.70 대 0.72 대 0.39Lavan 외, PLOS One 2025
실제감 평균 평가: 일반 AI 음성 대 음성 클론 대 실제 사람 녹음47.4 대 63.0 대 63.8Lavan 외, PLOS One 2025
AI 클론이 실제 화자와 같은 사람이라고 판단된 비율약 80%Barrington, Cooper, Farid, Scientific Reports 2025
클립 길이와 자연스러움 판단 정확도의 상관스피어먼 ρ = 0.245Barrington, Cooper, Farid, Scientific Reports 2025
화자 동일성 대조 정확도: 자연스러운 음성 쌍 대 딥페이크와 자연스러운 음성의 쌍 (n = 25)86.98% 대 68.94%Roswandowitz 외, Communications Biology 2024
딥페이크 시행: 놓침 대 오경보28.64% 대 29.86%Roswandowitz 외, Communications Biology 2024

참고: Queen Mary 연구팀은 Prolific에서 모집한 18세에서 65세 영국 참가자 각 50명으로 세 가지 실험을 진행했다. Zurich 연구에서 놓침은 딥페이크를 실제 화자로 받아들인 경우를, 오경보는 올바른 화자 동일성을 거부한 경우를 뜻한다. 두 비율이 거의 같다는 것은 청취자가 한쪽으로 치우치지 않고 양방향으로 추측했음을 보여준다.

3. 음성에도 불쾌한 골짜기가 있는가?

시각적 불쾌한 골짜기는 인공 얼굴이 완전히 사람처럼 되기 직전에 편안함이 떨어진다고 예측한다. 합성 음성에 대해서는 대부분의 데이터가 반대 방향을 가리킨다. 사람에 가까울수록 더 좋다는 것이다. Frontiers in Neurorobotics 연구에서 성인 95명이 두 가지 합성 음성(IBM Watson과 로봇 Sophia)과 사람 음성을 평가했고, 인간다움이 높을수록 두 합성 음성 모두에서 섬뜩함이 낮을 것으로 예측되었다. Edinburgh 연구팀은 인간다움과 쾌적함이 양의 상관을 보인다, r(203) = .48, p < .001는 것을 발견했지만, 인간다움이 50%에 도달한 TTS 음성은 없었으므로 골짜기가 자리할 곡선의 꼭대기는 검증되지 않았다(Ross, Corley, Lai, Speech Prosody 2024).

골짜기가 나타날 때, 그것은 인공성이 아니라 일탈에서 비롯된다. Diel과 Lewis는 왜곡된 음성과 병적인 음성에서 비롯되는 음성의 불쾌한 골짜기를 확인했고, ‘합성 음성은 이를 성공적으로 피해 간다’고 결론지었다(Computers in Human Behavior Reports 2024). AI 음성 생성기로 목소리를 고르는 사람에게는 실용적인 원칙이 된다. 평범하지 않고 긴장되거나 끊기는 전달 방식은 뚜렷하게 합성임이 드러나는 방식보다 위험하다.

지표값출처
인간다움 평가: 가장 인간다운 TTS 음성(과장된 음높이 범위)과 사람 녹음의 비교 (청취자 205명)46.1 대 71.5Ross, Corley, Lai, Speech Prosody 2024
섬뜩함 평가: 같은 TTS 음성과 사람 녹음의 비교40.4 대 28.9Ross, Corley, Lai, Speech Prosody 2024
인간다움과 쾌적함의 상관r(203) = .48, p < .001Ross, Corley, Lai, Speech Prosody 2024
두 합성 음성에 대해 인간다움이 섬뜩함을 예측하는 정도 (성인 95명)β = −0.64 및 β = −0.66, p < 0.001Kühne, Fischer, Zhou, Frontiers in Neurorobotics 2020
호감도 대 인간다움 연구의 음성 수 (청취자 25명): 5가지 합성 방식의 독일어 남성 음성과 사람 대조군13Baird 외, Interspeech 2018
일탈한 음성에서 음성의 불쾌한 골짜기를 찾은 두 실험의 참가자n = 50 및 n = 35Diel과 Lewis, Computers in Human Behavior Reports 2024
인간적인 외형이 섬뜩함을 높인 음성 비서 연구의 참가자34Zhao, Chen, Zhao, Human Factors and Ergonomics in Manufacturing 2026
낯선 사람 음성에 대한 호감이 높아지기까지의 노출 횟수 (낭독한 문장, 대학생 238명)8Mavromati, Erdinch, Paterson, PsyArXiv 프리프린트 2025

참고: Baird 외는 호감도가 인간다움과 함께 상승한다는 것을 발견했는데, 이는 시각적 불쾌한 골짜기와 반대다(Interspeech 2018). 합성 기술 세대 간 이 비교에 대해 확인 가능한 최신 데이터이며, Kühne 외의 연구는 2020년 것이다. 음성 비서 연구에서 섬뜩함은 음성이 아니라 인간적인 외형에서 비롯되었다. Mavromati와 동료들의 프리프린트는 실제 사람 음성을 검증했다. 2회 또는 5회 들은 음성은 한 번도 듣지 않은 음성보다 덜 호감을 얻었고, 저자들은 이 뒤집힌 ‘U’자를 ‘익숙하면서도 낯선’ 음성의 불쾌한 골짜기라고 부른다.

4. 얼굴-목소리 불일치: 골짜기가 실제로 나타나는 곳

음성만으로는 골짜기에 빠지는 일이 드물다면, 조합은 빠진다. 기초가 된 실험은 로봇 또는 사람 모습을 일치하거나 불일치하는 음성과 짝지었고, 불일치한 두 조합은 일치한 두 조합보다 더 섬뜩하다고 평가되었다, t(47) = 6.042, p < 0.001(Mitchell 외, i-Perception 2011). 합성 음성을 가진 사람 모습은 네 가지 조건 중 가장 섬뜩했다. 저자들이 끌어낸 설계상의 교훈은 지금도 유효하다. 얼굴의 인간적 사실감을 음성의 인간적 사실감에 맞추라는 것이다.

최근 연구는 인상을 좌우하는 것이 대개 음성임을 보여준다. 가상현실 연구에서 사람 목소리는 캐릭터의 호감도와 안전하다는 인식을 높인 반면, 외형 자체는 호감도에 유의한 영향을 주지 않았다(Choi 외, IEEE ISMAR-Adjunct 2023). 로봇 헤드 Furhat 연구에서는 얼굴과 음성 설정이 첫인상의 따뜻함을 바꾸었지만, 참가자가 로봇과 상호작용한 뒤에는 그 효과가 더 이상 유의하지 않았다(Huang과 Moore, Frontiers in Robotics and AI 2024).

지표값출처
섬뜩함 평가: 합성 음성을 가진 사람 모습 대 사람 음성을 가진 사람 모습 (미국 출생 참가자 48명)M = 0.19 대 M = −1.10Mitchell 외, i-Perception 2011
섬뜩함 평가: 사람 음성을 가진 로봇 모습 대 합성 음성을 가진 로봇 모습M = −0.10 대 M = −0.60Mitchell 외, i-Perception 2011
불일치 대 일치하는 얼굴-목소리 조합 (대응표본 t 검정)t(47) = 6.042, p < 0.001Mitchell 외, i-Perception 2011
가상 캐릭터의 호감도: 사람 목소리 대 로봇 목소리 (참가자 21명)3.75 대 2.99Choi 외, IEEE ISMAR-Adjunct 2023
가상 캐릭터의 지각된 인간다움(의인화): 사람 목소리 대 로봇 목소리3.18 대 2.58Choi 외, IEEE ISMAR-Adjunct 2023
첫인상의 따뜻함: 아이 같은 대 어른 같은 대 로봇 같은 얼굴과 음성 설정 (참가자 52명, 표본 156개)3.37 대 2.60 대 2.06Huang과 Moore, Frontiers in Robotics and AI 2024
상호작용 전 따뜻함에 대한 얼굴과 음성 설정의 효과F(2,147) = 16.75, p < 0.001Huang과 Moore, Frontiers in Robotics and AI 2024

참고: Furhat 연구에서 일부 참가자는 아이 같은 설정을 불일치한다고 묘사했다(‘소리는 더 아이 같은데 외모는 덜 아이 같다’). Alimardani 외(IVA 2024)의 2x2 가상 에이전트 실험에서는 음성과 외형의 불일치가 지각된 의인화는 바꾸었지만, 사람들이 에이전트의 조언을 따르는 빈도는 바꾸지 않았다. Mitchell 외 연구는 2011년 것이며, 이 정확한 얼굴-목소리 설계에 대해 확인 가능한 최신 데이터다.

5. 사회적 특성과 공개 효과

청취자는 음성이 진짜인지 판단할 뿐 아니라 그 안에서 성격을 읽어내며, 합성 음성은 다르게 읽힌다. Queen Mary의 특성 실험에서 일반 AI 음성은 사람 음성보다 더 지배적이고 약간 더 신뢰할 만하다고 평가되었다. Zurich 연구팀은 자신들의 딥페이크에서 반대의 결과를 얻었는데, 참가자들은 이를 자연스러운 음성보다 ‘유의하게 덜 자연스럽고, 덜 호감 가고, 덜 신뢰할 만하다’고 평가했다(Roswandowitz 외, Communications Biology 2024). 특성이 어느 쪽으로 기우는지는 자극의 품질이 결정한다.

실제 미디어에 더 가까운 블라인드 테스트에서는 품질이 더 이상 문제가 아니었고 공개가 지배적이 되었다. 정체가 공개된 뒤 사람 내레이션을 들은 청취자의 48%가 더 호의적이 된 반면, AI 음성을 들은 청취자는 25%였다(Crowd React Media AI Voiceover Study 2026). 아무에게도 알리기 전에는 두 음성의 점수가 거의 같았다. 단조로운 전달은 또 다른 약점이다. 감정이 없는 조건에서 사용자의 약 68%가 대화형 에이전트의 음성 어조를 비판했다(Cihodaru-Ștefanache와 Podina, Frontiers in Psychology 2025).

지표값출처
지배성 평가: 일반 AI 음성 대 사람 음성 (n = 50)58.1 대 40.4 (p < .001)Lavan 외, PLOS One 2025
신뢰성 평가: 일반 AI 음성 대 사람 음성57.9 대 53.8 (p = .002)Lavan 외, PLOS One 2025
첫 클립의 전반적 호감도: AI 내레이션 대 사람 내레이션 (18세에서 45세 미국 라디오 청취자 1,326명)61% 대 60%Crowd React Media AI Voiceover Study 2026
’재미있다’고 평가된 내레이션: 사람 음성 대 AI 음성 (유일하게 유의한 차이)33% 대 26%Crowd React Media AI Voiceover Study 2026
정체 공개 후 AI 음성 청취자: 더 호의적 대 덜 호의적25% 대 20%Crowd React Media AI Voiceover Study 2026
정체 공개 후 사람 음성 청취자: 더 호의적 대 덜 호의적48% 대 4%Crowd React Media AI Voiceover Study 2026
감정이 없는 조건에서 대화형 에이전트의 음성 어조를 비판한 사용자약 68%Cihodaru-Ștefanache와 Podina, Frontiers in Psychology 2025

참고: Frontiers in Psychology 리뷰는 선별 과정을 거쳐 체화된 대화형 에이전트(사용자와 대화하는 화면 속 애니메이션 캐릭터) 연구 29건을 다루었고, 그중 대부분의 방법론적 품질을 낮음 또는 보통으로 평가했다. 라디오 테스트는 Harker Bos Group의 시장 조사 부서가 진행했으며, 신뢰수준 95%의 두 비율 z 검정으로 유의성을 확인했다. 청취자에게는 평가를 마칠 때까지 어느 음성을 들었는지 알려주지 않았다.

6. 훈련, 확신도, 그리고 듣는 뇌

짧은 훈련은 거의 도움이 되지 않으며, 청취자는 자신이 틀렸을 때를 알지 못한다. 음성의 경우 AUROC로 측정한 메타인지적 통찰은 .48로, 확신도가 정확도에 대해 아무 정보도 담지 않는다는 뜻인 .5를 살짝 밑돌았다. 같은 Lancaster 연구에서 얼굴은 .59였다(섹션 1 참조). 딥페이크 예시를 통한 사전 친숙화는 정확도를 거의 움직이지 못한다(표 참조). University of Florida 연구팀은 청취자가 확신이 서지 않을 때 음성이 사람의 것이라고 믿는 쪽으로 기운다는 점을 발견했으며(Warren 외, ACM CCS 2024), 이는 음성 클로닝 사기가 정확히 노리는 편향이다. 저희 음성 클로닝 가족 사기 통계를 참고하세요.

그러나 뇌는 청취자가 보고하는 것보다 더 많은 것을 기록한다. 12분 훈련 세션 후 중국어(북경어) 원어민 30명은 약 55, 210, 455밀리초 시점에서 사람 음성과 AI 음성 사이에 신경 활동의 차이를 보였지만, 행동 수준의 변별은 유의하게 향상되지 않았다(Yang 외, eNeuro 2026). Zurich의 fMRI 연구에서는 청각 피질이 딥페이크와 자연스러운 음성의 음향적 차이를 추적했고, 보상 체계의 일부인 측좌핵은 딥페이크를 자연스러운 음성과 비교할 때 활동이 줄었다(Roswandowitz 외, Communications Biology 2024).

지표값출처
음성 대 얼굴의 메타인지적 통찰(AUROC), .5는 통찰 없음을 뜻함.48 대 .59Ivory 외, Scientific Reports 2026 (인쇄 중)
딥페이크 예시를 통한 사전 친숙화로 인한 탐지 향상평균 3.84%Mai 외, PLOS ONE 2023
12분 훈련 세션 전후 사람 음성에 대한 민감도(d’) (참가자 30명)0.383 대 0.536Yang 외, eNeuro 2026
같은 훈련 전후 미세 조정된 AI 클론에 대한 민감도(d’)0.266 대 0.341Yang 외, eNeuro 2026
훈련 세션이 민감도에 미치는 주효과F(1,29) = 3.918, p = 0.057Yang 외, eNeuro 2026
훈련 후 사람 음성과 AI 음성의 신경적 구분 잠복기약 55ms, 210ms, 455msYang 외, eNeuro 2026
자신의 목소리가 복제되는 것을 걱정하는 성인 (미국, 영국, 오스트리아, 독일, 스위스의 성인 1,500명)67%Malwarebytes AI Scams Report 2026 (벤더 자체 조사)
지난 12개월 동안 지인으로부터 음성 클론 전화를 받은 성인16%Malwarebytes AI Scams Report 2026 (벤더 자체 조사)

참고: 여기서 AUROC(수신자 조작 특성 곡선 아래 면적)는 청취자의 확신도가 오답보다 정답에서 더 높은지를 측정한다. eNeuro의 문장은 중국어(북경어) 음성 지각 테스트에서 가져왔으며, AI 음성은 오픈소스 클로닝 모델로 만들었다. Malwarebytes 조사는 독립 조사 컨설턴트가 2026년 3월 1일부터 3월 17일까지 온라인으로 실시했다. 보안 업체 자체의 조사이므로 지각 측정이 아니라 참고 자료로 다뤄야 한다.

요약: 숫자로 보는 합성 음성의 불쾌한 골짜기

지표값출처
실제 음성과 합성 음성을 올바르게 분류한 비율53.95%Ivory 외, Scientific Reports 2026 (인쇄 중)
세 가지 딥페이크 데이터셋에서 사람의 평균 정확도 (참가자 1,212명)73%Warren 외, ACM CCS 2024
가장 어려운 딥페이크 데이터셋과 가장 쉬운 딥페이크 데이터셋의 평균 정확도65% 대 81%Warren 외, ACM CCS 2024
딥페이크 탐지: 한 번에 클립 하나 대 진짜 클립과 함께70.35% 대 85.59%Mai 외, PLOS ONE 2023
AI 클론이 실제 화자와 같은 사람이라고 판단된 비율약 80%Barrington, Cooper, Farid, Scientific Reports 2025
’사람’으로 판정된 비율: 음성 클론 대 실제 녹음 대 일반 AI 음성0.70 대 0.72 대 0.39Lavan 외, PLOS One 2025
화자 동일성 대조: 자연스러운 음성 대 딥페이크86.98% 대 68.94%Roswandowitz 외, Communications Biology 2024
TTS 음성에서 인간다움과 쾌적함의 상관r(203) = .48, p < .001Ross, Corley, Lai, Speech Prosody 2024
인간다움: 가장 인간다운 TTS 음성 대 사람 녹음46.1 대 71.5Ross, Corley, Lai, Speech Prosody 2024
섬뜩함: 가장 인간다운 TTS 음성 대 사람 녹음40.4 대 28.9Ross, Corley, Lai, Speech Prosody 2024
두 합성 음성에 대해 인간다움이 섬뜩함을 예측하는 정도β = −0.64 및 β = −0.66Kühne, Fischer, Zhou, Frontiers in Neurorobotics 2020
불일치 대 일치하는 얼굴-목소리 조합t(47) = 6.042, p < 0.001Mitchell 외, i-Perception 2011
섬뜩함: 합성 음성을 가진 사람 모습 대 사람 음성을 가진 사람 모습M = 0.19 대 M = −1.10Mitchell 외, i-Perception 2011
가상 캐릭터의 호감도: 사람 목소리 대 로봇 목소리3.75 대 2.99Choi 외, IEEE ISMAR-Adjunct 2023
첫인상의 따뜻함: 아이 같은 대 어른 같은 대 로봇 같은 설정3.37 대 2.60 대 2.06Huang과 Moore, Frontiers in Robotics and AI 2024
전반적 호감도: AI 내레이션 대 사람 내레이션61% 대 60%Crowd React Media AI Voiceover Study 2026
감정 없는 대화형 에이전트의 음성 어조를 비판한 사용자약 68%Cihodaru-Ștefanache와 Podina, Frontiers in Psychology 2025
12분 훈련 세션이 AI 음성에 대한 민감도에 미치는 효과F(1,29) = 3.918, p = 0.057Yang 외, eNeuro 2026

방법론과 출처

  • Ivory, McGettigan, Nuttall, Nightingale, “Human Detection of AI-Generated Faces and Voices is Not Domain-General”, Scientific Reports 2026, 인쇄 중, Lancaster University 저장소
  • Lavan 외, “Voice clones sound realistic but not (yet) hyperrealistic”, PLOS One 2025, PubMed Central
  • Barrington, Cooper, Farid, “People are poorly equipped to detect AI-powered voice clones”, Scientific Reports 2025, PubMed Central 및 arXiv v2
  • Mai, Bray, Davies, Griffin, “Warning: Humans cannot reliably detect speech deepfakes”, PLOS ONE 2023, PLOS ONE
  • Warren 외, “Better Be Computer or I’m Dumb: A Large-Scale Evaluation of Humans as Audio Deepfake Detectors”, ACM CCS 2024, University of Florida PDF
  • Roswandowitz 외, “Cortical-striatal brain network distinguishes deepfake from real speaker identity”, Communications Biology 2024, PubMed Central
  • Yang, Jiang, Bai, Ni, Teng, “Short-Term Perceptual Training Modulates Neural Responses to Deepfake Speech but Does Not Improve Behavioral Discrimination”, eNeuro 2026, PubMed Central
  • Ross, Corley, Lai, “Is there an uncanny valley for speech? Investigating listeners’ evaluations of realistic TTS voices”, Speech Prosody 2024, ISCA Archive
  • Kühne, Fischer, Zhou, “The Human Takes It All: Humanlike Synthesized Voices Are Perceived as Less Eerie and More Likable”, Frontiers in Neurorobotics 2020, Frontiers
  • Baird 외, “The Perception and Analysis of the Likeability and Human Likeness of Synthesized Speech”, Interspeech 2018, ISCA Archive
  • Diel, Lewis, “Deviation from typical organic voices best explains a vocal uncanny valley”, Computers in Human Behavior Reports 2024, ScienceDirect
  • Zhao, Chen, Zhao, “Does the Uncanny Valley Effect Exist When Voice Assistants Have Minds and Human-Like Appearances?”, Human Factors and Ergonomics in Manufacturing and Service Industries 2026, DOI를 통한 Wiley
  • Mavromati, Erdinch, Paterson, “The uncanny valley of familiarly unfamiliar voices”, PsyArXiv 프리프린트 2025, OSF
  • Mitchell 외, “A Mismatch in the Human Realism of Face and Voice Produces an Uncanny Valley”, i-Perception 2011, PubMed Central
  • Choi, Koilias, Volonte, Kao, Mousas, “Exploring the Appearance and Voice Mismatch of Virtual Characters”, IEEE ISMAR-Adjunct 2023, PDF
  • Huang, Moore, “Freedom comes at a cost?: An exploratory study on affordances’ impact on users’ perception of a social robot”, Frontiers in Robotics and AI 2024, Frontiers
  • Alimardani, de Roode, Vaitonyte, Louwerse, “Effect of a Virtual Agent’s Appearance and Voice on Uncanny Valley and Trust in Human-Agent Collaboration”, IVA 2024, DOI를 통한 ACM
  • Cihodaru-Ștefanache, Podina, “The uncanny valley effect in embodied conversational agents: a critical systematic review”, Frontiers in Psychology 2025, Frontiers
  • Crowd React Media (Harker Bos Group), AI Voiceover Study 2026, Crowd React Media, Radio Ink에서도 다루었다
  • Malwarebytes, AI Scams Report 2026 (성인 1,500명 대상 벤더 자체 조사), Malwarebytes
  • 데이터 참고 사항: Lancaster의 얼굴-음성 연구는 대학 저장소에 있는 게재 승인본에서 인용했으므로, 최종 학술지 버전에서는 수치가 약간 달라질 수 있다. UC Berkeley 클론 연구는 학술지 버전에서 핵심 백분율을 이미지로 인쇄하고 있어, 약 80%와 약 60%라는 수치는 공개된 초록과 일치하는 arXiv v2 본문에서 가져왔다. Queen Mary의 기준선은 실험 사이에서 달라졌으므로(청취자가 사람 음성을 ‘사람’이라고 판정한 비율은 실험 1a에서 81%, 실험 1b에서 62%, 실험 2에서 72%), 클론과 사람 음성은 하나의 실험 안에서 비교해야 하며 실험을 가로질러 비교해서는 안 된다. UCL(2023년)과 University of Florida(2024년) 연구의 두 73% 수치는 서로 다른 과제와 데이터셋을 측정한 것이며 서로의 재현이 아니다. 라디오 블라인드 테스트에서는 두 음성이 식별된 빈도에 통계적으로 유의한 차이가 나타나지 않았고, 정확한 식별 비율은 차트에만 나온다. 여기서 다룬 공개된 테스트 중 어느 것도 완전히 인간다운 수준에 가깝다고 평가된 TTS 음성에는 이르지 못했으므로, 음성의 불쾌한 골짜기 곡선의 꼭대기는 여전히 검증되지 않았다. 벤치마크로서의 자연스러움 점수(MOS와 CMOS)는 저희 MOS 정리에 일부러 맡겨 두었다.

마지막 업데이트: 2026년 11월 8일. 저희는 이 정리를 분기마다 업데이트하며, 다음 갱신은 Lancaster의 얼굴-음성 탐지 연구 최종본이 Scientific Reports에 게재될 때 이루어질 것으로 예상한다.

VoxBooster 체험 — 3일 무료.

실시간 음성 클론, 사운드보드, 이펙트 — 대화하는 모든 곳에서.

  • 카드 불필요
  • ~30ms 지연
  • Discord · Teams · OBS
3일 무료 체험