Rabbit R1은 2024년 4월에 최근 몇 년간 가장 기억할 만한 제품 제안 중 하나로 출시되었습니다: 회전 카메라, 스크롤 휠, 그리고 당신을 대신하여 앱을 작동할 수 있는 Large Action Model이 있는 주머니 장치. 하드웨어는 귀여웠습니다. 소프트웨어는 출시 당시 거칠었습니다. 리뷰는 회의적인 것부터 비난적인 것까지 다양했습니다. 그리고 그것이 본질적으로 클라우드 VM에서 실행 중인 Android 앱임을 드러낸 분해는 납덩어리처럼 떨어졌습니다.
그럼에도 R1이 제기한 질문들 - AI 주변이 음성에서 실제로 필요한 것이 무엇인가? - 여전히 신중하게 답할 가치가 있습니다. 이 게시물은 R1의 실행을 변호하지 않습니다. 이는 음성 변조 기술 및 AI 음성 복제가 AI 웨어러블 장치에 실제로 기여할 수 있는 것, R1이 오디오 계층에서 잘못한 것, 그리고 이 범주의 더 나은 버전이 어떻게 생겼을지 검토하기 위한 렌즈로 R1을 사용합니다.
TL;DR
| 주제 | 짧은 답변 |
|---|---|
| 제공된 대로 R1 | 버그, 비판을 받음, 현재 가격에 가치 없음 |
| R1 오디오 계층 | 기본 마이크, 음성 인물 없음, 로컬 전사 없음 |
| 음성 수정 가능성 | 높음 - 인물, 개인정보 보호, 주변 소음 거부 |
| AI 복제 맞춤 | 중간 - 인물 생성은 매력적이지만 지연 시간이 제약 |
| 웨어러블 교훈 | 로컬 처리, 하드웨어 소프트웨어 공동 설계, 음성 UX 우선 |
| VoxBooster 페어링 | Windows 동반 경로; R1에 기본이 아닙니다. |
Rabbit R1은 실제로 무엇이었는가
낯선 독자들을 위해: Rabbit R1은 카드 팩 크기 정도의 작은 주황색 독립 실행형 AI 장치입니다. 2.88인치 터치스크린, Eye라는 360도 회전 카메라, 스크롤 휠, 스피커, 마이크가 있습니다. Wi-Fi 또는 LTE를 통해 연결되며 수정된 Android 스택 위에서 Rabbit OS를 실행합니다.
핵심 제안은 LAM이었습니다: 사람이 앱 (Spotify, Uber, DoorDash)과 상호 작용하는 방식을 관찰하고 그 상호 작용을 복제하는 방법을 배운 모델입니다. R1에 평소처럼 커피를 주문하도록 지시하십시오. LAM은 Uber Eats UI의 단계를 수행합니다, 보이지 않게.
출시 시 장치는 몇 가지 LAM 앱, 일반 AI 어시스턴트 및 이미지 캡처 기능과 함께 제공되었습니다. 약속된 많은 기능의 완전히 기능하는 버전과 함께 제공되지 않았습니다. 초기 사용자들은 기본 명령이 실패하고, 느린 클라우드 라운드 트립, 동일한 경험이 올바른 앱이 있는 휴대폰에서 재현될 수 있다는 발견을 보도했습니다. Rabbit는 나중에 업데이트를 출시했지만, 마케팅과 현실 사이의 격차는 상당했습니다.
독립 보안 연구원들은 또한 R1이 클라우드 Android VM에서 실행되고 있다는 것을 발견했습니다. 이는 “새로운 패러다임” 하드웨어가 클라우드 휴대폰의 프론트엔드임을 의미합니다. Wikipedia의 Rabbit R1 항목은 타임라인을 문서화하고, The Verge의 리뷰는 비판적 수용을 대표했습니다.
R1이 건너뛴 오디오 계층
여기서 음성 관점에서 기술적으로 흥미로워집니다. R1의 오디오 아키텍처는 제공된 대로 최소였습니다:
- 기본 노이즈 억제를 갖춘 단일 무지향성 마이크
- 로컬 음성 처리 없음 - 모든 것이 클라우드에 전사됨
- 음성 인물 또는 음성 수정 기능 없음
- 작은 단일 채널 스피커를 통한 출력
- 엣지에서 오디오 처리를 위한 API 노출 없음
이것은 상당한 미스였습니다. 음성은 주변 AI의 주요 인터페이스입니다. 사용자가 하루 종일 장치와 대화할 것입니다 - 카페, 대중교통, 산책 중에 - 장치는 음성을 매우 잘 처리해야 합니다. R1은 최선의 경우 적절히 처리했습니다.
세 가지 기능이 없어서 경험을 크게 바꿨을 것입니다.
세 가지 누락된 음성 기능
1. 로컬 전사
클라우드 전사는 당신이 말하는 모든 단어가 장치를 떠나고, 서버를 치고, 텍스트로 돌아온다는 의미입니다. 왕복은 연결에 따라 200-800ms를 추가합니다. 더 중요한 것은 당신의 대화가 당신이 통제하지 않는 제3자 서버에 기록된다는 의미입니다.
Whisper 클래스 로컬 전사 모델 (Whisper Tiny는 약 40MB에서 실행됨)은 특정 성능 임계값 이상의 임베디드 하드웨어에서 실행할 수 있습니다. R1의 MediaTek Helio P35는 실시간 추론에 대해 한계에 있지만 최적화를 통해 단어 음성 전사에 대해 실행 가능합니다. 장치는 이것 없이 제공되었습니다.
개인정보 보호 함의는 중요합니다. 어디서나 휴대하는 개인 AI 어시스턴트로 마케팅되는 장치의 경우, 클라우드 전사에 완전히 의존하는 것은 장치와 하는 모든 대화가 제어하지 않는 장소에 저장된다는 의미입니다.
2. 음성 인물 / 음성 수정
R1은 평면, 일반 TTS 음성으로 말했습니다. 이것은 들리는 것보다 더 중요합니다 (의도된 말장난). 음성 인물은 제품 정체성의 일부입니다. 전화 어시스턴트가 뚜렷한 음성을 가지고, 스마트 스피커가 조정된 오디오 프로필을 가지고, 게임 캐릭터가 배우를 캐스팅한 이유와 같습니다. 음성은 엔티티의 성격의 일부입니다.
출력 측의 음성 수정 계층은 R1이 일관되고, 구별되는 인물로 말하도록 허용할 것입니다. 입력 측의 음성 수정 계층은 사용자가 LAM의 오디오 이해 파이프라인에 사용자 정의된 음성을 투사하도록 허용할 것입니다. 음성 차이가 있는 사용자, 음성 개인정보 보호를 원하는 사용자, 또는 전문 음성 인물이 중요한 사용 사례에 유용합니다.
AI 음성 복제는 짧은 참조 클립에서 이러한 인물을 만들 수 있습니다. R1에는 이것을 위한 API 표면이 없었습니다.
3. 주변 사용을 위한 노이즈 억제
단일 무지향성 마이크와 주변 소음은 음성 인식을 위한 적대적 환경입니다. 카페, 도시 거리, 개방형 사무실 - 모두 음성 인식 정확도를 저하시키는 지속적인 배경 오디오를 생성합니다. R1은 기본 소프트웨어 노이즈 억제를 제공했지만, 지향성 어레이 처리는 제공하지 않았습니다.
웨어러블에서 좋은 노이즈 억제는 마이크 어레이 (빔포밍을 위한 두 개 이상의 마이크) 또는 공격적인 DSP 기반 필터링이 필요합니다. PC용 최고의 음성 변조기는 Windows 오디오 스택에서 소프트웨어로 이 문제를 해결했습니다. 하지만 R1은 하드웨어 제약이 있는 임베디드 오디오를 실행했습니다.
웨어러블을 위한 실제 음성 수정 아키텍처의 모양
음성을 올바르게 처리하고 싶은 AI 웨어러블을 위해 오디오 스택을 설계했다면, 아키텍처는 다음과 같이 보일 것입니다:
| 계층 | 역할 | 왜 중요한가 |
|---|---|---|
| 하드웨어 마이크 어레이 | 방향성 픽업, 빔포밍 | 소스에서 노이즈 거부 |
| 온디바이스 DSP | 에코 취소, 스펙트럼 노이즈 억제 | 실시간, 낮은 지연 시간, 클라우드 없음 |
| 로컬 전사 모델 | 온디바이스 음성-텍스트 | 개인정보 보호, 지연 시간, 오프라인 폴백 |
| 음성 인물 엔진 | 일관된 음성으로 출력 합성 | 제품 정체성, 접근성 |
| 음성 수정 입력 계층 | 전사 전에 음성 변환 적용 | 개인정보 보호, 인물, 접근성 |
| 클라우드 추론 (선택 사항) | 복잡한 추론, 긴 컨텍스트 | 무거운 작업을 위한 폴백 |
R1은 클라우드 전사 및 기본 DSP만 제공했습니다. 나머지 스택이 누락되었습니다.
LAM과 음성: 흥미로운 상호 작용
LAM 개념은 실제로 음성에 잘 맞습니다. 아마도 앱 자동화 프레이밍이 제안하는 것보다 더 많이 맞습니다. 여기 왜입니다: LAM은 인터페이스 상호 작용을 관찰하고 재생하도록 훈련되었습니다. 이를 음성 상호 작용으로 확장하면, LAM은 사용자가 말하는 방식 (속도, 어휘, 일반적인 명령)을 관찰하고 시간이 지남에 따라 명령 인식을 개선하는 해당 사용자의 음성 패턴 모델을 만들 수 있습니다.
이에 연결된 음성 수정 계층은 사용자가 인물을 정의할 수 있게 합니다. 기계 이해를 위해 최적화된 음성 버전입니다. 장치가 정규 입력으로 학습합니다. 명령은 인물 필터를 통해 라우팅되어 인식 정확도를 개선하고 주변 소음이나 사용자의 실제 음성 상태 (피곤, 아픔, 감정적)와 관계없이 일관된 인터페이스를 제공합니다.
이것은 과학 소설이 아닙니다. 기술 구성 요소는 존재합니다. R1은 결코 그것들을 조립하지 않았습니다.
R1 회고: 카테고리가 배운 것
R1은 막다른 골목이라는 의미의 실패가 아니었습니다. 실행이 준비되기 전에 비전을 배송한다는 의미의 실패였습니다. 카테고리 교훈은 교육적입니다:
하드웨어 소프트웨어 공동 설계는 선택 사항이 아닙니다. 주변 AI 하드웨어를 구축할 수 없으며 소프트웨어를 나중에 생각할 수 있습니다. R1의 하드웨어 결정 (단일 마이크, 작은 배터리, Android VM)은 설계 시간에 예측 가능한 방식으로 소프트웨어를 제약했습니다.
클라우드 의존성은 제품 책임입니다. 핵심 기능이 인터넷 연결이 필요한 모든 장치는 해당 연결이 없거나 느릴 때 실패할 수 있습니다. 웨어러블은 연결이 불안정한 환경에서 사용됩니다. 로컬 폴백은 선택 사항이 아닙니다.
음성 UX는 제품입니다. 인터페이스가 거의 전적으로 음성인 장치의 경우, 음성을 올바르게 처리하면 제품을 올바르게 처리합니다. 평면 일반 TTS 음성 및 클라우드 전용 전사로 시작하는 것은 팀이 제품이 실제로 만들어진 것을 우선시하지 않았다는 신호를 보냈습니다.
신뢰는 진정한 해자입니다. 사용자는 웨어러블을 어디든지 착용합니다. 그들은 웨어러블 근처에서 녹음 중인 마이크에는 말하지 않을 것들을 말합니다. 사용자가 장치의 데이터 처리를 신뢰하지 않으면, 채택은 열정 팬더 괄호로 제한됩니다.
VoxBooster가 이 이미지에 어떻게 맞는가
VoxBooster는 R1에서 실행되지 않습니다. R1은 타사 오디오 플러그인 지원이 없는 자체 OS를 실행합니다. 하지만 Windows 동반 경로는 실제입니다.
Windows PC에서 작업하고 웨어러블 또는 AI 어시스턴트를 옆에 사용하는 사용자의 경우: VoxBooster는 마이크 신호를 수신하기 전에 낮은 지연 시간의 오디오 캡처를 통해 오디오를 처리합니다. Windows 마이크에서 일관된 인물에 대해 AI 음성 복제를 실행하고, 노이즈 억제를 적용하고, Whisper 기반 로컬 전사를 사용할 수 있습니다. R1이 제공하지 못한 모든 기능이 데스크톱에서 사용 가능합니다.
R1 스타일 장치가 Windows 테더드 모드 또는 오디오 passthrough SDK를 출시한다면, VoxBooster의 아키텍처는 깔끔하게 플러그인될 처리 계층의 정확한 종류입니다. 그때까지 Windows 워크플로우는 웨어러블이 아직 깨뜨리지 못한 진지한 음성 인물 및 전사 사용 사례를 처리합니다.
VoxBooster 다운로드하고 AI 음성 변조 기능을 탐색하여 완전한 음성 처리 스택이 실제로 어떻게 보이는지 확인하십시오. 요금제는 3일 무료 평가판을 포함하여 $6.99/월부터 시작합니다.
더 나은 Rabbit R1은 어떻게 들렸을까
회고적으로 추측하기는 쉽지만, 더 나은 오디오 R1의 구성 요소는 지금 존재합니다:
- 하드웨어 빔포밍을 갖춘 듀얼 마이크 어레이 (약 $3 BOM 추가)
- 온디바이스에서 실행 중인 양자화된 Whisper Tiny (40MB, Helio P35에서 약 200ms 지연 시간)
- 명명된, 조정된 TTS 인물 음성 (일회성 음성 모델 비용, 최소 런타임)
- 선택적 음성 수정 입력 계층 (기계 이해를 위한 인물 정렬)
- 명확한 데이터 정책: 로컬 전사 기본값, 클라우드 옵트인
이 중 어느 것도 획기적인 하드웨어가 필요하지 않습니다. R1의 MediaTek SoC는 DSP 작업을 지원합니다. 제약은 우선순위였지, 물리학이 아니었습니다.
비교: R1 오디오 vs 가설 더 나은 버전
| 기능 | 제공된 대로 R1 | 더 나은 버전 | 격차 |
|---|---|---|---|
| 마이크 | 단일 omni | 듀얼 어레이 + 빔포밍 | 하드웨어 |
| 전사 | 클라우드 전용 | 로컬 Whisper + 클라우드 폴백 | 소프트웨어/모델 |
| 노이즈 억제 | 기본 소프트웨어 | 하드웨어 + DSP | 하드웨어/소프트웨어 |
| 음성 인물 (출력) | 일반 TTS | 조정된 명명된 인물 | 소프트웨어 |
| 음성 수정 (입력) | 없음 | 인물 정렬 계층 | 소프트웨어 |
| 개인정보 보호 | 클라우드 로깅 | 기본적으로 로컬 | 아키텍처 |
| 지연 시간 (음성 명령) | 400-800ms | 150-300ms | 아키텍처 |
더 큰 그림: 주변 AI는 먼저 음성이 해결되어야 합니다
R1은 음성을 과소 평가하는 것이 혼자가 아니었습니다. 2023-2024년 AI 웨어러블 물결의 대부분 - Humane AI Pin, Frame glasses, 다양한 개념 장치 - 대형 언어 모델이 전사 및 응답할 수 있기 때문에 음성을 해결된 것으로 취급했습니다. 언어 이해 문제와 음성 UX 문제를 혼동했습니다.
언어 이해는 대부분 해결되었습니다. 음성 UX는 그렇지 않습니다. 마이크의 품질, 로컬 전사의 신뢰성, 출력 인물의 일관성, 오디오 데이터의 개인정보 보호 - 이는 현실 세계에서 하루 종일 장치를 사용할 수 있는지 결정하는 매력 없는 인프라 문제입니다.
주변 AI 카테고리가 하드웨어 수준의 음성 UX를 해결할 때까지, VoxBooster 같은 Windows 기반 음성 처리 도구는 완전하고 신뢰할 수 있는 음성 인물 및 전사 스택이 필요한 사용자를 위해 더 실용적인 경로로 남아있습니다.
FAQ
Rabbit R1에서 음성 변조기를 사용할 수 있습니까? 기본적으로는 아닙니다. R1은 자체 운영 체제 및 LAM 클라우드 스택에서 실행되며 타사 오디오 플러그인 지원이 없습니다. Bluetooth를 통해 쌍을 이루거나 함께 제공되는 앱을 통해 Windows PC는 이론적으로 음성을 미리 처리할 수 있지만 제공된 대로 R1에 대한 공식 음성 수정 경로가 없습니다.
LAM이란 무엇이며 왜 음성에 중요한가요? LAM은 Large Action Model을 의미합니다. Rabbit의 사용자가 인터페이스와 상호작용하는 방식을 관찰하고 재생하는 방식으로 인터페이스를 작동하도록 훈련된 모델의 용어입니다. 음성의 경우 LAM은 원칙적으로 음성 명령을 사용자 정의된 음성 인물 설정을 통해 라우팅할 수 있지만 Rabbit은 이 기능을 출시한 적이 없습니다.
Rabbit R1은 정말 상자 안의 Android 앱일 뿐이었습니까? 독립적인 분해에 따르면 대부분 그렇습니다. R1 하드웨어는 수정된 Android 스택에서 실행되었습니다. 대부분의 기능은 휴대폰 앱으로 재현할 수 있었습니다. Rabbit은 나중에 소프트웨어 스택이 클라우드 Android VM에서 실행되었음을 인정했습니다.
AI 웨어러블 장치와 가장 잘 어울리는 음성 워크플로우는 무엇입니까? 로컬 전사 (대화가 장치에 머물도록), 나가는 오디오에 적용된 지속적인 음성 인물, 그리고 주변 마이크에 대한 노이즈 억제. 이 구성 요소들은 함께 장치에 일관된, 개인적인, 낮은 지연 시간의 음성 계층을 제공합니다.
VoxBooster는 AI 웨어러블과 작동합니까? VoxBooster는 Windows 10/11에서 실행되며 Windows 오디오 서브시스템을 통해 오디오를 처리합니다. 웨어러블과 함께 사용되는 데스크톱 또는 노트북의 음성 처리 계층으로 작동할 수 있으며 AI 복제 및 노이즈 억제를 오디오가 다운스트림 서비스로 전송되기 전에 적용합니다.
실제 AI 웨어러블 음성 계층에는 어떤 하드웨어가 필요합니까? 최소한: 로컬 음성 처리를 위한 전용 DSP 또는 NPU, 노이즈 거부를 위한 방향성 마이크 어레이, 작은 음성 모델을 보유할 수 있는 충분한 RAM (약 300-800 MB). R1에는 MediaTek Helio P35가 있었습니다. 기본 DSP는 가능했지만 유용한 지연 시간으로 신경 음성 합성은 불가능했습니다.
AI 웨어러블 범주가 Rabbit R1에서 배운 교훈은 무엇입니까? 세 가지 주요 교훈: 하드웨어 소프트웨어 공동 설계가 새로운 형태 인자보다 더 중요합니다. 클라우드 의존성은 신뢰와 지연 시간의 책임입니다. 그리고 오디오 UX 계층 (음성 품질, 전사 정확도, 인물 일관성)은 배송 후가 아니라 배송 전에 해결해야 합니다.