Hedy 녹취록 이해하기

Hedy의 음성 텍스트 변환 방식
Hedy를 만들기 시작했을 때, 기존의 음성 텍스트 변환 방식에는 한계가 있었습니다. 대부분의 앱은 오디오를 녹음해 원격 서버로 전송하므로 개인정보 보호에 취약합니다. Hedy는 완전히 다른 방식을 택했습니다. 음성을 기기에서 직접 실시간으로 처리합니다. 기본적으로 녹음 파일은 보관하지 않습니다. 화자를 식별할 수 있는 기기 내 음성 인식 엔진은 세션 처리가 끝날 때까지 오디오를 기기의 임시 캐시에 보관한 뒤 삭제합니다. 보관되는 것은 텍스트 녹취록뿐입니다.
기기 내 처리와 대화 데이터 관리
Hedy의 음성 인식은 전적으로 기기에서 이루어집니다. 대화를 처리하는 방식 자체를 처음부터 다시 설계한 결과입니다. 기본 동작은 다음과 같습니다.
- 오디오를 보관하지 않습니다. Hedy는 기본적으로 녹음 파일을 저장하지 않습니다. 화자 레이블을 붙이는 데 쓰는 임시 오디오 캐시는 기기에만 남아 있다가 세션 처리가 끝나면 삭제됩니다. ‘설정 → 개인 정보 및 시스템에서 임시 오디오 캐시’를 끌 수 있습니다.
- Hedy 서버로 오디오를 전송하지 않습니다. 기본적으로 기기에서 직접 음성을 처리하므로 Hedy에는 오디오 데이터가 전달되지 않습니다. 직접 켜는 옵션에는 예외가 있습니다. 본인의 API 키를 입력해 클라우드 음성 텍스트 변환 서비스를 이용하거나, 저장한 오디오를 본인의 iCloud 계정에 복사하는 ‘iCloud에 녹음 동기화’를 켤 수 있습니다.
- 텍스트만 보관합니다. Hedy는 대화를 텍스트로 옮긴 녹취록을 보관합니다.
나중에 오디오를 다시 듣고 싶다면 세션 설정에서 오디오 저장을 켜세요. 이 옵션을 켜면 Hedy는 녹음 파일을 녹취록과 함께 기기에 저장합니다. 이 경우에도 녹음 파일은 Hedy 서버로 전송되지 않습니다. Apple 기기에서는 ‘iCloud에 녹음 동기화’도 켤 수 있습니다. 파일이 본인의 iCloud 계정에 복사되어 같은 계정에 로그인한 다른 Apple 기기에서도 재생할 수 있습니다.
개인정보 보호는 Hedy의 핵심 원칙입니다. 음성 인식은 기기에서 이루어지며, 기본적으로 오디오는 보관하지 않습니다. 클라우드 분석은 기본적으로 녹취록 내용을 메모리에서 처리하며, 로컬 AI 처리를 사용하면 전 과정을 기기 내에서 처리할 수 있습니다.
오디오 개인정보 보호와 동의
미국 일부 주의 양 당사자 동의법이나 유럽의 GDPR을 비롯해, 녹음과 음성 텍스트 변환에 관한 여러 법규에서 오디오 녹음 및 저장을 다룹니다. 기본값대로 오디오 저장을 꺼 두면 Hedy는 다음과 같이 동작합니다.
- 세션 처리가 끝나면 오디오 파일을 보관하지 않습니다.
- 오디오는 기기의 임시 캐시에만 보관하며, 세션 처리가 끝나면 삭제합니다.
- 어떤 서버나 제3자에게도 오디오를 전송하지 않습니다.
따라서 Hedy에 적용되는 동의 요건은 오디오를 녹음하고 저장하는 도구에 적용되는 요건과 다를 수 있습니다. Hedy가 생성한 텍스트 녹취록은 기기에 저장됩니다. 계정을 만들 때 ‘클라우드 동기화’를 켰다면 녹취록이 암호화된 상태로 클라우드에도 동기화됩니다. 로컬 AI 처리를 사용하지 않으면 클라우드 AI 분석은 녹취록 내용을 일시적으로 처리합니다.
오디오 저장을 켜면 대화 오디오가 기기에 저장됩니다. 이 경우 다른 오디오 녹음 도구와 동일한 동의 요건이 적용될 수 있습니다.
개인정보 보호와 녹음 관련 법규는 관할 지역마다 다릅니다. 해당 지역의 규정을 확인하세요. 이 정보는 처리 방식을 투명하게 알리기 위해 제공되며, 법률 자문이 아닙니다.
실시간 음성 텍스트 변환의 기술적 과제
모바일 기기에서 정확한 녹취록을 즉시 생성하는 일은 매우 복잡합니다. Hedy는 다음 세 가지 요소의 균형을 맞춰야 합니다.
- 처리 속도
- 연산 효율
- 음성 인식 정확도
Hedy는 대화 중에 인사이트를 바로 제공하는 데 우선순위를 둡니다. 화면에 표시되는 녹취록은 대화가 이어지는 동안 계속 갱신되며 대화의 요지를 담습니다.
녹취록의 특징
Hedy의 녹취록은 AI를 활용해 대화 흐름을 담아내며 계속 갱신됩니다. 법정 속기록 수준의 완벽한 기록을 목표로 하지는 않습니다. 다음과 같은 특징이 있을 수 있습니다.
- 문장부호가 가끔 달라짐
- 실제 발언과 단어 선택에 약간 차이가 있음
- 대화의 흐름을 살린 자유로운 형식
Hedy의 녹취록은 대화의 핵심을 놓치지 않는 능숙한 메모 작성자가 남긴 기록에 가깝습니다.
녹취록의 화자 이름
Hedy가 화자를 구분한 세션에는 화자 칩이 표시됩니다. 기기 내 음성 인식 엔진인 Nemotron과 Whisper 모두 화자를 구분할 수 있습니다. 클라우드 음성 인식 서비스(Deepgram, OpenAI 또는 xAI)로 캡처한 세션에는 화자별 발언 구간 정보가 없어 칩이 표시되지 않습니다. 엔진별 요구 사항은 아래 화자 칩이 표시되지 않는 경우에서 확인하세요.
화자가 구분된 세션에서는 녹취록 위에 화자 칩이 한 줄로 표시됩니다. 칩 하나는 Hedy가 감지한 화자 한 명을 나타냅니다. 칩을 눌러 화자의 실제 이름을 입력하세요. 그때부터 녹취록, 화자 목록, 세션에서 내보내는 모든 자료에 해당 이름이 사용됩니다.
Hedy는 화자 이름을 자동으로 파악하기도 합니다. 누군가 자기소개를 하거나 다른 참석자가 그 사람을 이름으로 부르면, Hedy가 이를 단서로 삼아 이름을 자동으로 적용합니다. 캘린더 초대와 토픽 컨텍스트도 사람을 정확히 식별하는 데 도움이 됩니다. 단서가 부족하면 Hedy는 이름을 추측하지 않고 번호를 유지합니다. 일부 화자에게만 이름이 표시되는 것은 정상입니다.
직접 입력한 이름은 덮어쓰지 않습니다. Hedy는 직접 이름을 지정하지 않은 화자에게만 추론한 이름을 적용합니다.
화자 이름은 세션과 함께 유지됩니다. 복사하거나 공유하거나 다운로드하거나 내보낸 자료에 이름이 표시되며, 다른 기기에도 동기화됩니다. 녹취록 정리에는 확인한 이름이 사용되므로 정리된 녹취록에서 실제 이름으로 대화를 읽을 수 있습니다.
화자 이름을 바꿔도 이미 생성한 요약이나 자세한 메모는 바뀌지 않습니다. Hedy는 “기존 AI 출력에는 이전 이름이 유지됩니다. 이를 새로고침하려면 요약을 업데이트하거나 노트를 업데이트하세요.라고 안내합니다. 요약을 갱신하려면 요약 카드의 원형 화살표 아이콘을 누르세요. 이 아이콘의 툴팁에는 요약 다시 생성’이 표시됩니다.
두 화자를 하나로 병합하는 방법
Hedy가 한 사람을 서로 다른 두 화자로 인식했다면 칩을 하나로 합칠 수 있습니다. 없앨 칩을 누르고 병합 아이콘을 누른 다음, ‘다음으로 병합…’ 목록에서 실제로 해당 발언을 한 화자를 선택하세요. 이후 두 화자에게 같은 이름과 색상이 적용되고, 요약과 자세한 메모에서도 한 사람으로 처리됩니다.
두 칩에 같은 이름을 지정하는 것만으로는 병합되지 않습니다. 레이블만 같을 뿐 서로 다른 화자로 남아 있으므로 요약에서도 여전히 두 사람으로 처리됩니다.
병합하기 전에 다음 두 가지를 확인하세요.
- 병합 후 남길 화자에게 이미 이름이 지정되어 있어야 합니다. 이름 없는 화자끼리 합치면 표시할 레이블이 없으므로 앱에서 병합 옵션을 제공하지 않습니다.
- 앱에서는 병합을 취소할 수 없으므로 남길 화자를 신중하게 선택하세요.
녹취록 자체는 다시 작성되지 않습니다. 녹취록을 읽을 때 병합이 적용되므로 복사본, 다운로드, 공유, 공개 링크, 다른 기기에서도 병합 상태가 유지됩니다.
화자 칩이 표시되지 않는 경우
화자 목록을 표시하려면 화자별로 발언 구간이 나뉜 녹취록이 필요합니다. 두 기기 내 음성 인식 엔진 모두 이러한 녹취록을 생성할 수 있습니다.
- Nemotron은 macOS 15 이상이 설치된 Apple Silicon Mac, iPhone XS 및 이후 모델, Neural Engine이 탑재된 iPad, Windows, 64비트 Android 휴대전화에서 화자를 구분합니다. Apple 기기에서는 화자 레이블이 실시간으로 표시되며, Windows와 Android에서는 세션이 끝난 뒤 추가됩니다.
- Whisper는 32비트 Android 휴대전화를 제외한 모든 네이티브 앱에서 세션이 끝난 뒤 화자 레이블을 추가할 수 있습니다. ‘음성 활동 감지를 켜 둔 상태에서 세션을 시작하기 전에 세션 오디오 저장 또는 임시 오디오 캐시’를 켜세요. Whisper로 가져온 오디오 및 비디오 파일에도 화자 레이블을 추가할 수 있습니다.
클라우드 음성 인식 서비스로 캡처한 세션에는 화자별 발언 구간 정보가 없어 화자 칩이 표시되지 않습니다. 화자 목록은 세션을 캡처할 때 결정됩니다. 위 설정을 켜지 않고 캡처한 세션에는 나중에 설정을 켜도 화자 목록이 추가되지 않습니다.
Hedy가 화자 레이블을 붙이려 했지만 실패하면 레이블 없는 녹취록을 유지합니다. 화자 레이블을 사용할 수 없다는 안내는 세션을 실행한 기기에만 표시됩니다. 이 안내는 다른 기기로 동기화되지 않으며, 다른 사람이 공유한 세션이나 웹 앱, 화자 레이블 생성을 시도하지 않은 세션에는 표시되지 않습니다. 이 안내가 한 사람만 발언했다는 뜻은 아닙니다.
이 안내는 Whisper로 진행한 세션에서 ‘음성 활동 감지와 함께 세션 오디오 저장 또는 임시 오디오 캐시를 켰을 때만 표시됩니다. 따라서 클라우드 음성 인식 서비스를 사용했거나 필요한 설정이 꺼져 있었다는 뜻은 아닙니다. Whisper의 세션 종료 후 화자 레이블 지정은 모든 세션에서 성공하지는 않습니다. 이 안내가 표시된 세션에서는 녹취록 정리’를 사용해 대화 내용에서 화자를 파악하고 레이블을 추가할 수 있습니다. 아래 녹취록 정리를 참고하세요. 다음 세션부터는 기기에서 지원하는 경우 Nemotron으로 전환할 수도 있습니다. Apple 기기에서 Nemotron을 사용하면 세션 중에 화자 레이블이 실시간으로 표시됩니다.
웹 앱에서 이러한 세션을 직접 캡처할 수는 없지만, 다른 기기에서 동기화한 세션의 화자 칩을 보고 이름을 변경할 수 있습니다.
화자 이름을 변경할 수 없는 경우
다음 경우에는 칩이 표시되지만 편집할 수 없습니다.
- 다른 사람이 공유한 세션을 보고 있는 경우
- 세션이 아직 진행 중인 경우. 먼저 세션을 종료하세요.
- 정리된 녹취록을 보고 있는 경우. 반짝이 모양의 전환 버튼으로 원본으로 돌아가 이름을 변경한 다음, 정리된 녹취록으로 다시 전환하세요.
녹취록의 타임스탬프
타임스탬프는 대화의 각 부분이 언제 발언되었는지 보여 줍니다. 기본적으로 꺼져 있습니다. 표시하려면 세션의 녹취록을 열고 옆에 있는 도구 모음에서 시계 버튼을 선택하세요. 이 버튼의 툴팁은 ‘타임스탬프 표시’입니다. 다시 선택하면 타임스탬프가 숨겨집니다. Hedy는 해당 기기에서 선택한 상태를 기억합니다.
화자별 발언 구간마다 세션 시작 시점부터 계산한 발언 시작 시간이 표시됩니다. 예를 들어 12:40으로 표시되며, 세션이 더 길면 1:05:12처럼 표시됩니다.
오디오에서 해당 시점으로 이동할 수 있습니다. 이 기기에 세션 오디오가 저장되어 있다면 타임스탬프를 선택해 해당 시점의 바로 앞부터 대화를 재생하세요. 앞 문맥도 들을 수 있도록 Hedy는 약 2초 전부터 재생합니다. 세션 오디오를 보관하려면 시작하기 전에 ‘세션 오디오 저장’을 켜세요. 자세한 내용은 세션 오디오 녹음 및 관리를 참고하세요. 세션 오디오가 iCloud에 있다면 먼저 다운로드하세요.
타임스탬프가 표시되어 있으면 복사본과 다운로드 파일에도 시간이 포함됩니다. 시간 표시가 없는 녹취록이 필요하면 먼저 타임스탬프를 숨기세요.
시계 버튼이 표시되지 않는 경우
타임스탬프는 화자 레이블과 함께 제공됩니다. 따라서 Nemotron이나 Whisper가 화자를 구분해 화자 칩이 표시되는 세션에 나타납니다. 클라우드 음성 인식 서비스(Deepgram, OpenAI 또는 xAI)로 캡처한 세션에는 시간 정보가 없어 시계 버튼이 표시되지 않습니다. 시간 정보를 저장하기 전에 만들어진 이전 세션에도 이 버튼이 표시되지 않습니다.
웹 앱과 토픽의 녹취록 화면에서는 타임스탬프가 표시되지만, 타임스탬프를 선택해 오디오를 재생할 수는 없습니다.
녹취록 정리
공유하거나 내보내기 위해, 또는 읽기 편하게 다듬고 싶을 때 Hedy로 녹취록의 정리본을 만들 수 있습니다. 완료된 세션을 열고 ‘대화 내용 탭에서 녹취록 정리’ 버튼을 누르세요. 반짝이 또는 별 모양(✨)이라 놓치기 쉽습니다. 원본 녹취록을 덮어쓰지 않으며 정리본은 원본과 함께 저장됩니다. 언제든 두 버전 사이를 전환할 수 있습니다.
화자가 너무 많을 때 녹취록 정리하기
Hedy는 음성을 텍스트로 변환하면서 들리는 목소리를 구분하고 화자 레이블을 자동으로 붙입니다. 대화가 길거나 배경 소음이나 울림이 있으면 한 사람의 목소리가 여러 화자로 나뉘어 실제보다 많은 화자가 표시될 수 있습니다. 두 사람이 참여한 세션에 화자가 다섯 명 이상 표시되기도 합니다. 세션 자체에는 문제가 없으며, 발언마다 레이블을 고칠 필요도 없습니다. ‘녹취록 정리’를 실행하면 Hedy가 세션 전체를 다시 읽고 같은 사람의 목소리를 하나로 합칩니다. 화자가 너무 많거나 인원수가 실제와 다르거나, 화자 레이블이 잘못되었거나, 한 사람의 목소리가 여러 화자로 나뉜 경우를 한 번에 정리합니다.
한 사람만 두 화자로 나뉘었고 나머지 녹취록에 문제가 없다면 두 칩을 병합하는 것으로 충분합니다. 위 두 화자를 하나로 병합하는 방법을 참고하세요. 이렇게 하면 나머지 녹취록은 그대로 유지됩니다.
개별 발언 구간이나 녹취록의 일부만 다른 화자에게 배정할 수는 없습니다. 잘못된 화자 레이블을 수정하는 방법은 화자 병합과 ‘녹취록 정리’ 두 가지입니다.
정리하기 전에 세션을 열고 메모를 확인하세요. 정리 기능은 세션 요약과 자세한 메모를 읽고 누가 발언했는지 파악합니다. 요약이나 메모에 실제 참석자의 이름이 명확하게 나와 있으면 정리본에 “화자 1”, “화자 2” 같은 번호 대신 실제 이름을 표시할 수 있습니다. ‘녹취록 정리’를 누르기 전에 요약이나 메모에 모든 참석자의 이름이 있는지 확인하세요.
정리본에 여전히 잘못된 화자 수가 표시될 수 있습니다. AI가 정리하므로 매번 정확한 결과가 나오는 것은 아닙니다. 메모나 요약에서 이름을 수정한 뒤 ‘녹취록 정리’를 다시 실행해 갱신된 컨텍스트로 새 정리본을 만드세요.
녹취록을 정리할 때 Hedy의 AI는 다음 작업을 합니다.
- 발언 내용을 바꾸지 않으면서 맞춤법, 문장부호, 문법을 바로잡습니다.
- 화자 칩에서 확인한 이름을 우선 사용해 화자 레이블을 추가합니다. 확인한 이름이 없으면 세션 요약이나 메모에서 파악한 실제 이름을 쓰고, 그마저 없으면 “화자 1”, “화자 2” 등으로 표시합니다.
- 문단을 나누고 표현을 명확하게 다듬어 읽기 쉽게 만들며,
[Music]이나>>처럼 불필요한 표시를 제거합니다. - 사용자 정의 어휘를 적용해 회사 이름, 제품 용어, 전문 용어를 올바르게 표기합니다.
- 원하면 같은 단계에서 정리된 녹취록을 다른 언어로 번역합니다. 정리 대화 상자에서 번역할 언어를 선택하거나 ‘원본 언어 유지’를 그대로 두세요.
세션에 정리본이 생기면 녹취록 화면에서 반짝이 아이콘을 눌러 원본과 정리본 사이를 전환할 수 있습니다. 정리본을 보고 있을 때는 “정리된 대본 표시 중”이라는 배너가 나타납니다.
녹취록 정리에는 클라우드 AI 모델을 사용하며, 세션을 캡처한 기기에서 정리를 실행합니다. 다른 기기에서 동기화되었거나 공유받은 세션은 정리를 실행할 수 없습니다. 세션의 원래 소유자가 처음 캡처한 기기에서만 녹취록을 정리할 수 있습니다.
녹취록 텍스트를 직접 편집하려면 원본 화면으로 돌아가세요. 편집은 가공 전 녹취록에서만 할 수 있어 실제 발언을 확인할 수 있는 원본이 유지됩니다. 편집한 뒤에는 녹취록 정리를 다시 실행해 수정 사항이 반영된 새 정리본을 만들 수 있습니다.
언어와 정확도
Hedy는 여러 언어의 음성 텍스트 변환 품질을 꾸준히 개선하고 있습니다. 현재는 영어에서 가장 높은 완성도를 제공하며, 기기 내 처리 기능의 범위와 품질을 지속적으로 높이고 있습니다. 휴대전화 프로세서의 성능이 향상되면 음성 텍스트 변환도 한층 정교해질 것입니다.
녹취록 품질 높이기
Hedy가 대화를 더 잘 캡처할 수 있도록 다음 방법을 시도해 보세요.
- 적당한 속도로 또렷하게 말하세요.
- 배경 소음을 최대한 줄이세요.
- 목소리가 잘 잡히는 위치에 기기를 놓으세요.
그래도 녹취록이 부정확하거나 내용이 빠진다면 음성 텍스트 변환 품질 문제 해결 방법을 확인하세요. 완료된 세션에 화자가 너무 많이 표시된다면 녹취록 정리로 해결할 수 있는 문제입니다. 위 녹취록 정리를 참고하세요.
배경 소음이 있거나 여러 사람이 동시에 말하거나 음향 환경이 복잡하면, 성능이 뛰어난 음성 인식 기술도 정확도가 떨어질 수 있습니다.
녹취록 확인 및 활용
Hedy에서는 녹취록을 쉽게 확인하고 활용할 수 있습니다.
- 세션 중 실시간으로 확인
- 이전 세션 다시 보기
- 추가 분석을 위해 공유하거나 내보내기
- AI 인사이트 및 주요 내용과 함께 활용
기기 내 음성 텍스트 변환의 향후 계획
Hedy의 개발은 이제 시작입니다. 앞으로 다음 사항을 개선할 계획입니다.
- 지원 언어 확대
- 처리 알고리즘 개선
- 실시간 정확도 향상
- 연산 부하 감소