AI 전화응대 구조: STT·LLM·TTS 실시간 파이프라인과 응답 지연

AI 전화응대는 고객의 말을 듣고(STT), 무엇이라 답할지 생각하고(LLM), 그 답을 목소리로 말하는(TTS) 세 단계를 통화 내내 되풀이하는 구조입니다. 사람끼리 대화할 때는 말과 말 사이의 공백이 아주 짧아서, AI의 대답이 조금만 늦어도 어색하게 느껴집니다. 그래서 음성 AI에서는 각 단계를 얼마나 빨리, 얼마나 겹쳐서 처리하느냐가 핵심 과제입니다.

듣기, 생각, 말하기: AI 전화응대의 3단계

최근에는 음성을 직접 입력받고 음성으로 바로 답하는 실시간 음성 모델도 쓰입니다. 세 단계를 하나의 모델 안에서 처리해 단계 사이의 넘겨주기를 줄인 방식입니다. 겉모습은 달라도 '알아듣고, 판단하고, 말한다'는 구조는 같아서, 이 글의 원리는 두 방식 모두에 적용됩니다.

통화 녹음 STT와 실시간 STT는 무엇이 다를까

통화가 끝난 뒤 녹음을 글자로 바꾸는 음성 인식은 파일 전체를 앞뒤 문맥까지 보고 처리할 수 있어 정확도를 우선합니다. 반면 AI 전화응대의 인식은 고객이 말하는 동안 조각 단위로 결과를 내야 하므로 속도가 우선입니다. 같은 '음성 인식'이라도 목적에 따라 설계가 다릅니다.

제로콜도 두 가지를 나눠 처리합니다. 통화 녹음의 대화 내역은 통화 종료 후 배치 처리로 만들어지고, AI 전화응대에서는 통화 음성이 통화 진행 중에 실시간 암호화 스트리밍으로 AI 사업자(Google, OpenAI)에 전달됩니다. 이때 응답 매뉴얼과 설정값이 함께 전달되며, 실시간 대화 데이터는 통화 종료 즉시 삭제됩니다.

응답 지연은 어디에서 생기나요

고객이 말을 마친 순간부터 AI의 첫 소리가 들리기까지의 시간이 체감 지연입니다. 이 시간은 여러 구간의 합으로 이루어집니다.

• 말 끝 감지: 고객이 말을 끝냈는지 판단하려면 잠깐의 침묵을 기다려야 합니다. 너무 짧게 기다리면 말 중간에 끼어들고, 길게 기다리면 느려집니다.
• 음성 인식: 마지막 말소리를 글자로 확정하는 시간입니다.
• 답변 생성: 언어 모델이 첫 단어를 내놓기까지의 시간과 답의 길이가 영향을 줍니다.
• 음성 합성: 문장을 소리로 바꾸는 시간입니다.
• 전송 왕복: 음성이 AI 사업자까지 갔다 오는 네트워크 시간입니다.

지연을 줄이는 원리: 스트리밍과 겹쳐 처리

모든 단계를 차례로 끝낸 뒤 다음 단계로 넘기면 각 구간의 시간이 그대로 더해집니다. 실시간 음성 AI는 이를 피하려고 단계를 겹칩니다. 고객이 말하는 동안 인식을 미리 진행하고, 언어 모델이 첫 문장을 만들자마자 음성 합성을 시작해, 나머지 문장은 말하는 동안 이어서 만듭니다.

이 구조에서는 답이 짧고 첫 문장이 핵심을 담을수록 유리합니다. 응답 매뉴얼을 '전화로 읽어주기 좋게 2~3문장으로' 쓰라는 안내도 같은 이유입니다. 긴 문단은 듣는 사람도 기억하기 어렵고, AI가 말하는 시간도 길어집니다.

사장님이 설정으로 조절할 수 있는 것

• 응답 매뉴얼: 내용을 2~3문장으로 짧게 쓰고, '/'나 ':' 같은 기호와 약어를 피합니다.
• AI 첫 인사 문구: 최대 600자까지 쓸 수 있지만, 길수록 고객이 용건을 말하기까지 오래 기다립니다. 비워 두면 AI가 짧게 인사합니다.
• 고객 말 끼어들기 허용: 켜면 고객이 말할 때 AI가 말을 멈추고 듣습니다.
• AI 목소리: 밝은 여성, 차분한 여성, 밝은 남성(기본), 차분한 남성 중에서 고릅니다.

이 설정들은 모두 앱의 'AI' 탭에서 바꾸며, 매뉴얼을 고치면 다음 통화부터 반영됩니다. AI 전화응대가 실제로 어떻게 응대하는지는 zerocall.kr/ai-call 에서 볼 수 있습니다.

정리하면, AI 전화응대는 듣기·생각·말하기를 실시간으로 반복하는 파이프라인이고, 체감 속도는 각 단계를 얼마나 겹쳐 처리하느냐에 달려 있습니다. 매뉴얼을 짧고 핵심부터 쓰는 것이 사용자가 할 수 있는 가장 확실한 속도 개선입니다.