멀티모달 에이전트는 텍스트만 처리할 수 있으면서도 이미지, 음성, 인터페이스 상태, 문서, 심지어 동영상 등 여러 입력을 동시에 수신하고 활용할 수 있으며, 이를 도구 호출과 작업 계획과 결합해 동작을 실행하는 에이전트를 의미합니다. 최근 들어 점점 더 많은 관심을 받고 있는데, 많은 실제 작업이 텍스트 속에서만 일어나는 것이 아니기 때문이며, 에이전트가 진정으로 일하려면 먼저 "보고, 이해하고, 움직이는" 것이 필요하기 때문입니다.
왜 일반 채팅 상담원보다 더 어려운가요?
- 입력은 텍스트뿐만 아니라 시각, 음성, 인터페이스 맥락도 더 복잡합니다.
- 예를 들어, 페이지를 이해하는 것이 버튼을 클릭하는 것을 의미하지 않기 때문에 인식과 실행을 분리하기가 더 쉽습니다.
- 실제 도구와 실제 환경에 연결되면 오류 비용이 텍스트 Q&A보다 훨씬 높아질 것입니다.
왜 이 방향은 계속 뜨거워지는 걸까요?
| 더위의 이유 | 설명 |
|---|---|
| GUI 에이전트가 점점 인기를 끌고 있습니다 | 점점 더 많은 시스템이 AI가 컴퓨터와 웹페이지를 작동시키려 하고 있습니다 |
| 말하기와 시각 모델은 더 성숙해졌습니다 | 입력 평면은 더 이상 텍스트에만 국한되지 않습니다 |
| 실제 업무는 더 까다롭습니다 | 기업과 개인 모두 에이전트가 복잡한 업무를 실제로 수행하기를 기대하고 있습니다 |
멀티모달 에이전트의 가치는 챗봇보다 더 화려한 입력 몇 개에 있는 것이 아니라, 실제 작업 형태와 얼마나 가깝은지에 있습니다. "말하기"에서 "관찰하고, 판단하고, 행동하기"로 넘어가는 중간 단계로 이해할 수 있습니다. 비전, 말, 도구, 과제 실행의 교차점을 건드리기 때문에 점점 더 뜨거운 단어가 되었습니다.
