TrendDecode - 문화와 트렌드를 데이터로 읽는 매거진

 

 

생성형 AI인 챗GPT가 전 세계를 강타한 이후 IT 업계의 시선은 이제 대형 언어 모델인 LLM을 넘어 대형 액션 모델인 LAM으로 향하고 있다. 단순히 텍스트를 생성하고 정보를 요약해 주던 단계를 지나 사용자를 대신해 쇼핑몰 장바구니에 물건을 담고 결제까지 수행하는 행동형 AI의 시대가 도래했다. 본문에서는 CES 2024의 화제작 래빗 R1이 보여준 LAM의 가능성과 한계를 팩트 기반으로 분석하고 앱 중심의 스마트폰 인터페이스가 어떻게 자연어 중심의 제로 UI로 개편될 것인지 전망한다. 검색과 터치라는 기존의 입력 방식을 파괴하고 명령과 수행이라는 새로운 패러다임을 제시하는 LAM 기술의 현주소와 미래 가치를 트렌드디코드에서 심층적으로 다룬다.

 

 

---

 

 

1. 생성형 AI의 한계와 행동하는 인공지능 LAM의 등장 배경

 

 

말만 하는 AI에서 행동하는 AI로의 진화를 텍스트 화면과 물리적인 로봇 팔의 대비를 통해 직관적으로 표현

 

 

텍스트 생성에 그치는 LLM의 한계를 넘어 실질적인 디지털 행동을 수행하는 LAM이 AI의 새로운 패러다임으로 부상했다

 

2023년이 챗GPT로 대표되는 대형 언어 모델인 LLM의 해였다면 2024년 이후의 흐름은 대형 액션 모델인 LAM으로 급격하게 이동하고 있다. LLM은 방대한 텍스트 데이터를 학습하여 사람처럼 대화하고 정보를 요약하거나 코드를 짜는 데 탁월한 능력을 보여주었지만 결정적인 한계를 가지고 있는데 그것은 바로 실질적인 행동을 하지 못한다는 점이다. 예를 들어 사용자에게 여행 일정을 짜줄 수는 있지만 실제로 항공권을 예매하거나 호텔을 예약하고 결제까지 완료하는 과정은 여전히 사람의 손을 거쳐야 한다. 이러한 단절은 AI가 단순한 조언자 역할에 머무르게 만드는 원인이 되었으며 사용자는 여전히 여러 개의 앱을 오가며 터치하고 스크롤 하는 노동을 반복해야 했다.

 

이러한 배경 속에서 등장한 LAM은 언어 모델이 이해한 의도를 바탕으로 컴퓨터나 스마트폰 화면 속의 인터페이스를 직접 조작하는 것을 목표로 한다. 이는 마치 사람이 눈으로 화면을 보고 손으로 버튼을 누르는 것처럼 AI가 그래픽 사용자 인터페이스인 GUI를 인식하고 클릭, 스크롤, 타이핑 등의 물리적 상호작용을 수행하는 기술이다. 마이크로소프트의 빌 게이츠가 예견했던 모든 것을 대신해 주는 에이전트의 개념이 LAM을 통해 기술적으로 구체화되고 있는 것이다. 이제 사용자는 검색 결과를 읽고 다시 앱을 실행하는 번거로움 없이 "도쿄행 비행기 가장 싼 걸로 예매해 줘"라는 말 한마디로 모든 과정을 끝낼 수 있게 된다.

 

LAM의 핵심은 API가 없는 앱이나 웹사이트에서도 작동할 수 있다는 범용성에 있다. 기존의 자동화 툴은 개발자가 열어준 API가 있어야만 연동이 가능했지만 LAM은 신경망 기술을 통해 화면 자체를 학습하므로 인간을 위해 설계된 모든 인터페이스를 다룰 수 있다. 이는 폐쇄적인 플랫폼 정책을 고수하는 서비스들조차 AI의 행동 반경 안으로 끌어들일 수 있음을 의미하며 앱 생태계의 장벽을 허무는 혁신적인 시도다.

 

 

---

 

 

2. 래빗 R1이 제시한 뉴로 심볼릭 기술과 작동 원리

 

 

사용자가 AI에게 직접 소프트웨어 사용법을 가르치면 AI가 이를 습득하여 자동화하는 티치 모드의 개념을 시각화

 

 

인간의 앱 사용 패턴을 모방하는 뉴로 심볼릭 접근법은 API 의존도를 낮추고 범용적인 자동화를 가능하게 만들었다

 

CES 2024에서 공개되어 하루 만에 1만 대가 완판되며 화제를 모았던 래빗 R1은 LAM 기술을 하드웨어로 구현한 대표적인 사례다. 이 기기에 탑재된 래빗 OS는 LLM의 언어 이해 능력에 뉴로 심볼릭 프로그래밍을 결합하여 작동한다. 뉴로 심볼릭이란 신경망의 패턴 인식 능력과 기호 논리의 추론 능력을 합친 하이브리드 방식으로 AI가 화면의 구조를 이해하고 다음에 어떤 행동을 취해야 할지 논리적으로 판단하게 만든다. 이를 통해 래빗 R1은 우버 앱의 '호출하기' 버튼이 어디에 있는지, 스포티파이의 '재생' 버튼이 어떤 모양인지 학습하고 실행할 수 있다.

 

래빗의 LAM은 단순히 버튼 위치를 좌표로 외우는 매크로 방식과는 차원이 다르다. 화면 해상도가 바뀌거나 앱 업데이트로 UI 디자인이 변경되더라도 AI는 문맥을 파악하여 정확한 버튼을 찾아낼 수 있다. 또한 사용자가 직접 AI에게 행동을 가르칠 수 있는 티치 모드를 제공하여 학습되지 않은 새로운 앱의 사용법도 빠르게 습득한다. 예를 들어 사용자가 포토샵으로 특정 효과를 주는 과정을 한 번 보여주면 LAM은 그 과정을 녹화하고 분석하여 다음부터는 명령만으로 동일한 작업을 수행해 낸다.

 

이러한 기술적 진보는 AI가 클라우드 상의 가상 브라우저인 래빗 홀을 통해 사용자의 계정으로 로그인하고 작업을 대신 수행하는 구조로 완성된다. 사용자의 기기 리소스를 잡아먹지 않으면서도 복잡한 연산을 서버에서 처리하고 결과값만 단말기로 전송하는 방식은 하드웨어 스펙의 제약을 뛰어넘게 만든다. 이는 고성능 스마트폰이 아니더라도 AI 전용 단말기가 충분히 제 기능을 할 수 있음을 증명하며 포스트 스마트폰 시대의 가능성을 열어주었다.

 

 

---

 

 

3. 앱 중심에서 의도 중심의 제로 UI 시대로의 전환

 

 

수많은 앱을 설치하고 관리하던 시대가 가고 자연어 명령 하나로 모든 것이 해결되는 인터페이스의 미래를 연출

 

 

수많은 앱을 설치하고 관리하는 앱 스토어 모델은 저물고 자연어로 소통하는 단일 인터페이스 환경이 도래한다

 

LAM의 확산은 지난 15년 넘게 모바일 시장을 지배해 온 앱 중심의 생태계를 근본적으로 뒤흔들고 있다. 현재 우리는 배달을 시키려면 배달 앱을 켜고 택시를 부르려면 택시 앱을 켜는 등 목적에 따라 수십 개의 앱을 설치하고 폴더별로 정리하며 끊임없이 업데이트를 관리해야 한다. 하지만 LAM이 상용화된 환경에서는 사용자가 어떤 앱을 사용할지 고민할 필요가 없다. 단지 원하는 바를 자연어로 말하면 AI가 적절한 앱을 백그라운드에서 실행하여 작업을 완료하기 때문이다. 이를 사용자에게 복잡한 UI를 숨기고 결과만 보여준다는 의미에서 제로 UI 또는 인비저블 인터페이스라고 부른다.

 

이러한 변화는 앱 스토어의 비즈니스 모델에도 타격을 줄 것으로 예상된다. 사용자가 앱을 직접 실행하는 빈도가 줄어들면 앱 내 광고 노출이나 체류 시간이 급감하게 되고 이는 광고 수익에 의존하던 수많은 무료 앱들의 생존을 위협할 수 있다. 대신 AI 에이전트에게 선택받기 위한 최적화 경쟁이 치열해질 것이며 검색 엔진 최적화인 SEO가 중요했던 것처럼 이제는 에이전트 최적화인 AEO가 마케팅의 핵심으로 떠오를 것이다.

 

또한 스마트폰의 홈 화면 구성도 획기적으로 변할 것이다. 날씨 위젯이나 아이콘들이 빼곡한 현재의 화면 대신 래빗 R1이나 휴메인 AI 핀처럼 단순한 대화창이나 음성 입력 버튼 하나만 존재하는 미니멀한 디자인이 주류가 될 것이다. 기술이 고도화될수록 인터페이스는 단순해진다는 원칙이 LAM을 통해 실현되고 있으며 우리는 복잡한 디지털 학습 과정 없이도 기술의 혜택을 누리는 진정한 의미의 사용자 경험 혁신을 목격하고 있다.

 

 

---

 

 

4. 보안 이슈와 프라이버시 그리고 인증의 딜레마

 

 

AI에게 디지털 자산의 모든 접근 권한을 맡기는 것이 얼마나 큰 보안 리스크를 동반하는지 은유적으로 경고

 

 

AI에게 내 모든 계정 접근 권한을 맡기는 것은 편리함 이면에 심각한 보안 리스크와 신뢰성 문제를 동반한다

 

LAM 기술이 장밋빛 미래만을 약속하는 것은 아니며 해결해야 할 가장 큰 난제는 바로 보안과 프라이버시 문제다. LAM이 제 기능을 하려면 사용자는 쇼핑몰, 금융, SNS 등 자신의 모든 디지털 계정 아이디와 비밀번호를 AI 서비스 제공자에게 넘겨주어야 한다. 래빗과 같은 기업들은 사용자의 자격 증명을 암호화하여 저장하고 실제 비밀번호는 저장하지 않는다고 주장하지만 클라우드 서버가 해킹당하거나 내부자 소행으로 정보가 유출될 경우 그 피해 규모는 상상을 초월할 것이다. 내 대리인이 나 몰래 내 카드로 결제하거나 엉뚱한 사람에게 메시지를 보낼 위험성은 언제나 존재한다.

 

또한 2단계 인증과 같은 보안 절차를 AI가 어떻게 통과할 것인지도 기술적 과제다. 금융 앱이나 결제 시스템은 보안을 위해 생체 인증이나 문자 인증을 요구하는데 이 과정에서 사람의 개입이 필요하다면 완전 자동화라는 LAM의 취지가 무색해진다. 이를 해결하기 위해 사용자의 생체 정보를 AI가 위임받아 처리하는 기술이 연구되고 있지만 이는 윤리적 법적 논란을 야기할 수 있다. AI가 수행한 계약이나 결제에 대한 법적 책임을 누가 질 것인지에 대한 사회적 합의도 아직 이루어지지 않았다.

 

할루시네이션이라 불리는 AI의 환각 현상 또한 치명적이다. 텍스트를 잘못 생성하는 것은 수정하면 그만이지만 잘못된 계좌로 돈을 보내거나 예약 날짜를 착각하여 비행기를 놓치게 만드는 행동의 오류는 되돌릴 수 없는 금전적 손실을 초래한다. 따라서 LAM 기술이 대중화되기 위해서는 99퍼센트가 아닌 99.99퍼센트 이상의 행동 정확도가 담보되어야 하며 AI의 행동을 실시간으로 감시하고 승인하는 킬 스위치와 같은 안전장치가 필수적으로 마련되어야 한다.

 

 

---

 

 

5. 스마트폰 제조사와 빅테크 기업들의 주도권 경쟁

 

 

별도의 기기가 아닌 스마트폰 OS 자체에 LAM을 통합하여 생태계 주도권을 잡으려는 빅테크 기업들의 경쟁 구도를 표현

 

 

애플과 삼성 그리고 구글은 LAM 기술을 OS 수준에 통합하여 하드웨어 경쟁력을 강화하는 방향으로 움직이고 있다

 

래빗이나 휴메인 같은 스타트업이 LAM의 가능성을 보여주었다면 시장의 판도를 바꾸는 것은 결국 기존 스마트폰 생태계를 장악하고 있는 애플과 삼성전자 그리고 구글이다. 애플은 시리를 통해 앱 내 기능을 제어하는 기술을 꾸준히 발전시켜 왔으며 최근 공개된 연구 논문에서는 화면 속 UI를 이해하는 AI 모델인 페럿 등을 선보이며 LAM 기술 내재화에 속도를 내고 있다. 삼성전자 역시 빅스비에 생성형 AI를 결합하여 갤럭시 스마트폰의 복잡한 설정을 말 한마디로 제어하는 기능을 강화하고 있다.

 

이들 빅테크 기업의 전략은 별도의 전용 기기를 만드는 것이 아니라 기존 스마트폰 OS 자체를 LAM 친화적으로 뜯어고치는 것이다. 안드로이드나 iOS 레벨에서 LAM이 구동된다면 별도의 로그인 절차나 보안 이슈 없이 훨씬 더 안전하고 빠르고 강력한 자동화가 가능하다. 예를 들어 구글 어시스턴트가 안드로이드 시스템 권한을 통해 배달 앱을 직접 제어한다면 래빗 R1과 같은 외부 기기가 가질 수 없는 안정성을 확보할 수 있다.

 

이는 결국 하드웨어 제조사가 서비스 플랫폼까지 장악하려는 시도로 이어진다. 스마트폰이 단순한 단말기를 넘어 나를 가장 잘 아는 개인 비서가 되는 순간 사용자는 다른 OS로 이동하기 어려워지는 강력한 락인 효과를 경험하게 된다. 2026년의 스마트폰 전쟁은 카메라 화소나 긱벤치 점수가 아니라 내 명령을 얼마나 똑똑하게 알아듣고 척척 수행해 주느냐 하는 에이전트 성능 대결이 될 것이다.

 

 

---

 

 

6. 2026년 LAM 시장 전망과 개인 비서의 대중화

 

 

LAM의 대중화로 인해 개인이 수행하던 반복적인 디지털 노동을 AI 비서가 전담하게 되는 미래의 생산성을 표현

 

 

LAM은 단순 반복 업무를 제거하고 누구나 자신만의 AI 비서를 고용하는 초개인화된 자동화 시대를 열 것이다

 

2026년은 LAM 기술이 실험실을 벗어나 우리의 일상 깊숙이 파고드는 원년이 될 것이다. 초기에는 얼리어답터들의 전유물이었던 AI 에이전트가 스마트폰 기본 기능으로 탑재되면서 누구나 "내일 아침 회의 자료 정리해서 팀원들에게 메일 보내줘"와 같은 복합적인 명령을 자연스럽게 사용하는 시대가 온다. 이는 화이트칼라 직장인들의 단순 반복 업무를 획기적으로 줄여주고 디지털 소외 계층인 노년층이 복잡한 스마트폰 UI를 배우지 않고도 디지털 서비스를 누릴 수 있게 돕는 긍정적인 효과를 가져올 것이다.

 

LAM은 사물인터넷 IoT와 결합하여 스마트홈의 완성도를 높이는 데에도 기여할 것이다. 현재의 스마트홈이 미리 설정된 루틴대로만 움직였다면 LAM이 적용된 집은 "나 오늘 좀 우울하니까 기분 전환 좀 시켜줘"라는 말에 조명을 조절하고 음악을 틀며 배달 음식을 추천하는 능동적인 공간으로 변모한다. 물론 이 과정에서 AI가 인간의 행동 데이터를 독점하는 것에 대한 우려는 지속되겠지만 편의성이 주는 효용이 워낙 크기에 대중화의 흐름을 막기는 어려울 것이다.

 

우리는 지금 '검색'의 시대에서 '명령'의 시대로 넘어가는 거대한 변곡점 위에 서 있다. LAM은 인간이 도구를 사용하는 방식을 재정의하고 있으며 이는 인터넷의 등장이나 스마트폰의 발명에 버금가는 라이프스타일의 변화를 예고한다. 앞으로의 경쟁력은 정보를 얼마나 잘 찾느냐가 아니라 AI에게 얼마나 일을 잘 시키느냐에 달려 있다고 해도 과언이 아니다.

 

 

---

 

 

[참고자료 및 출처]

- Rabbit Inc. 'Rabbit R1 Launch Keynote' (CES 2024)

- Microsoft 'The Future of AI Agents' Whitepaper

- Gartner 'Emerging Tech Impact Radar: Artificial Intelligence'

- Apple Machine Learning Research 'Ferret: Refer and Ground Anything Anywhere at Any Granularity'

- TechCrunch 'Large Action Models Explained'

 

 

※ 본 게시물에 사용된 이미지는 설명용 AI 시각화 이미지로 실제 인물·장소·브랜드와는 무관합니다. ※