구글이 애플을 밀어내고 전 세계 시가총액 2위 자리에 올랐다. 구글 모회사 알파벳 시가총액이 애플을 제친 건 2019년 이후 처음이다. 월가에서도 시가총액 역전을 주목한다. 달라진 시장의 판단을 보여주는 신호여서다. 시가총액은 단순한 기업 서열이 아니다. ① 시장이 무엇에 베팅하고 있는지 ② 어떤 방향성에 프리미엄을 부여하는지를 가장 직관적으로 보여주는 지표다. 증권가에서 “프리미엄은 숫자가 아니라 서사에 붙는다”는 말이 나오는 이유다.
구글과 애플의 순위 변화는 AI 시대 대응법에서 갈렸다. 애플은 AI를 보조 도구 정도로 판단했다. 기존 아이폰 등 하드웨어 생태계를 보완하는 수준에 바다이야기 머물렀다. 2025년 출시가 기대되던 차세대 시리(Siri)조차 출시 일정이 2026년으로 연기됐다. 구글과의 협업도 사실상 애플의 기술력 부족을 의미한다. 최근 애플은 자체 AI 모델의 완성도가 충분히 확보될 때까지 구글의 생성형 AI를 활용하는 쪽으로 방향을 잡았다.
반면 구글은 AI를 핵심 성장 엔진으로 규정했다. 애플이 제품 위에 바다이야기게임 AI를 얹었다면, 구글은 AI 위에 사업을 쌓는 식으로 모든 걸 재설계했다. 그 결과물 중 하나가 자체 AI 전용 칩 TPU(텐서처리장치)다. TPU는 주문형반도체(ASIC) 진영 핵심 키워드로 떠오르며 엔비디아 그래픽처리장치(GPU) 진영과 경쟁 중이다. 전용 칩을 앞세워 LLM 서비스 부문에서도 두각을 나타냈다. TPU v7(아이언우드) 기반으로 데이터 바다이야기게임사이트 학습(Learning)과 추론(Inference) 작업이 이뤄진 차세대 LLM 제미나이 3.0은 LM아레나 리더보드에서 1501점을 기록해 1위를 차지했다. 오픈AI 챗GPT와 점유율 격차도 좁혀졌다. 트래픽 분석 업체 시밀러웹 자료에 따르면 제미나이3의 웹 점유율은 2025년 초 5.7%에서 최근 20% 안팎으로 급증했다. 반대로 챗GPT 점유율은 기존 바다이야기2 87%에서 65% 수준으로 하락했다.




여러 빅테크 중 왜 구글인가

‘중첩학습’ 향한 명확한 방향성
그동안 LLM 경쟁은 ‘성능 싸움’에 치우쳤다. ① 데이터 학습량 ② 긴 문맥 이해 ③ 정확한 답변이 알라딘릴게임 평가 기준으로 작동했다. 하지만 구글은 이 경쟁이 오래가지 못한다고 봤다. ‘지속적 학습 부재’로 표현되는 LLM의 한계 때문이다. 배운 것을 축적 못한다는 의미다. 일종의 기억상실인 셈이다.
챗GPT를 떠올려보자. 겉으로 보면 사용자와 대화하며 똑똑해지는 듯 비춰지나 실상은 그렇지 않다. 대화로 얻은 정보를 다음 세대 모델 학습에 활용할 뿐이다. 작동 중인 모델이 곧바로 똑똑해지는 건 아니다. 매번 챗GPT의 새로운 버전이 등장하는 이유다. 문제는 이 과정에서 ‘파국적 망각’이 발생한다는 점이다. 파국적 망각은 AI가 새로운 정보를 학습할수록 기존 지식을 잃어버리는 현상을 말한다.
구글은 이를 파라미터(매개변수)만으로는 해결 못한다고 봤다. 모델 학습 방식 등 아키텍처 구조 자체가 바뀌어야 한다고 판단했다. AI가 범용인공지능(AGI)이나 초인공지능(ASI) 수준으로 성장하려면 인간처럼 경험을 누적하며 학습해야 한다고 본 것이다. 이 같은 문제 의식에서 나온 개념이 ‘중첩학습(Nested Learning)’이다. 구글은 2025년 11월 ‘Nested Learning: The Illusion of Deep Learning Architectures’ 보고서를 내고 중첩학습 방향성을 공식화했다.
중첩학습은 중요도에 따라 기억을 여러 단계로 나누자는 발상이다. 일시적인 신호는 빠르게 소멸시키고, 반복되는 패턴과 의미 있는 경험만 단계적으로 남긴다. 이는 인간의 기억 방식과 닮아 있다. 사람은 하루 동안 겪은 모든 일을 장기 기억으로 저장하지 않는다. 중요한 정보만 선별해 서서히 기억으로 남긴다.
한종목 미래에셋증권 애널리스트는 “구글은 기억을 ‘다중 주파수 업데이트’ 개념으로 분리했다”며 “단기 기억이 곧바로 장기 기억으로 넘어가는 것이 아니라, 여러 단계의 주파수 대역을 거치며 서서히 느리게 ‘장기 기억화’되는 연속체를 만든 것”이라고 말했다. 그러면서 “뇌의 해마가 기억을 대뇌피질로 넘기는 과정을 공학적으로 구현한 셈”이라고 덧붙였다.
다만 구글이 꿈꾸는 아키텍처는 단순 소프트웨어 재설계만으로는 구현될 수 없다. 중첩학습은 개념상 학습과 추론이 끊임없이 오가는 구조다. 연산량은 폭증하고 칩이 부족하면 지연 시간도 크게 늘어난다. 비싼 엔비디아 블랙웰 등 GPU로는 비용 부담이 클 수밖에 없다. 이에 구글이 택한 게 자체 AI 전용 칩 개발이다. 구글이 AI 전략을 논할 때마다 TPU를 앞세운 ‘엔드-투-엔드’와 ‘풀스택’을 강조하는 배경이다.




구글식 AI 선봉장 TPU

넥스트스텝은 ‘슈퍼팟’
구글은 2016년부터 자체 AI 전용 칩 TPU 개발에 뛰어들었다. 첫 세대부터 ‘딥러닝’을 방향으로 잡고 ‘연산 효율’과 ‘확장성’에 초점을 맞췄다. 엔비디아 GPU의 AI 칩 시장 독점에도 구글은 TPU 생태계를 포기하지 않았다. 조금씩 시장의 인정을 받더니 TPU v7(아이언우드)을 기점으로 GPU 경쟁자로 자리 잡는 분위기다.
아이언우드가 주목받는 배경 중 하나는 전 세대 대비 크게 개선된 단일 칩 성능이다. 외신 보도를 종합하면 아이언우드는 개별 칩 FP8(8비트) 기준 4614TFLOPS(테라플롭스) 연산 성능을 갖췄다고 추정된다. 테라플롭스는 칩이 1초에 몇 조번 계산할 수 있느냐를 나타내는 단위다. 가령, 1테라플롭스라면 1초에 1조번 계산한다는 의미다. 이는 직전 세대(V6)와 동일 기준 비교 시 4배 이상 개선된 수치다.
GPU 대비 가격 경쟁력도 확실하다. 미래에셋증권에 따르면 아이언우드의 개당 비용은 약 1만5000달러 수준으로 예상된다. 3만~4만달러를 호가하는 엔비디아 H100·H200의 절반 수준이다. 반도체 분석 업체 세미애널리시스는 아이언우드와 블랙웰(GB200) 비용 효율 비교 보고서(TPUv7: Google Takes a Swing at the King)에서 “동일 규모 서버 구축을 가정할 때, 아이언우드 연산량당 총소유비용(TCO)이 블랙웰 대비 44% 절감할 수 있다”고 설명했다. 구글 입장에선 AI 칩 내재화로 중첩학습 목표에 한발 더 다가설 수 있게 된 셈이다.
이게 끝이 아니다. 아이언우드의 진짜 경쟁력은 ‘시스템’이라는 말도 나온다. 중첩학습이 요구하는 것은 더 빠른 칩이 아니라, 학습과 추론이 끊임없이 순환할 수 있는 형태다. 수천 개 칩이 하나의 컴퓨터처럼 작동하는 시스템 설계가 더 중요하단 의미다.
애초에 구글이 이를 겨냥한 칩 구조를 설계했단 말도 나온다. 제프 딘 구글 AI 수석 과학자는 “아이언우드의 핵심 경쟁력은 개별 칩이 아닌 9216개 칩을 결합해 ‘슈퍼팟(Superpod)’ 단위로 작동할 수 있도록 설계됐다는 점”이라고 강조했다. 제프 딘이 언급한 슈퍼팟은 아이언우드 등 TPU를 수천 개 연결해 하나의 거대한 컴퓨터처럼 만드는 구조를 말한다. 쉽게 말해 기존 서버가 ‘개별 난방 시스템’이라면, 슈퍼팟은 건물 전체 난방을 한 번에 제어하는 ‘중앙 난방 시스템’이다. 이론상 최대 9216개 칩 결합이 가능하다는 게 구글 설명이다. 슈퍼팟의 최대 장점은 효율성이다. 수천 개 칩 사이에서 발생하는 통신 지연을 최소화하고 ‘올-리듀스(All-Reduce)’를 빠르게 처리할 수 있다. 올-리듀스는 일종의 취합 기능이다. 여러 칩이 계산한 결과를 모아서 하나로 만드는 과정이다.
슈퍼팟을 향한 증권가의 기대감은 상당하다. 미래에셋증권에 따르면 아이언우드 슈퍼팟은 FP8 기준 42.5엑사플롭스 성능이다. 또 1.77페타바이트(PB) 규모의 공유 메모리를 제공한다. 쉽게 말해 수천 개 칩이 하나의 초대형 메모장을 함께 쓰면서 동시에 계산하는 구조다. 한종목 애널리스트는 “9216개의 칩이 1.77PB 메모리를 공유한다는 건 10조개가 넘는 파라미터를 가진 모델도 실시간으로 돌릴 수 있다는 뜻”이라며 “이론적으로는 100조 파라미터급 초거대 모델 학습도 가능해진다”고 설명했다. 그러면서 “구글이 TPU 슈퍼팟으로 이런 규모의 모델을 실제로 훈련하는 데 성공하면, 이는 AI 연구의 ‘스케일링 법칙’을 최종적으로 검증하는 사건이 될 것”이라며 “AI 산업 전반에서 AGI(범용인공지능) 경쟁 판도가 완전히 달라질 수 있다”고 전망했다. 세미애널리시스도 “9216개 칩으로 구성될 슈퍼팟은 기존 GPU 기반 병렬 서버(DGX 클러스터 등)보다 훨씬 크다”며 “초거대 모델 시대에 유리한 설계”라고 강조했다.
구글 검색·광고에 스며드는 AI
실질적인 ‘수익 모델’ 진화
구글의 중첩학습을 목표로 한 AI 투자 뒤에는 ‘선점 의지’뿐 아니라 또 다른 이유가 있다. 검색과 광고 등 핵심 수익 모델을 한 단계 끌어올리기 위함이다.
물론 검색 부문은 일찌감치 개인화·맞춤형 추천을 고도화해왔다. 다만 한 가지 한계가 있다. 최근 행동에만 민감하다는 점이다. 방금 검색한 상품과 최근 클릭한 영상, 직전 구매 이력이 추천과 광고에 즉각 반영된다. 일회성 관심이 과도하게 반영되거나, 단기 행동이 사용자의 본래 성향을 가리는 경우가 상당수다. 개인화는 돼 있지만, 깊이는 얕다는 지적이 나오는 이유다.
중첩학습은 이 지점을 파고든다. AI가 모든 행동을 같은 비중으로 기억하는 대신 ① 어떤 행동이 일시적인지 ② 어떤 패턴이 반복적인지 ③ 어떤 성향이 장기적인지를 구분해 축적한다. 기존 개인화가 최근 행동을 따라가는 추천이었다면, 중첩학습 기반 개인화는 사용자의 소비 이력과 의사결정 방식을 이해하는 추천에 가깝다. 장기 기억을 단순히 저장하는 데 그치지 않고, 이를 전환율·광고 단가·광고 자동화에 바로 연결할 수 있다는 의미다. 이른바 ‘검색 초고도화’다.
검색 초고도화가 중요해진 건 달라진 쇼핑 트렌드와 관련 있다. 박연주 미래에셋증권 애널리스트는 “2025년 키워드가 AI 검색이었다면, 2026년은 AI 쇼핑이 화두”라며 “점점 더 많은 사람들이 쇼핑을 할 때 AI에 묻고 추천대로 구매하고 있다”고 설명했다. 미래에셋증권에 따르면 2025년 10월 기준 미국 소비자 중 챗GPT 등 AI 서비스에 쇼핑 추천을 받아 구매한 비율은 16%로 1년 전(7%) 대비 9%포인트 상승했다. 박연주 애널리스트는 “구글 입장에선 쇼핑 트래픽을 확보하는 게 중요해졌다. 사용자가 AI와 대화하며 원하는 제품을 쉽게 찾을 수 있도록 만들어 구매 의도를 가진 쇼핑 트래픽을 가져오고, 개인화된 추천을 통해 전환율을 높여야 한다”고 덧붙였다.
전환율을 높이면 구글 핵심 사업인 광고 부문 수익성은 개선될 수밖에 없다. 광고 단가를 높일 수 있어서다.
이를 위해 구글은 검색 초고도화뿐 아니라 에이전틱 체크아웃 기능 등도 내놓고 있다. 가령, 사용자가 “80달러 밑으로 떨어지면 사줘”와 같은 조건을 걸었다고 가정하자. 에이전틱 체크아웃 기능은 가격과 재고를 추적해 조건 충족 시 자동으로 사용자에게 알리고 승인 시 결제까지 진행하는 방식이다. 구글 렌즈 등도 쇼핑 트래픽 확보에 도움을 줄 전망이다. 박연주 애널리스트는 “원하는 이미지를 입력할 수도 있고 가상 시작 메뉴를 통해 옷을 입었을 때 실제 어떤 모습일지 보여줄 수도 있다”며 “번거로움이 줄어 전환율이 상승할 수 있다”고 평가했다.




‘저장 장치’에서 ‘연산’으로

중첩학습이 바꿀 HBM 역할
중첩학습을 목표로 한 구글의 TPU 전략은 고대역폭메모리(HBM) 시장에도 영향을 줄 수 있다. 한종목 애널리스트는 “중첩학습과 TPU가 시사하는 바는 메모리 반도체가 질적 변환(Qualitative Shift)을 경험할 수 있다는 가능성을 연 것”이라며 “HBM이 기존 역할(연산에 필요한 데이터 공급 등)을 넘어 학습과 추론 과정에 적극 개입하는 단계로 이동할 수 있다”고 내다봤다.
그의 설명은 이렇다. 기존 LLM 아키텍처의 추론은 메모리 반도체 대역폭을 주로 ‘읽기’에 썼다. AI의 답변은 미리 만들어둔 답안지를 꺼내 참고하는 형태였다. 메모리 반도체는 주로 데이터를 불러오는 창고 역할 정도였다. 하지만 중첩학습을 전제로 한 구조에서는 상황이 달라진다. AI가 작동하는 동안에도 새로운 경험과 맥락을 반영해 판단 기준을 조금씩 수정한다. 메모리 반도체는 단순히 읽기만 하는 공간이 아니라 읽고-고치고·다시 저장하는(쓰기) 과정에 반복적으로 관여하게 된다. 메모리 반도체가 학습 과정의 일부로 들어오는 셈이다.
이처럼 쓰기 작업이 늘어나면 메모리 반도체에 요구되는 조건도 달라진다. 기존처럼 읽기 대역폭만 강조해서는 부족하다. 잦은 쓰기에도 지연 없이 대응할 수 있어야 한다. 또 메모리 반도체 내부에서 최소한의 연산을 처리할 수 있도록 베이스 다이(Base Die)의 로직 공정 전환이 필수가 된다.
HBM은 여러 D램이 적층된 구조다. 베이스 다이는 쉽게 말해 1층 관리실 역할이다. AI 칩과 연결돼 HBM을 통제한다. 로직 공정은 신호 전달을 넘어 판단과 제어를 수행할 수 있는 반도체 공정을 의미한다. 기존 관리실을 ‘스마트 관리실’로 업그레이드해야 한다는 의미다. SK하이닉스와 삼성전자 등은 HBM4부터 베이스 다이 로직 공정 전환을 진행 중이다. 한종목 애널리스트는 “최근 메모리 반도체 시장에서 PIM(Process In-Memory) 논의가 다시 부상하는 배경도 달라진 메모리 반도체 조건과 관련 있다고 판단한다”고 덧붙였다.
PIM은 데이터를 칩으로 옮기지 않고, 메모리 반도체 내부에서 간단한 연산을 처리하는 구조를 말한다. 삼성전자는 2021년 세계 최초로 HBM에 PIM 기술을 결합한 ‘HBM-PIM’을 개발한 바 있다. 이후 AI 엔진을 탑재한 모듈형 제품 ‘AXDIMM’, 이를 모바일용으로 확장한 ‘LPDDR-PIM’ 등을 선보여왔다. SK하이닉스도 자체 PIM 제품인 액셀러레이터인메모리(AiM)를 개발해 선보인 바 있다. 최근에는 CES 2026에서 PIM 기반 AI용 가속기 카드(AiMX)를 공개했다.
한종목 애널리스트는 “구글이 자체 TPU에 맞춰 HBM 사양을 커스터마이징하려는 움직임도 같은 맥락으로 읽힌다”며 “TPU는 범용 GPU와 달리, 구글식 AI 아키텍처에 최적화된 칩이다. 중첩학습 구조를 염두해 설계된 TPU가 제 성능을 내려면, 그에 맞는 메모리 특성이 뒷받침돼야 한다. 표준 규격을 넘어 쓰기 대역폭과 지연 시간을 강화한 맞춤형 HBM 수요가 늘어날 가능성이 높다”고 예상했다. 메모리 반도체 수요가 ‘양적 확대’ 국면을 넘어, 설계 자체가 바뀌는 전환점에 들어섰다는 의미다.
[최창원 기자 choi.changwon@mk.co.kr]
[본 기사는 매경이코노미 제2344호 (2026.01.21~01.27일자) 기사입니다]
[Copyright (c) 매경AX. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지]