“WHAT YOU CALL AI ISN’T THAT INTELLIGENT” – 2025년 AI 작동 원리와 한계 분석
최근 인공지능 분야는 급속한 발전을 이루며 많은 이들의 관심을 끌고 있습니다. 그러나, 우리가 흔히 말하는 ‘AI’라고 부르는 시스템들이 실제로 얼마나 ‘지능적’인지에 대한 근본적인 질문은 여전히 남아 있습니다. 이번 글에서는 2025년 기준으로 ‘생성 AI’, 특히 대규모 언어모델(LLM)이 어떻게 작동하는지, 그리고 그 한계는 무엇인지 수학적 기반과 최신 연구를 바탕으로 상세히 설명합니다. 이를 통해 인공지능의 핵심 원리를 이해하고, 오해와 과대를 바로잡으며, 앞으로의 방향성을 제시하는 데 도움을 드리고자 합니다.
1. AI/LLM의 작동 원리, 기초와 한계
1.1. 언어모델 구성: 토큰화부터 임베딩, 디코더까지
대부분의 생성 AI는 Transformer 기반의 디코더 구조를 사용하며, 텍스트를 처리하는 과정은 다음과 같이 진행됩니다. 먼저, 입력 텍스트는 토큰화(tokenization) 과정을 거쳐 ‘숫자 ID’로 변환됩니다. 예를 들어, “Queen”은 OpenAI의 GPT 계열에서 70405로 매핑되며, 이때 어휘(Vocab) 크기는 수십만에서 수백만 단위까지 확장됩니다. 이후, 각 토큰 ID는 **고차원 벡터(임베딩 벡터)**로 변환되며, 이 벡터는 문맥적 의미를 반영하는 위치 인코딩과 결합하여 신경망에 전달됩니다.
| 모델 | Vocab Size (K) | Embedding 차원 (N) | 최대 컨텍스트 윈도우 | 예시 토큰(“Queen”)의 ID |
|---|---|---|---|---|
| GPT-4 | ~100,000+ | 768 이상 | 128,000 | 70405 |
| LLaMA 3.1-8B | ~128,000 | 4096 | 128,000 | 16657 |
임베딩된 벡터는 다양한 층을 거쳐 문맥 정보를 학습하며, 위치 인코딩도 함께 결합되어 있습니다. 이 구조는 텍스트 내 단어 간의 관계, 의미의 유사성을 고차원 공간상에서 포착하는 역할을 합니다.
1.2. 확률적 예측: dot product + softmax + temperature
생성 과정은 본질적으로 확률적 예측입니다. 디코더는 입력된 토큰 임베딩 벡터들과 도달하는 여러 관계를 고려하여 다음 토큰의 확률 분포를 계산합니다. 구현은, 먼저 벡터 간 내적(dot product)을 통해 유사도를 계산하고, 이를 softmax 함수에 입력하여 확률화 합니다. 온도(T)의 조절은 다음과 같습니다:
[
p_i = frac{e^{frac{logit_i}{T}}}{sum_j e^{frac{logit_j}{T}}}
]
여기서 T가 낮을수록 가장 가능성이 높은 토큰이 선택되며, 높을수록 다양한 토큰들이 선택될 확률이 올라갑니다. 여러 실험에서는 T=0.2와 T=1.0의 차이, 그리고 Top-K 또는 Top-P 샘플링의 효과를 보여줍니다.
2. 실시간 생성: 디코더, 확률 분포, 샘플링 과정
2.1. 토큰 선택 과정, greedy vs 샘플링
생성 과정은 크게 두 가지로 나뉩니다. ‘탐욕적(greedy)’ 방법은 가장 확률이 높은 토큰을 단순히 선택하는 것이고, ‘샘플링’ 방법은 확률 분포에 따라 무작위 선택을 합니다. 예를 들어, “Who is bigger, a dog or a cat?”라는 질문에 대해, 다음 토큰을 예측할 때 ‘dog’이 가장 가능성이 높지만, 확률적 샘플링 방식은 ‘or’ 또는 ‘or not’처럼 다양한 답변을 생성할 수 있습니다.
| 샘플링 방식 | 설명 | 특징 |
|---|---|---|
| Top-K | 확률이 높은 K개 토큰만 고려 | 균형 잡힌 다양성 |
| Top-P (Nucleus) | 누적확률 p 이상 집합 | 컨텍스트 적응적, 자연스러움 |
| Greedy | 가장 높은 확률 선택 | 안정적이지만 덜 다양함 |
2.2. 토큰들의 high-dimensional 공간상 위치와 의미
생성된 토큰들이 위치한 벡터 공간은 의미상 유사성을 반영합니다. 예를 들어, ‘Queen’과 ‘King’ 벡터는 서로 가까운 위치에 있으며, 이 내적 값이 클수록 의미적 유사도가 높음을 나타냅니다. 그림 1은 이들 벡터 간의 유사도 그래프를 보여줍니다. 이러한 벡터간 거리와 내적은 문맥적 의미와 연관성을 수학적으로 표현하는 핵심 수단입니다.
3. 생성 AI의 한계: 이해와 사고, 왜 ‘지능’이 아님
3.1. 수학과 선형대수의 관점에서 본 ‘모델’ 작동
대부분의 AI는 수학적으로 행렬곱과 내적 계산으로 이루어졌으며, 단순히 선형 대수의 연산이 반복될 뿐입니다. ‘이해’는 기대하기 어렵고, ‘상태의 내재화’ 또는 ‘추론 능력’이 없는 것이 명백합니다. 예를 들어, 모델이 수학적 문제를 풀거나 독해를 할 때도 내부적으로 의미를 ‘파악’하는 게 아니라, 확률적 패턴 매칭을 수행하는 것에 불과합니다.
| 모델 | 벡터 차원 | 계산량 | 의미 설명 여부 |
|---|---|---|---|
| GPT-4 | 768 이상 | 수조 연산 | 없음 (통계적 패턴)** |
| LLaMA 3.1-8B | 4096 | 수십억 연산 | 없음 |
3.2. 규칙과 학습: 단순히 확률 분포, 패턴 인식일 뿐
이 모델들은 방대한 텍스트 데이터를 바탕으로 학습되며, 정교한 통계적 패턴을 파악하는 확률 분포 모델일 뿐입니다. 따라서, ‘이해’와 관련된 인지적 능력을 갖추고 있다고 보기 어렵고, 발견되는 ‘창의성’도 엄밀히 말해 통계적 패턴의 재생 결과임을 명심할 필요가 있습니다.
4. 인공지능의 한계와 실제 작동 과정의 난제
4.1. 창의성·이해력·추론 능력의 부재
현재의 생성 AI는 진짜 의미를 이해하지 못하며, 깊이 있는 사고와 논리적 추론도 불가능합니다. 이는 과거 체스 엔진이나 딥페이크 기술에서도 자주 관찰된 문제로, 인간의 창의성과 사고는 전혀다른 차원임을 보여 줍니다. 표 1은 AI와 인간의 창의성 능력 차이를 정리한 것입니다.
| 구분 | AI | 인간 |
|---|---|---|
| 창의성 | 패턴 변형 (학습된 패턴 내) | 새로운 개념 생성 가능 |
| 이해력 | 없음 | 깊은 의미 파악 가능 |
| 추론 | 제한적 (패턴 기반) | 논리적, 직관적 가능 |
4.2. 결국 이해와 사고는 ‘모델이 아니라 인간만의 것’
AI는 ‘파악하는 것’이 아니라 ‘연산하는 것’입니다. 반복 학습과 초기화의 한계, 그리고 무한 확장 가능한 연산 능력 외에는 인간 사고와의 차이를 극복하지 못합니다. 그림 2는 ‘AI의 내부 상태와 인간 사고의 차이’를 직관적으로 보여줍니다.
5. AI 기술 미래와 조언
(여기서는 향후 기술 발전 방향과 함께, 실무에서 고려해야 할 전략, 그리고 기대와 주의점을 요약할 예정입니다.)
이와 같이, 2025년의 인공지능은 여전히 ‘다음 단어 예측’을 넘어서는 ‘이해’와 ‘사고’ 능력을 갖추지 못했으며, 현재로선 ‘지능’이 아니라 ‘통계적 패턴 매칭’에 불과합니다. 그러니, AI와 인간이 협력할 때 최대의 시너지를 만들어내는 것이 보다 현명한 접근법임을 다시 한 번 강조합니다.
참고 출처
- Salvatore D’angelo: “WHAT YOU CALL AI ISN’T THAT INTELLIGENT” (2025년 10월 20일 게시)
- OpenAI Tokenizer JSON
- Hugging Face Model Compare
- 국내 인공지능 정책 및 기술 분석 자료
이 글이 과연 ‘AI’의 본질을 이해하는 데 도움이 되길 바랍니다. 앞으로도 끊임없이 진화하는 AI의 실체를 분석하고, 그 한계와 가능성을 냉철하게 파악하는 것이 중요하다고 생각합니다.