이중 부호화 이론: 글과 그림을 함께 쓰면 더 잘 기억되는 이유

이중 부호화 이론이 말하는 것

이중 부호화 가설은 글과 이미지 두 가지 형태로 받아들인 정보가 한 가지 형태로만 저장된 정보보다 기억하기 쉽다는 생각이에요. 이 가설은 캐나다 심리학자 앨런 파이비오(Allan Paivio)가 1960년대부터 발전시켜 1971년 저서 Imagery and Verbal Processes(심상과 언어 과정)에 정리한 이중 부호화 이론에서 나왔어요. 학생에게 이 이론은 간단한 습관 하나로 이어져요. 글 옆에는 그림을, 그림 옆에는 글을 두는 거예요.

파이비오는 우리 마음이 서로 분리되어 있지만 연결된 두 체계로 작동한다고 보았어요. 언어 체계는 말을 다뤄요. 단어, 문장, 용어의 소리와 철자 같은 것들이요. 비언어 체계는 이미지와 그 밖의 감각 인상을 다뤄요. 무언가가 어떻게 생겼는지, 그 모양, 사물들이 서로 어떤 위치에 있는지 같은 것들이요. 각 체계에는 고유한 단위가 있고(파이비오는 이를 로고젠과 이마젠이라고 불렀어요), 두 체계는 서로를 활성화할 수 있어요.

핵심은 바로 그 연결이에요. ‘자전거’라는 단어를 읽으면 자전거의 모습이 떠오를 수 있고, 자전거를 보면 그 이름을 말할 수 있어요. 파이비오는 세 가지 처리 방식을 설명했어요. 표상적 처리(단어는 언어 부호를, 그림은 시각 부호를 활성화), 참조적 처리(단어가 이미지를, 또는 이미지가 단어를 불러옴), 연합적 처리(한 단어가 다른 단어로, 한 이미지가 다른 이미지로 이어짐)예요.

이중 부호화 이론을 뒷받침하는 근거

이중 부호화 이론은 기억 실험의 결과를 설명하려고 만들어졌어요. 그중 하나가 구체성 효과예요. ‘사과’나 ‘다리’ 같은 구체적인 단어는 보통 ‘정의’나 ‘이론’ 같은 추상적인 단어보다 더 잘 기억돼요. 파이비오의 설명은 이랬어요. 구체적인 단어는 머릿속에 그리기 쉬워서 두 체계에 모두 저장될 가능성이 크지만, 추상적인 단어는 대부분 언어 부호만 가져요. 부호가 두 개면 기억으로 돌아가는 길도 두 개예요.

또 하나는 그림 우월성 효과예요. 그림은 그 이름보다 더 잘 기억되는 경향이 있어요. 그림은 이름을 붙이기 쉬워서 시각 부호와 함께 언어 부호도 얻지만, 단어는 자동으로 이미지를 불러오지는 않기 때문이에요.

영향력 있는 이론이 늘 그렇듯 이중 부호화에도 비판이 있어요. 단어와 이미지가 결국 더 추상적인, 의미 중심의 형태로 저장된다고 주장하는 연구자도 있고, 구체성 효과를 다르게 설명하는 연구자도 있어요. 예를 들어 어떤 단어가 맥락을 얼마나 쉽게 떠올리게 하는지로 설명하는 식이에요. 이후 리처드 메이어(Richard Mayer)의 멀티미디어 학습 인지 이론 같은 연구는 이중 부호화를 바탕으로 사람들이 글과 그래픽을 함께 보며 어떻게 배우는지 연구했어요. 실용적인 교훈을 쓰는 데 이 논쟁의 결론까지 필요하지는 않아요. 그 교훈은 꽤 탄탄하거든요. 글과 의미 있는 시각 자료를 함께 쓰면 대개 학습에 도움이 돼요.

흔한 오해: 이중 부호화는 학습 유형론이 아니에요

이중 부호화는 흔히 학습 유형론과 혼동돼요. 어떤 사람은 시각형 학습자이고 어떤 사람은 언어형이나 청각형 학습자이며, 각자 자기 유형에 맞게 가르칠 때 가장 잘 배운다는 주장이에요. 두 주장은 전혀 달라요.

이중 부호화 이론은 모든 사람에 관한 이론이에요. 인간의 기억에는 누구에게나 언어 체계와 비언어 체계가 있고, 둘을 함께 쓰면 사람들에게 일반적으로 도움이 된다고 말해요. 학생을 유형별로 나누지 않아요. 반면 선호하는 유형에 맞춰 가르치면 결과가 좋아진다는 형태의 학습 유형론은 검증해 보면 그다지 버티지 못했어요. 학술지 Psychological Science in the Public Interest에 실려 널리 인용되는 2008년 리뷰는 그런 맞춤 가설을 뒷받침하는 탄탄한 근거를 거의 찾지 못했어요.

그러니 결론은 ‘나는 시각형 학습자니까 그림만 그릴 거야’가 아니에요. ‘무엇을 선호하든, 명확한 글 설명과 의미 있는 시각 자료가 함께 있으면 더 잘 기억할 거야’예요. 사람마다 선호는 분명히 있어요. 다만 그게 두 통로 중 하나를 빼 버릴 좋은 이유는 아니에요.

공부할 때 이중 부호화 이론을 활용하는 법

실용적인 원칙은 간단해요. 중요한 개념마다 글로 된 버전과 그림으로 된 버전을 하나씩 두고, 둘이 서로를 설명하게 하세요. 어떤 형식을 쓰든 시각 자료는 의미를 담고 있어야 해요. 신경과학 노트 맨 위에 붙인 뇌 사진은 장식일 뿐 이중 부호화가 아니에요. 흥미롭지만 상관없는 덧붙임, 이른바 유혹적 세부 사항은 도움이 되기보다 주의를 흩뜨릴 수 있어요. 대학 공부에는 이런 형식이 잘 맞아요.

• 과정과 구조의 도식: 이름표를 단 세포 스케치, 회로도, 수요·공급 그래프, 법적 판단 기준의 순서도. 그린 다음 그 옆에 글로 설명하세요.
• 연표: 역사, 이론의 발전 과정, 절차의 단계에 좋아요. 선 위의 위치가 순서와 간격을 보여 줘서, 목록으로는 할 수 없는 방식으로 전달돼요.
• 마인드맵: 가운데 주제에서 하위 주제로 가지를 뻗어요. 한 장의 각 부분이 서로 어떻게 연결되는지 보는 데 유용해요. 단, 가지에 모호한 단어 하나가 아니라 실제 내용이 담겨 있어야 해요.
• 비교표와 나란히 그린 스케치: 체세포 분열과 감수 분열, 경제학의 두 경쟁 모델처럼 헷갈리기 쉬운 개념에 좋아요. 페이지 위의 배치가 차이를 눈에 보이게 해 줘요.
• 인포그래픽과 한 페이지 요약: 짧은 글, 화살표, 아이콘, 작은 도식을 엮어 강의 하나를 한 장에 담아요.

두 가지 예시

예시 1: 활동 전위를 다루는 가상의 생물심리학 강의. 글로 쓰면 이래요. 휴지 상태에서 뉴런 안쪽은 바깥보다 음전하를 띠며, 약 -70밀리볼트예요. 역치에 도달하면 나트륨 통로가 열리고 나트륨이 들어와 막이 탈분극돼요. 이어서 칼륨 통로가 열리고 칼륨이 빠져나가 막이 재분극되는데, 잠깐 과분극 상태로 넘어갔다가 휴지 전위로 돌아와요. 불응기 동안에는 새로운 활동 전위를 일으키기가 더 어렵거나 불가능해요.

이중 부호화하면 이래요. 시간에 따른 막전위의 전형적인 곡선을 그리고 역치, 탈분극, 재분극, 과분극 같은 각 단계를 곡선 위에 바로 표시한 뒤, 어떤 이온이 어느 방향으로 움직이는지 작은 화살표로 나타내요. 그런 다음 글을 가리고 곡선을 소리 내어 설명해 보고, 곡선을 가리고 글만 보며 곡선을 그려 보세요. 두 버전이 서로를 점검해 줘요.

예시 2: 바이마르 공화국을 다루는 역사 세미나. 날짜 목록은 읽기는 쉬워도 기억하기는 어려우니 대신 연표에 올려 보세요. 1918년 11월 혁명, 1919년 바이마르 헌법, 1923년 초인플레이션과 뮌헨 폭동, 1929년 주가 대폭락, 1933년 1월 히틀러의 총리 임명. 연도 간격에 맞춰 선을 그리면 비교적 안정적이었던 중반기가 한눈에 보여요. 사건마다 그것이 왜 중요했는지 짧은 문장 하나를 덧붙이면 한 페이지에 두 가지 부호가 모두 담겨요.

장식이 아니라 능동적인 이중 부호화

가장 큰 효과는 다른 사람의 도식을 보기만 하는 대신 두 번째 부호를 직접 만들 때 나와요. 기억에 의존해 도식을 그리거나, 문단을 순서도로 바꾸거나, 그림을 내 말로 설명하다 보면 아는 것을 꺼내고 다시 정리할 수밖에 없어요. 이중 부호화를 자기 테스트와 결합하세요. 지난주 강의의 마인드맵을 기억만으로 그려 보고, 노트와 비교한 뒤 빠뜨린 부분을 다른 색으로 채우세요.

자료가 빽빽할 때는 출발점이 있으면 도움이 돼요. NotizAI에서는 모든 노트를 글로 된 요약 노트와 함께 마인드맵과 한 페이지 인포그래픽으로도 만들 수 있어서, 같은 강의의 글 버전과 시각 버전을 모두 가지고 공부할 수 있어요. 이것을 대조용 본보기로 쓰세요. 마인드맵을 보고, 닫고, 종이에 다시 그린 다음 비교하는 식이에요. 이중 부호화를 계속 쓸모 있게 만드는 습관 몇 가지를 더 소개할게요.

• 글과 그림을 가까이 두세요. 이름표는 페이지 아래 범례가 아니라 도식 위에 있어야 해요.
• 시각 자료는 단순하게. 깔끔한 선과 몇 개의 이름표가 아름답지만 과하게 채운 그림보다 나아요.
• 양방향으로 연습하세요. 글에서 그림으로, 그리고 그림에서 다시 글로.
• 모든 걸 이중 부호화하려 하지 마세요. 그림이 정말 무언가를 더해 주는 과정, 구조, 순서, 비교에 아껴 두세요.