"한국어 메뉴판이나 문서 사진을 AI에 보여 주면 작은 글자를 잘못 읽는다"는 불만, 한 번쯤 겪어 보셨을 겁니다. 이미지를 읽는 AI 성능은 상당 부분 비전 인코더에서 갈립니다. 카카오가 2026년 10월 21일 자체 비전 인코더 'Kanana-2-vision-encoder'를 공개하고, 그중 두 모델의 가중치를 상업 이용이 가능한 라이선스로 풀었습니다.
결론부터 말하면, 한국어 문서·OCR이 필요한 멀티모달 서비스를 만드는 개발자라면 눈여겨볼 만한 공개입니다. 4억 2,600만 파라미터의 Medium과 9,800만 파라미터의 Tiny를 허깅페이스에서 받을 수 있고, 카카오 자체 평가에서는 같은 크기 비교 대상 중 9개 영역 가운데 8개에서 1위를 했습니다. 다만 비전 인코더는 '부품'이라 언어모델과 합쳐 학습해야 쓸 수 있습니다.
✅ 이 글에서 얻을 수 있는 것
1. 비전 인코더가 무엇이고 왜 한국어 서비스에 중요한지
2. Kanana-2 비전 인코더 라인업과 공개 범위, 라이선스
3. 핵심 기술 4가지와 성능 수치
4. 내려받아 쓸 때 확인할 점
비전 인코더란? AI가 이미지를 보는 '눈'
이미지와 함께 "이 사진 설명해 줘"라고 물으면, 비전 언어모델(VLM)은 이렇게 동작합니다.
- 비전 인코더가 이미지 속 사물·글자·위치·형태를 특징으로 뽑습니다.
- 프로젝터가 그 특징을 언어모델이 이해하는 형태로 바꿉니다.
- 언어모델(LLM)이 이미지 특징과 질문을 함께 받아 답을 만듭니다.
메뉴판의 음식 이름과 가격을 정확히 읽으려면 1단계에서 작은 글자까지 놓치지 않아야 합니다. 그래서 카카오는 비전 인코더를 "비전 언어모델의 답변 품질을 좌우하는 모듈"로 보고 직접 만들었습니다.
카카오가 직접 만든 이유 3가지 (카카오 설명)
| 이유 | 내용 |
|---|---|
| 성능 개선 주도 | 성능에 가장 큰 영향을 주는 부품을 직접 설계해야 개선 방향을 정할 수 있음 |
| 한국어·한국 문화 | 기존 비전 인코더는 작은 한글, 한국 문화 대상 인식이 부족했음 |
| 다양한 크기 | 서비스마다, 특히 온디바이스용으로 아주 작은 모델이 필요함 |
비교 대상으로 든 구글 SigLIP2, 메타 Perception Encoder는 각각 비공개 이미지·텍스트 쌍 120억 개, 54억 개 규모로 학습됐습니다. 카카오는 이런 막대한 데이터 대신 자사 언어모델을 출발점으로 삼는 방식을 택했습니다.
라인업과 공개 범위
| 모델 | 파라미터 | 공개 | 9개 영역 평균 점수 |
|---|---|---|---|
| Large | 약 9억 | 비공개 (작은 모델을 가르치는 Teacher) | - |
| Medium | 4억 2,600만 | 허깅페이스 공개 | 55.62 |
| Small | 약 2억 | 비공개 | - |
| Tiny | 9,800만 | 허깅페이스 공개 | 51.81 |
- 라이선스: Kanana-open. 카카오는 연구·개발은 물론 상업적 활용도 가능하다고 밝혔습니다.
- 다운로드: 허깅페이스
kakaocorp/kanana-2-vision-encoder-medium,kakaocorp/kanana-2-vision-encoder-tiny - 실제 서비스에 넣기 전에는 허깅페이스에 올라온 라이선스 원문의 세부 조건을 꼭 확인하세요.
핵심 기술 4가지
① 언어모델에서 출발: 학습 효율 약 4배
카카오는 GenLIP 방식을 썼습니다. 일반 언어모델처럼 '다음 토큰 맞히기' 하나로 학습하되, 이미지를 보고 자세한 설명을 쓰게 합니다. 설명을 정확히 쓰려면 이미지를 잘 봐야 하므로, 그 과정에서 좋은 비전 인코더가 만들어지는 원리입니다.
이때 모델을 무작위가 아니라 이미 문장을 잘 쓰는 Kanana-2 LLM 가중치로 시작했습니다. 그 결과 비슷한 손실에 이르는 학습 단계가 약 4분의 1로 줄어 학습 효율이 약 4배 좋아졌다고 밝혔습니다.
② 고해상도 이미지를 빠르게: 2560px에서 지연 61.8% 감소
작은 글자를 읽으려면 고해상도가 필요하지만, 해상도가 오르면 계산량이 크게 늘어납니다. Kanana-2 LLM 구조를 물려받아 두 가지를 적용했습니다.
- 슬라이딩 윈도우 어텐션(SWA): 각 토큰이 이미지 전체가 아니라 주변 범위만 보게 해 계산량을 줄임
- 그룹 쿼리 어텐션(GQA): 여러 쿼리가 키·값을 함께 써 연산과 메모리를 줄임
2560×2560 해상도 기준 지연 시간 61.8%, 최대 메모리 사용량 21.8%가 줄었습니다. 학습도 224px → 최대 640px → 최대 1,280px로 해상도를 단계적으로 올렸습니다.
③ 한글을 촘촘히 보게 하는 학습 데이터
"돼지양념 숯불구이 170g은 9,900원입니다"처럼 이미지 속 글자와 색까지 읽어야만 맞힐 수 있는 상세 설명(Dense Visual Caption)을 대규모로 만들어 학습했습니다. 카카오가 공개한 예시에서는 남산타워 사진의 단청 문양·기와지붕, 거북선 사진 속 아주 작은 "바다"라는 글자까지 읽어 냈습니다.
휴대폰 카메라로 메뉴판을 비추면 음식 이름과 가격을 함께 읽어 내는 기능이 이런 비전 인코더의 대표적인 쓰임새입니다. 특히 1억 파라미터 이하인 Tiny는 이런 온디바이스(기기 안) 처리를 염두에 두고 만들었다고 카카오는 설명했습니다. (맨 위 대표 이미지는 AI로 만든 개념도이며, 그림 속 글자는 실제 Kanana 모델의 인식 결과가 아닙니다.)
④ 작게 줄이기: 프루닝과 지식 증류
Large에서 레이어·내부 차원·어텐션 헤드·FFN을 단계적으로 잘라 내는 프루닝으로 작은 모델의 출발점을 만들고, Large를 선생으로 삼는 지식 증류로 성능을 옮겼습니다. 가장 작은 Tiny에는 온-폴리시 증류를 더해, 메뉴판의 9,900원을 9,000원으로 잘못 읽거나 안내판의 1985를 1585로 읽던 실수를 바로잡았다고 설명했습니다.
📌 함께 보면 좋은 가이드: 노트북LM 가이드 #5 카카오·네이버 감성의 테크 비즈니스 리포트 변환법 — 기술 발표 자료를 보고서로 정리할 때 참고하세요.
성능: 같은 크기 비교 모델 중 9개 영역에서 8개 1위
카카오는 지난 7월 공개한 언어모델 Kanana-2-1.3b-instruct에 비전 인코더만 바꿔 끼우고 같은 조건으로 학습·평가했습니다. 9개 영역 42개 벤치마크로, 구글·메타·애플·알리바바의 공개 비전 인코더와 비교했습니다.
| 모델 | 9개 영역 중 1위 | 눈에 띄는 점수 |
|---|---|---|
| Medium (4억 규모 비교) | 8개 | 시각적 위치 인식 78.0점, 한국어 OCR·문서 이해 71.6점 |
| Tiny (1억 규모 비교) | 8개 | 시각적 위치 인식 67.8점, 한국어 OCR·문서 이해 65.6점 |
특히 Tiny(9,800만)는 평균 51.81점으로, 4억 규모 비교 모델 4종보다도 높은 평균을 기록했다고 밝혔습니다. 모두 카카오 자체 평가라는 점은 감안해서 보세요.
내려받아 쓸 때 확인할 점
| 체크 | 내용 |
|---|---|
| 부품이라는 점 | 비전 인코더 단독으로는 질문에 답하지 못합니다. 프로젝터와 언어모델을 붙여 VLM으로 학습해야 합니다. |
| 모델 고르기 | 서버용 품질이 우선이면 Medium, 휴대폰·엣지 기기처럼 자원이 작은 환경이면 Tiny |
| 라이선스 | Kanana-open 라이선스 원문의 상업 이용 조건 확인 |
| 평가 재현 | 내 데이터(한국어 영수증, 계약서 등)로 직접 비교 평가 |
운영자 코멘트
발표를 읽으며 가장 의미 있게 본 부분은 "한국어 OCR·문서 이해"를 별도 평가 영역으로 두고 앞섰다는 점입니다. 국내 업무 자동화에서 영수증·계약서·메뉴판처럼 작은 한글을 읽어야 하는 일이 많은데, 지금까지는 해외 비전 인코더에 기대야 했습니다. 상업 이용이 가능한 1억 이하 모델이 나온 만큼, 온디바이스 문서 인식 같은 서비스를 고민하던 팀이라면 한 번 비교해 볼 가치가 있습니다. 다만 성능 수치는 모두 카카오 자체 평가이고 비전 인코더만으로는 서비스가 되지 않으니, 실제 데이터로 VLM을 구성해 검증하는 과정이 꼭 필요합니다.
맺음말
- 카카오가 10월 21일 자체 비전 인코더 Kanana-2-vision-encoder를 공개했습니다.
- Medium(4억 2,600만)·Tiny(9,800만) 가중치를 상업 이용 가능한 Kanana-open 라이선스로 허깅페이스에 풀었습니다.
- 자체 평가에서 같은 크기 비교 모델 중 9개 영역 가운데 8개 1위, 특히 한국어 OCR·문서 이해와 시각적 위치 인식에서 앞섰습니다.
공식 자료
- 글로벌 최고 수준의 자체 비전 인코더, Kanana-2-vision-encoder 개발기 (카카오테크, 2026-10-21)
- Kanana-2-vision-encoder 컬렉션 (허깅페이스)
- kanana-2-vision-encoder-medium (허깅페이스)
- kanana-2-vision-encoder-tiny (허깅페이스)
👉 다음에 읽을 글
- 딥시크 V4.1 사용법·가격과 오픈소스 공개 — 같은 달 공개된 해외 오픈 웨이트 모델 소식입니다.
- 게티이미지 파산보호 추진｜생성형 AI에 흔들린 이미지 공룡 — 이미지 AI가 산업에 주는 영향을 정리했습니다.
