본문 바로가기
인사이트노바

자체 개발 한국어 언어모델

Nova-1B

데이터 수집부터 학습까지 인사이트노바가 직접 수행한 12억 파라미터 규모의 한국어 중심 언어모델입니다.

  • 토크나이저 자체 제작 64K
  • 문맥 8,192 토큰
  • 학습 데이터 3,620억 토큰
  • 구동 단일 GPU · 온프레미스

3,620억 토큰을 처음부터 직접 학습했습니다

한국어와 영어, 수학, 코드까지 다양한 출처의 공개 데이터 약 1.5TB를 직접 모았습니다.

규모와 사양

1.2B 경량 모델이라 단일 GPU와 온프레미스에서 구동할 수 있습니다

학습
처음부터 자체 학습
다른 모델을 바탕으로 하지 않고 데이터 수집부터 학습까지 직접 수행했습니다.
언어
한국어 · 영어
수학과 코드 데이터도 함께 학습했습니다.
문맥 길이
8,192 토큰
A4 약 8~10쪽 분량의 문서를 한 번에 읽습니다.
토크나이저
자체 제작 64K
한국어를 효율적으로 처리하도록 직접 설계했습니다.
구조
Hybrid Gated DeltaNet-2
같은 규모 모델보다 긴 문맥을 적은 메모리로 빠르게 처리합니다.
학습 데이터
3,620억 토큰
약 1.5TB 분량의 텍스트로, 다양한 출처의 공개 데이터를 모았습니다.
Nova-1B인사이트노바1.2B사전학습
Llama-3.2-1BMeta1.2B사전학습
Gemma-3-1BGoogle1.0B사전학습
EXAONE-4.0-1.2BLG AI연구원 · 지시학습1.3B지시학습
HyperCLOVAX-SEED-1.5B네이버 · 지시학습1.6B지시학습

비교한 공개모델 4종도 모두 1.0B~1.6B 규모입니다.

Nova-1B와 Llama, Gemma는 사전학습 단계이고 EXAONE과 HyperCLOVAX는 지시학습까지 마쳤습니다. 아래 점수는 같은 단계 모델끼리도 따로 비교합니다.

한국어 과제

한국어 과제 9개 중 7개에서 가장 높은 점수를 받았습니다

예시 없이 문제만 준 평가(0-shot)이고 1.0 만점입니다. 1위 과제 수는 다섯 모델 기준입니다.

예시 10개를 함께 줘도 독해와 상황 추론은 1위였습니다독해 0.535에서 0.654 · 상황 추론 0.528에서 0.554

  1. 감성 분류NSMCNova-1B 0.749점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위
  2. 독해KorQuAD · EMNova-1B 0.535점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위, 예시 10개를 함께 주면 0.654점으로 1위
  3. 상식 추론COPANova-1B 0.731점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위
  4. 상황 추론HellaSwagNova-1B 0.528점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위, 예시 10개를 함께 주면 0.554점으로 1위
  5. 부정문 감성SentiNegNova-1B 0.809점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위
  6. 영한 번역chrF2Nova-1B 0.336점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위
  7. 한영 번역chrF2Nova-1B 0.580점, 다섯 모델 중 1위, 같은 단계 3개 모델 중 1위
  8. 뉴스 주제 분류YNATNova-1B 0.345점, 다섯 모델 중 5위, 같은 단계 3개 모델 중 3위
  9. 예/아니오 독해BoolQNova-1B 0.546점, 다섯 모델 중 3위, 같은 단계 3개 모델 중 1위
한국어 점수 표 보기
한국어 과제별 점수(0-shot, 1.0 만점)
과제Nova-1B인사이트노바 · 1.2BLlama-3.2-1BMeta · 1.2BGemma-3-1BGoogle · 1.0BEXAONE-4.0-1.2BLG AI연구원 · 1.3B지시학습 완료HyperCLOVAX-SEED-1.5B네이버 · 1.6B지시학습 완료
감성 분류NSMC0.749 (1위)0.5940.5950.5570.742
독해KorQuAD · EM0.535 (1위)0.2030.3120.2060.526
상식 추론COPA0.731 (1위)0.5740.6960.5840.679
상황 추론HellaSwag0.528 (1위)0.4800.4980.4260.494
부정문 감성SentiNeg0.809 (1위)0.5090.5010.4990.270
영한 번역chrF20.336 (1위)0.1320.2050.0320.293
한영 번역chrF20.580 (1위)0.3980.4950.0470.549
뉴스 주제 분류YNAT0.3450.4910.516 (1위)0.4540.349
예/아니오 독해BoolQ0.5460.5040.5350.5860.675 (1위)
1위 개수9개 과제 중70101

번역

한국어와 영어 번역은 두 방향 모두 1위입니다

예시 10개 점수는 자료에 Nova-1B와 2위 모델만 있어, 나머지 세 모델은 예시 없이 받은 점수만 보입니다.

영어를 한국어로chrF2

  • Nova-1B, 다섯 모델 중 1위인사이트노바 · 1.2B0.336, 예시 10개를 함께 주면 0.358
  • Llama-3.2-1BMeta · 1.2B0.132
  • Gemma-3-1BGoogle · 1.0B0.205
  • EXAONE-4.0-1.2BLG AI연구원 · 1.3B · 지시학습0.032
  • HyperCLOVAX-SEED-1.5B네이버 · 1.6B · 지시학습0.293, 예시 10개를 함께 주면 0.310

한국어를 영어로chrF2

  • Nova-1B, 다섯 모델 중 1위인사이트노바 · 1.2B0.580, 예시 10개를 함께 주면 0.595
  • Llama-3.2-1BMeta · 1.2B0.398
  • Gemma-3-1BGoogle · 1.0B0.495
  • EXAONE-4.0-1.2BLG AI연구원 · 1.3B · 지시학습0.047
  • HyperCLOVAX-SEED-1.5B네이버 · 1.6B · 지시학습0.549, 예시 10개를 함께 주면 0.558
예시 10개 점수 표 보기
예시 10개를 함께 준 평가(10-shot)에서 Nova-1B가 1위인 과제
과제Nova-1B0-shot에서 10-shot으로2위
영한 번역chrF20.336에서0.358HyperCLOVAX-SEED-1.5B0.310
한영 번역chrF20.580에서0.595HyperCLOVAX-SEED-1.5B0.558
독해KorQuAD · EM0.535에서0.654EXAONE-4.0-1.2B0.630
상황 추론HellaSwag0.528에서0.554HyperCLOVAX-SEED-1.5B0.516

영어 과제

영어는 같은 단계 모델보다 독해와 문장 유사도에서 앞섰습니다

문장 관계 추론은 Llama가 더 높았습니다. 지시학습까지 마친 모델과 비교하면 HyperCLOVAX에는 세 과제 모두, EXAONE에는 문장 관계 추론과 문장 유사도에서 미치지 못했습니다.

같은 단계 3개 모델 가운데에서는 독해와 문장 유사도가 1위입니다.

영어 독해SQuAD · EM

  • Nova-1B인사이트노바 · 1.2B0.511, 같은 단계 모델 중 1위
  • Llama-3.2-1BMeta · 1.2B0.343
  • Gemma-3-1BGoogle · 1.0B0.377
  • EXAONE-4.0-1.2BLG AI연구원 · 1.3B · 지시학습0.275
  • HyperCLOVAX-SEED-1.5B네이버 · 1.6B · 지시학습0.597, 다섯 모델 중 1위

문장 관계 추론MNLI

  • Nova-1B인사이트노바 · 1.2B0.354
  • Llama-3.2-1BMeta · 1.2B0.402, 같은 단계 모델 중 1위
  • Gemma-3-1BGoogle · 1.0B0.331
  • EXAONE-4.0-1.2BLG AI연구원 · 1.3B · 지시학습0.370
  • HyperCLOVAX-SEED-1.5B네이버 · 1.6B · 지시학습0.597, 다섯 모델 중 1위

문장 유사도STS-B · Pearson

  • Nova-1B인사이트노바 · 1.2B0.191, 같은 단계 모델 중 1위
  • Llama-3.2-1BMeta · 1.2B0.037
  • Gemma-3-1BGoogle · 1.0B0.081
  • EXAONE-4.0-1.2BLG AI연구원 · 1.3B · 지시학습0.237
  • HyperCLOVAX-SEED-1.5B네이버 · 1.6B · 지시학습0.747, 다섯 모델 중 1위
영어 점수 표 보기
영어 과제별 점수(0-shot, 1.0 만점)
과제Nova-1B인사이트노바 · 1.2BLlama-3.2-1BMeta · 1.2BGemma-3-1BGoogle · 1.0BEXAONE-4.0-1.2BLG AI연구원 · 1.3B지시학습 완료HyperCLOVAX-SEED-1.5B네이버 · 1.6B지시학습 완료
영어 독해SQuAD · EM0.5110.3430.3770.2750.597 (1위)
문장 관계 추론MNLI0.3540.4020.3310.3700.597 (1위)
문장 유사도STS-B · Pearson0.1910.0370.0810.2370.747 (1위)

지금 단계

사전학습을 마친 베이스 모델입니다

  1. 데이터 수집3,620억 토큰
  2. 토크나이저자체 제작 64K
  3. 사전학습완료지금언어의 기초 능력
  4. 다음 단계지시학습대화형 응답, 요약·정리·형식 맞춤 답변

지금 할 수 있는 일

  • 문장 완성과 이어쓰기
  • 한국어·영어 번역
  • 지문을 읽고 답하는 질의응답
  • 감성 분류
  • 상식 추론
연락처 보기