Korean


Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #OpenWeight #DataMixture Issue Date: 2026-08-06 Comment

テクニカルレポート: https://github.com/SKT-AI/A.X-K2/blob/main/A_X_K2_Tech_Report.pdf

- 8.2Tトークンで事前学習
- DataMixや学習ドメインの変遷などデータに関するレシピも記述されている(英語72.7%に対し、韓国語15.4%, コード8.3%, 日本語、スペイン語、中国語がそれぞれ約1%ずつ)

元ポスト:

Loading…

関連:
- A.X-K1, SK Telecom, 2026.01