LINEとNAVER 世界初、日本語特化の超巨大言語モデルの開発
LINEは11月25日、NAVERと共同で人工知能(AI)を用いて日本語に特化した超巨大言語モデルの開発と、その処理に必要なインフラ構築に取り組むと発表した。新しい対話AIの開発や検索サービスの品質向上など、AIテクノロジーブランド「LINE CLOVA」をはじめとするLINE社のサービスへの活用が期待される。
言語モデルとは、言葉をコンピュータに処理させる自然言語処理などにおいて、文の品詞や統語構造、単語と単語、文書と文書などの関係性について定式化したもののこと。従来の言語モデルは対話やQ&Aなどのユースケースに応じて個別に学習する必要があった。汎用言語モデルは、膨大な言語データを学習させた言語モデルを構築、その上でキーとなるサンプルを与えるだけで、対話・翻訳・入力補完・文書生成・プログラミングコードなど、さまざまな言語処理を行うことをできるもの。
超巨大言語モデルとは膨大なデータから生成された汎用言語モデルであり、AIによる、より自然な言語処理・言語表現を可能にするもの。現状、超巨大言語モデルは英語のみが存在しているだけで、日本語に特化した超巨大言語モデルの開発は、世界でも初めての試みとなる。超巨大言語モデルの処理にはスーパーコンピュータなどの高度なインフラ環境が必要なため、英語以外の他の言語については少数の取り組みが発表されるにとどまっている。
両社は今回の日本語に特化した超巨大言語モデルの構築にあたって、土台となるスーパーコンピュータなどのインフラの整備を2020年内に実現する予定。開発された超巨大言語モデルは、新しい対話AIの開発や検索サービスの品質向上などLINEのサービスへの活用の他、第三者との共同開発や外部提供についても検討していくとしている。
(写真はイメージ)