統合型知的学修支援システム（２）
概要
概要
Doc2VecやBERTによる文書間の一致度（cos類似度）などを計算します。医療データサイエンス入門の課題としても利用しています。
BERTによる文書間の一致度の計算や単語の穴埋め
BERTによる文書間の一致度の計算や単語の穴埋め
プログラムソース（Google Colaboratory）
プログラムソース（Google Colaboratory）
下記のリンクからプログラムを実行できます。
下記のリンクからプログラムを実行できます。
スクリーンショット
スクリーンショット
目的
目的
自然言語処理（NLP）モデルであるBERT (Bidirectional Encoder Representations from Transformers)を用いて、日本語テキストのトークナイズ、文書間の類似度の計算、単語の位置関係の可視化、そして穴埋め問題を解く、などします。（医療データサイエンス入門の演習課題にもなっています）
内容
内容
環境設定とモデルのダウンロード
分かち書きの確認
単語の位置関係の可視化
文章間の類似度の計算
３つの文章の位置関係を可視化
BERTによる穴埋め問題の回答
BARTによる会話の予測
Doc2Vecによる文書間の一致度（cos類似度）の計算
Doc2Vecによる文書間の一致度（cos類似度）の計算
準備しています
北海道医療大学 情報センター・情報推進課
お問い合わせ先：情報推進課 ips(at)hoku-iryo-u.ac.jp