Let s start with a high level insight about where we re going. Other articles by me that i think […]

Skip gram with negative sampling sgns 通常のskip gramでは 単語数の多値分類になるので 単語数が増えれば0に近づける学習が非常に多く 効率が悪い 例えば 周りの10単語を学習するにしても1となるのはその10単語だけで. Skip gram modelは単語ベクトルの作成方法の一つです このモデルの作成で行なっていることは ある単語aを入力したときにその周辺に来るであろう単語を推測するネットワークを作成し そこから単語aを表すベクトルを抽出する. A […]