ゼロから作る2の第4章「word2vecの高速化」を読んだ。第3章で出てきたCBOWモデルの、計算が複雑な箇所を単純化した。 全体のうちの問題はこの部分で、それぞれの対応はこれ、とわかりやすい章だった。 ・CBOWモデルのおさらい CBOWモデルは、コンテキスト（…

ゼロから作る2の第3章「word2vec」を読んだ。名前はよく聞くword2vecだが、具体的にどのようなものなのかを学んだ。 ・word2vecとは？ 第2章のカウントベースの時と同じく、ゴールは「単語の分散表現を得ること」である。 推論ベースの手法である。 例えば、…

ゼロから作るDeepLearning2（自然言語処理編）を読んでいる。 第2章「自然言語と単語の分散表現」を読み終えたので、内容をメモする。 ・本章でのゴール 単語を、意味を捉えたベクトル（これを分散表現と呼ぶ）として表すこと。これができれば、単語同士の類…

ゼロから作るDeepLearningの7章畳み込みニューラルネットワークを読んだ。 畳み込みニューラルネットワーク（convolutional neutral network：CNN） 今までのニューラルネットワークはAffine層とReLU層のペアを繰り返していたが、CNNでは畳み込み層とプーリ…

ゼロから作るの第7章、畳み込みニューラルネットワークを勉強中。 p205-229まで。 次元が増えているだけで、そこまで難しいことは言っていない印象。画像のまま処理するというのは、なるほどなと感じた。最後の実装のところを手でできていないから、今度実装…

ゼロから作るDeepLearningの6章学習に関するテクニックを読んだ。 （この記事、1.5時間くらいかかった・・・） ■要約 5章までで作成したニューラルネットワークのモデルの、改善方法を紹介している。大きく分けて、以下の3種類。 1．最適化手法 損失関数の最…

１冊の本や1つの映画の記事ではなく、学んだ内容の雑多なアウトプットもしたかったので、記事にする。 [学び]タグで管理しようと思う。 ゼロから作るDeepLearningの5章誤差逆伝播法を読んだ。 ■重要なこと ・誤差逆伝播法は、関数の微分を細かなノードに区切…