본문 바로가기

딥러닝

 (38)
BERT(Bidirectional Encoder Representation from Transformer) https://www.youtube.com/watch?v=IwtexRHoWG0&t=318s 위 동영상을 참고하여 작성했습니다. BERT Bert는 transformer의 encoder 파트로만 이루어진 모델이다. Pre - training Masked Language Model (MLM): 단어에 random하게 mask를 부여하여 학습 Next Sentence Prediction (NSP): corpus에서 sentence와 sentence가 연속된 문장인 지 학습 Fine tuning: Bert에 NLP task의 목적에 맞게 맨 마지막 layer을 쌓는 과정 Input / Output Representation Bert의 input으로 sentence를 하나 또는 여러 개 넣을 수 있다. Pre-t..
LSTM 실습: reuters 예제 import tensorflow as tf from tensorflow import keras from tensorflow.keras.datasets import reuters (X_train,y_train),(X_test,y_test) = reuters.load_data(num_words=10000, test_split=0.2) keras에서 제공하는 로이터 뉴스 데이터는 뉴스 기사 텍스트로 46개의 뉴스 토픽을 분류하는 예제이다. keras.datasets에서 reuters를 불러왔다. print(X_train.shape) print(y_train.shape) print(X_test.shape) print(y_test.shape) (8982,) (8982,) (2246,) (2246,)으로, 약 4:..
LSTM 실습: imdb 예제 import tensorflow as tf from tensorflow import keras from keras.datasets import imdb (X_train,y_train),(X_test,y_test) = imdb.load_data(num_words=10000) keras의 기본 제공 데이터셋에서 imdb 데이터를 불러온다. 이는 imdb 사이트의 영화 리뷰 데이터이다. print(X_train.shape) print(y_train.shape) print(X_test.shape) print(y_test.shape) (25000,) (25000,) (25000,) (25000,) train set과 test set 모두 25000개의 데이터를 가지고 있다. X_train은 25000개의 list..
KNU 한국어 감성사전: 논문 리뷰 KNU 한국어 감성사전 KNU 한국어 감성사전은 표준 국어 대사전의 뜻풀이의 감성을 Bi-LSTM으로 긍정 뜻풀이와 부정 뜻풀이로 분류했다. 긍정으로 분류된 뜻풀이에서는 긍정에 대한 감성 어휘를, 부정으로 분류된 뜻풀이에서는 부정에 대한 감성 어휘를 1 gram, 2 gram, 어구, 문형 등의 형태로 추출했다. 그 외에도 SenticNet, 감정동사, 감정사전, 신조어, 이모티콘으로 다양한 감성 어휘를 확장했다. 이렇게 구축된 감성사전은 특정 도메인의 감성 사전을 구축하는 데 기반이 되고 감성분석, 기계 학습을 위한 학습 데이터 세트의 구축에 용이하다. ex) '슬프다'라는 단어가 제품 리뷰에 있으면 부정적인 리뷰라고 생각할 수 있으나, 영화 리뷰에 있으면 영화에 대한 부정적인 평가라고 생각하기 어렵다..
Transformer: multihead attention을 중심으로 https://www.youtube.com/watch?v=Yk1tV_cXMMU 위 동영상을 참고하여 작성했습니다. Transformer의 구조 (1) Input Embedding (2) Positional Encoding (3) Encoder > Self multihead Attention (4) Add & Normalization (5) Feed Forward Neural Network (6) Decoder > Masked multihead Attention (7) (Encoder & Decoder) Multihead Attention (8) Linear & Softmax Layer Encoder과 Decoder transformer에서 encoder와 decoder은 같은 개수로 여러 층이 쌓여 있는..
CNN 실습: fashion mnist 예제 import tensorflow as tf from tensorflow import keras import keras.datasets as d help(d) keras에서 제공하는 데이터셋은 boston_housing(보스턴 집값 예측), cifar(이미지 분류), mnist(손글씨 분류), fashion_mnist(의류 분류), imdb(영화 리뷰 감정 분류), reuters(뉴스 토픽 분류)가 있다. fmnist = keras.datasets.fashion_mnist (X_train,y_train),(X_test,y_test) = fmnist.load_data() print(X_train.shape) print(y_train.shape) print(X_test.shape) print(y_test.sh..
CNN 실습: mnist 예제 import numpy as np import pandas as pd import tensorflow as tf from tensorflow import keras from sklearn.datasets import fetch_openml mnist = fetch_openml('mnist_784',version=1,cache=True) from tensorflow.keras.utils import to_categorical X = (mnist.data.values/255).reshape(len(mnist.data),28,28,1) y = to_categorical(mnist.target.astype(np.int),10) from sklearn.model_selection import train_test_..
tensorflow, keras 실습: mnist 예제 import tensorflow as tf from tensorflow import keras from sklearn.datasets import fetch_openml from tensorflow.keras.utils import to_categorical mnist = fetch_open('mnist_784', version=1) X = mnist.data y_ori = mnist.target y = to_categorical(y_ori, 10) tensorflow와 keras를 import 하고, sklearn의 datasets에서 fetch_openml을 불러와서 mnist data를 불러온다. X에 mnist.data를, y_ori에 mnist.target을 넣어준다. mnist는 0부터 9까지..

티스토리툴바