본문 바로가기

분류 전체보기

 (150)
태블로 기초 리뷰 ③ 태블로 작업창 살펴보기 차원: 왼쪽의 테이블에서 파란색으로 표시된 변수, '관점'을 의미함 측정값: 왼쪽의 테이블에서 초록색으로 표시된 변수, '숫자'를 의미함. =>변수들을 열선반/행선반에 올려놓고 작업을 진행한다. 새 워크시트: 워크 스페이스(시트) 추가 새 대시보드: 여러 시트를 하나의 대시보드로 조합 가능 새 스토리: 시트와 대시보드를 조합하여 ppt처럼 프레젠테이션 가능 데이터 연결창 바로가기 undo & redo (undo: ctrl+Z redo: ctrl+Y) 저장하기 데이터 소스 추가 (데이터 연결창으로 가지 않고 작업창에서 새로운 데이터 연결) 작업창 초기화 행과 열 바꾸기 정렬 레이블 붙이기 화면 크기 조정 프레젠테이션 모드 행선반과 열선반의 알약 맞교환 오름차순 정렬 or 내림차순 정렬 표준, 너비 맞추기,..
태블로 기초 리뷰 ② 데이터 준비하기 동영상에서는 google bigquery의 데이터를 사용했는데, 나는 google bigquery로 들어가면 sample store 데이터가 없어서, 엑셀에 연결해서 sample store 데이터를 사용했다. 왼쪽의 시트에서 'orders'를 drag and drop으로 데이터를 불러왔다. 연결 창의 '추가'를 눌러서 다른 데이터를 같이 가져올 수도 있다. 나는 엑셀에 연결해서 '슈퍼스토어-샘플'의 '인력' 데이터를 불러왔다. 두 데이터를 어떤 열을 기준으로 묶을 건지 설정할 수 있다. 라이브 vs 추출 데이터 연결 방식을 '라이브'와 '추출' 두 방법 중 하나를 고를 수 있다. 라이브: DB에 부하가 가고 처리 속도가 느리지만 DB가 실시간으로 업데이트됨 추출: local PC에 데이터의 스캔본을 뜨는..
태블로 기초 리뷰 ① 데이터 연결하기 태블로 데스크탑버전으로 다운로드 받아서 지금은 14일 무료 체험기간이고, 학생증 인증을 해서 1년동안 무료로 사용할 수 있어서 승인을 기다리고 있다! 보통 3일정도면 된다는데 난 아직이다,, 일단! 태블로 첫 페이지에 들어가면 요런 창이 뜨고, 왼쪽에 '파일에 연결', '서버에 연결', '저장된 데이터 원본' 을 클릭할 수 있다. '저장된 데이터 원본'은 태블로에서 제공하는 데이터들이고, 데이터를 따로 가공할 필요 없이 바로 작업에 들어갈 수 있다. '파일에 연결'은 내 컴퓨터 안의 데이터에 연결할 수 있고, '서버에 연결'은 구글에서 엑세스 해서 외부에서 제공하는 데이터에 연결할 수 있다.
LSTM (Long-Short Term Memory)이란? (배경) vanilla RNN 모델의 장기 의존성 문제(the problem of Long-Term Dependencies) 기존의 RNN 모델은 input 문장의 길이가 길어질 수록, 즉 time step이 길어질 수록 앞의 정보가 뒤로 충분히 전달되지 못한다. 긴 문장이 input으로 들어왔을 때, 앞쪽에 위치하는 단어들은 아무리 중요한 단어라고 해도 멀리 떨어진 단어를 예측하는 데 거의 영향을 주지 못한다. 이는 back propagation 관점에서 이해할 수 있다. RNN에서 gradient를 구할 때는 이전 시점들에서의 gradient들까지 time series 하게 chain rule로 곱해야 해서 이 때의 back propagation을 backpropagation through time(..
FastText tkdguq05.github.io/2020/08/14/Fasttext/ SISG를 활용한 Fasttext에 대해서 알아보자 자연어 처리 모델에 자주 사용되는 FastText를 뽀개보고 skipgram 모델과의 차이를 알아보자. tkdguq05.github.io 위 페이지를 참조하여 작성한 fasttext 논문 리뷰입니다. 이전 모델들의 한계점 각각의 단어에 독립적으로 서로 다른 벡터를 부여함으로써 단어의 morphology, 내재적인 의미를 무시함. 거대한 데이터셋과 희귀 단어에 대해 embedding 정확도가 낮아서 학습이 제대로 일어나지 않는다. FastText skip gram model을 기반으로 character 단위의 n-gram의 벡터들의 표현을 합치는 방법 하나의 단어를 n개로 잘라서 만든..
Word2vec 논문 리뷰 4. Results 단어들간 유사성을 측정하는 데 여러 방법이 존재한다.(semantic relationship or syntactic relationship) 4.1 task description semantic question과 syntactic question을 test set으로 구성한다. 비슷한 단어의 쌍들을 직접 찾아 연결하여 question들을 만든다. 랜덤하게 두 단어를 한 쌍으로 선택해서 총 2.5K개의 질문을 만들었다. 모든 질문에 대해 정확도를 측정했다: 예측한 결과 벡터에 대해 가장 가까운 단어가 질문과 완벽하게 일치할 때 정답으로 처리한다. 4.2 maximization of accuracy 구글 뉴스의 word vector를 training set으로 사용했고 6B개의 token..
NNLM, RNNLM, Word2vec wikidocs.net/45609 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 딥러닝을 이용한 자연어 처리 입문 페이지를 많이 참고했습니다. 1. Language model 단어 시퀀스(문장)에 확률을 할당하는 모델 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 함. 통계를 이용한 방법과 인공 신경망을 이용한 방법이 있음. (1) 통계적 언어 모델(SLM, statistical language model) 문장 학습 이후에 이전 단어 이후에 특정 단어가 나타날 확률을 조건부 확률로 계산함. -> 희소 문제(sparsity problem) 발생 모든 단어들을 독립적으로 계산하면 유사한 단어들에 대한 정보를 놓치게 되고, 이를 모두 계산하기 위해선 방대한 양의 데이터가 필요함..
FullyConnected Nets: Programming 개요

티스토리툴바