오뚝이개발자

keras를 사용해 멀티 gpu를 사용하는 방법을 알아보자. 해당 메소드는 케라스 2.0.9 버전부터 사용이 가능하니 해당 버전에 맞춰 설치해야 한다. model = Sequential() model.add(layers.LSTM(32, input_shape=(None, float_data.shape[-1]))) model.add(layers.Dense(1)) # multi-gpu 사용 from keras.utils.training_utils import multi_gpu_model model = multi_gpu_model(model, gpus=2) model.compile(optimizer=RMSprop(), loss='mae') history = model.fit_generator(train_gen,..

tensorflow나 keras를 사용해 ML 코드를 돌릴 때 CPU가 아닌 GPU에서 돌아가도록 설정하는 방법에 대해 소개한다. 방법은 크게 2가지 정도가 있는데 본인이 원하는 상황에 따라 맞게 사용하면 된다. 방법 1 : 원하는 부분에만 GPU로 실행하도록 하기 # 텐서를 GPU에 할당 with tf.device('/GPU:0'): a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]) b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]]) c = tf.matmul(a, b) print(c) 위와 같이 with문으로 사용하면 특정 컨텍스트를 묶어 해당 부분만을 특정 GPU로 실행되도록 한다. 이 때, 어떤 GPU를 사용할 ..

문제 https://codingcompetitions.withgoogle.com/kickstart/round/0000000000435a5b/000000000077a882 Kick Start - Google’s Coding Competitions Hone your coding skills with algorithmic puzzles meant for students and those new to coding competitions. Participate in one round or join them all. codingcompetitions.withgoogle.com 나의 풀이 DP를 사용하여 푸는 간단한 문제이다. 문자열의 길이 n만큼의 dp 배열을 만들어서 모두 1로 초기화 한다. 이 배열은 해당 인덱..

오늘 소개할 논문은 구글 리서치팀에서 발표한 "Towards a Human-like Open-Domain Chatbot"이다. (원논문 링크) Meena라는 이름으로 잘 알려진 2020년도 구글에서 발표한 챗봇에 관한 논문이다. 하지만 사실상 챗봇 모델보다는 evaluation metric을 제안했다는 것에 큰 의의가 있다. 본 논문의 핵심 1. Meena는 end-to-end로 학습된 multi-turn, open-domain 챗봇이다. 2. 다음 토큰의 ppl(perplexity)을 최소화하는 방식으로 학습 3. SSA라는 human evaluation metric을 제안 SSA는 Sensibleness and Specificity Average다. 한마디로, 말이 되는지(sensible) 그리고 g..

오늘 소개할 논문은 "ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS"이다.(원논문 링크) What is ELECTRA? ELECTRA는 구글 리서치 팀에서 발표한 논문으로 LM의 새로운 pre-training 기법을 제안하였다. ELECTRA는 Efficiently Learning an Encoder that Classifies Token Replacements Accurately의 약자이다. 기존의 MLM(Masked Language Model) 태스트를 통한 pre-training 방식은 많은 연산량을 필요로 한다. 이로 인해 충분한 컴퓨팅 리소스가 없는 연구자들에게 LM을 학습시키기가 점점 어려워지고 있다. ..

케라스에서 optimizer로 RMSprop을 사용하다 보면 위와 같은 에러가 나오는 경우가 많다. 아마 버전 문제이거나 import 형식 때문인 것 같은데(구체적인 원인은 잘 모르겠다...) 하지만 해결법은 알고 있음!!! ㅎㅎ 이런 경우 대부분 아래와 같이 사용했을 경우가 많다. import keras model = ~~~~....# 대충 이 부분에 model definition을 했다고 한다면 model.compile(loss='categorical_crossentropy', optimizer=RMSprop(lr=0.001), metrics=['accuracy']) 이 때 실행을 돌리면 AttributeError: module 'keras.optimizers' has no attribute 'RMS..

Git을 처음 다운받으면 초기에 설정해주어야 하는 것이 있다. 무작정 git을 다운받았다고 해서 바로 git clone을 사용해 레포지토리를 클론할 수 있는 것이 아니다. git config 명령어를 사용하여 user name과 user email을 입력해주어야 한다. 깃허브에 가입 시에 적었던 본인의 email과 user name이 필요하다. 이 두가지 정보는 보안과 관련된 정보들이니 본인만 알고 있어야 한다.(깃헙에서 사용자를 indentify하는 일종의 authentication information이라고 생각하면 된다.) 아래와 같은 명령어를 커맨드 창에 입력하여 두 가지 정보를 입력할 수 있다. git config --global user.name=본인의 깃허브 name git config --..

문제 https://codingcompetitions.withgoogle.com/kickstart/round/0000000000435bae/0000000000887c32 Kick Start - Google’s Coding Competitions Hone your coding skills with algorithmic puzzles meant for students and those new to coding competitions. Participate in one round or join them all. codingcompetitions.withgoogle.com 나의 풀이 자신의 집 앞에 쓰레기통이 없는 경우 간단하게 두 가지 경우만 존재한다. 좌측 방향의 가장 가까운 쓰레기통을 선택하거나 우측 방향..