딥딥딥

원문: https://arxiv.org/abs/1706.03762 AI 공부를 시작하고, 몇 개월만 지나도 Attention이라는 말을 참 많이 듣게됩니다. 해당 논문이 나온 때는 2017년 12월이고, 이 글을 쓰는 현재 2021년 11월이지만 현재 SOTA 논문들을 봐도 Attention이라는 말이 참 많이 보인다는 점을 알 수 있습니다. 이만큼 Attention이 중요하다는 점인데요, 이 글을 통해 Transformer 내에서 문장이 어떻게 변하는지 이해하셨으면 하는 바램입니다. 제 글을 보고 있는 독자분들께서는 아마, 1. 현재 Attention에 대한 관심이 있고, 2. Attention을 이해하려 다른 블로그 글 또는 유튜브 강의를 들었으나, 3. 명확하게 이해가 되지 않아, 이 글까지 오게 ..

이상현상을 해결하기 위해서 정규화를 해야한다는 것을 앞선 포스팅에서 확인할 수 있었습니다. 데이터베이스 이상 현상 데이터 이상(data anomaly)은 릴레이션 처리과정에서 불필요한 데이터 중복으로 인해 발생하는 부작용을 말합니다. 이상 현상에는 1. 삽입 이상 2. 삭제 이상 3. 갱신 이상 이 있습니다. 예를 들어 설 deep-deep-deep.tistory.com 이러한 이상현상이 발생하는 원인은 하나의 릴레이션에 무리하게 많은 속성들을 넣으려다 보니 생겨난 것입니다. 따라서 연관관계가 높은 속성들만 모아 릴레이션을 분해하는 것이 필요하다는 것을 알 수 있습니다. 그렇다면 어떻게 연관성이 높은지를 판단할 수 있을까요? 바로 함수 종속성이라는 개념을 통해 연관성이 높은지 낮은지 판단하게됩니다. 그리..

데이터베이스 이상현상이란 릴레이션 처리과정에서 불필요한 데이터 중복으로 인해 발생하는 부작용을 말합니다. 이상 현상에는 1. 삽입 이상 2. 삭제 이상 3. 갱신 이상 이 있습니다. 예를 들어 설명해보겠습니다. 한 대학교에서 IT 시스템을 운용하는데 단 하나의 릴레이션만 사용하고 있다고 가정해봅시다. (말만 들어도 이상현상이 생길 것 같습니다) 릴레이션 예시 학번(기본키) 이름 수강과목 번호 수강과목 이름 교수 이름 2020123 홍길동 c103 선형대수 김지아 2020124 철수 e403 서양철학의 이해 이서준 2020125 영희 k114 경제학입문 한서아 2020202 이지수 e403 서양철학의 이해 이서준 1. 삽입 이상 올해 처음으로 박민준 교수의 양자역학의 이해(q291)라는 과목이 개설된다고 ..

XGBoost Metric 종류 https://xgboost.readthedocs.io/en/latest/parameter.html#:~:text=too%20much%20effect.-,eval_metric,-%5Bdefault%20according%20to XGBoost Parameters — xgboost 1.6.0-dev documentation XGBoost Parameters Before running XGBoost, we must set three types of parameters: general parameters, booster parameters and task parameters. General parameters relate to which booster we are using to..

LightGBM 지원 Metric https://lightgbm.readthedocs.io/en/latest/Parameters.html?highlight=metric#metric Parameters — LightGBM 3.3.0.99 documentation objective 🔗︎, default = regression, type = enum, options: regression, regression_l1, huber, fair, poisson, quantile, mape, gamma, tweedie, binary, multiclass, multiclassova, cross_entropy, cross_entropy_lambda, lambdarank, rank_xendcg, aliases: object ..

원문: https://keras.io/examples/vision/siamese_network/ 요약: triplet loss 함수를 사용하여 이미지간 유사도를 비교하는 Siamese Network에 대해 알아봅시다. View in Colab GitHub source 개요 Siamese Network 는 두 개 이상의 동일한 하위 네트워크를 포함하는 네트워크 아키텍쳐로서, 하위 네트워크들은 각 입력에 대한 특징 벡터를 생성하고 비교하는 역할을 합니다. 이 예제에서는 3개의 동일한 하위 네트워크가 있는 Siamese Network를 사용합니다. 우리는 모델에 3개의 이미지를 제공할 것입니다. 그 중 2개는 유사하고 (Anchor-Positive 이미지) 나머지 1개(Negative 이미지)는 관련이 없습니..

import os SEED = 42 os.environ['PYTHONHASHSEED'] = str(SEED) os.environ['TF_DETERMINISTIC_OPS'] = '1' import random random.seed(SEED) import tensorflow as tf import numpy as np tf.random.set_seed(SEED) np.random.seed(SEED)

윈도우 10, CUDA 11.0 환경에서 pip install tensorflow 로 설치 시, Could not load dynamic library 'cusolver64_11.dll'; dlerror: cusolver64_11.dll not found. Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries ..

Window 10 CUDA 10.1 환경에서, pip install tensorflow 로 설치 시, Could not load dynamic library 'cudnn64_110.dll', dlerror: cudnn64_110.dll not found 에러가 발생하여, GPU가 잡히지 않는 에러가 발생한 경우 해결방법입니다. 해답을 먼저 말하자면, CUDA 10.1 환경에서 pip로 tensorflow를 설치할 경우, GPU를 사용할 수 없습니다. 그 이유는 현재(20.12.15 이후) pip install tensorflow를 입력할 경우, tensorflow==2.4.0이 설치되기 때문입니다. tensorflow==2.4.0은 아래 링크에서 볼 수 있듯이, CUDA 11.0을 기준으로 구성되었기 때..

Collaborative Filtering for Movie Recommendations Author: Siddhartha Banerjee Date created: 2020/05/24 Last modified: 2020/05/24 Description: Recommending movies using a model trained on Movielens dataset. - Keras - Colab - Github Introduction Movielens dataset을 활용하여 협업 필터링을 적용하여 사용자에게 영화를 추천하는 방법에 대해 알아봅시다. MovieLens 영화 평점 데이터 세트는 사용자가 영화에 부여한 평점을 담고 있습니다. 우리의 목표는 사용자가 아직 보지 않은 영화의 평점을 예측하는 것입니..