티스토리

:: Grit ::

검색하기

블로그 홈

:: Grit ::

ssung-22.tistory.com/m

꾸준하게 나아가기 :-D

구독자: 10

방명록 방문하기

주요 글 목록

[Algorithm] 탐욕적인 알고리즘, Greedy 이번 글은 눈 앞에 보이는 최선의 선택만 하는 알고리즘 Greedy 알고리즘에 관한 내용입니다. Greedy 알고리즘은 이전에 다뤘던 Dynamic Programing 이나 Divide and Conquer 알고리즘처럼 사용하기 위한 필수 조건이 있는 것은 아닙니다. 하지만 미래는 내다보지 않고 눈 앞에 보이는 최선의 선택만 하는 탐욕적인 알고리즘이기 때문에 최적의 답을 찾기 위한 조건은 있습니다. 최적의 부분 구조를 갖고 각 단계에서 탐욕스러운 선택이 각 문제에서 최종 답을 구하기 위한 최선의 선택이라는 탐욕적 선택 속성을 갖고 있다면 최적의 답을 보장할 수 있습니다. 간단하고 빠르다는 장점을 갖고 있지만 최적의 답을 보장해주는 조건에 사용하는 것이 아니라면 최적의 답을 보장받지 못한다는 단점을 갖고 .. 공감수 1 댓글수 0 2021. 5. 1.
[Algorithm] 동적계획법(DP, Dynamic Programming) 이번 글은 하나의 문제는 단 한 번만 풀도록 하는 효율적인 알고리즘, Dynamic Programming에 대해 다룹니다. 동적 계획법(DP, Dynamic Programming)은 한 번 푼 문제는 저장해놓고 공간복잡도를 늘리는 대신 시간복잡도는 줄이는 방식입니다. 지난 포스팅에서 합병 정렬과 퀵 정렬을 하며 다뤘던 분할 정복 방식(Divide and Conquer)과 유사한 알고리즘입니다. 분할 정복 방식도 문제를 더 작은 문제로 나눠서 풀었었죠? 동적 계획법도 비슷한 조건을 갖고 있습니다. DP를 적용하기 위한 2가지 조건입니다. 1. 최적 부분 구조(Optimal Substructure) - 전체 문제의 답을 부분 문제의 답을 이용하여 풀 수 있는 구조 2. 중복되는 부분 문제(Overlappin.. 공감수 2 댓글수 4 2021. 4. 17.
[ML] NMF(Non-negative Matrix Factorizaion), 비음수 행렬 분해 이번 글은 유사도 검정을 통해 알게 된 NMF(Non-negative Matrix Factorization) 기법에 대해 알아보겠습니다. NMF은 유사도 검정 전 텍스트 데이터에서 특성을 추출하는 것 외에도 차원 축소, 토픽 모델링 등에 사용됩니다. NMF는 하나의 객체정보를 음수를 포함하지 않은 두 개의 부분 정보로 인수분해하는 방법입니다. 즉, 음수를 포함하지 않은 행렬 m x n 행렬 R을 음수를 포함하지 않은 행렬 W, H의 곱으로 분해하여 의미 있는 특징을 추출하는 기법입니다. (위키백과) NMF의 목적은 공통 특성만을 가지고 정보를 줄이는 것입니다.이를 수식과 뉴스 기사에서 단어를 기반으로 특성을 추출하는 예시로 표현하면 아래와 같습니다. 행렬 R은 데이터셋으로 행은 샘플, 열은 feature.. 공감수 1 댓글수 2 2021. 4. 17.
이모지로 인한 유니코드 오류 kkomoran 형태소 분석기를 이용하던 중 아래와 같은 오류가 발생했습니다. 데이터를 보니 🦚 과 같은 이모지가 들어있더라고요. 이모지는 utf-8 언어셋을 사용하는 형태소 분석기에서 매핑되지 않아 오류가 나타나게 된 것입니다. 아래를 참고하여 해결하였습니다. removing emojis from a string in Python I found this code in Python for removing emojis but it is not working. Can you help with other codes or fix to this? I have observed all my emjois start with \xf but when I try to search for str. stackoverflow.c.. 공감수 1 댓글수 3 2021. 4. 7.
[ML] 유사도 검정 문서의 유사도를 검정하는 방법에 대해 알아보겠습니다. 순서 1. 자카드 유사도 2. 코사인 유사도 3. 코사인 유사도 vs. 유클리디안 유사도 1. 자카드 유사도 자카드 유사도는 두 문서에서 공통되는 단어가 많을수록 다른 단어가 적을수록 비슷한 문서라고 판단하는 가장 간단한 유사도 기법입니다. 식으로 나타내면 공통 단어 개수/전체 단어 개수로 아래와 같습니다. 자카드 유사도를 구하는 함수는 아래와 같습니다. 자카드 유사도는 원소의 개수에 따라 0~1 사이의 값을 가지고 1에 가까울수록 유사도가 높습니다. 2. 코사인 유사도 코사인 유사도는 순서 상관없이 단어를 벡터로 바꾼 후에 벡터 방향을 이용하여 유사도를 계산하는 방법입니다. 벡터의 방향이 같으면 코사인 유사도는 1, 직각이면 0, 다른 방향이면 -1.. 공감수 3 댓글수 2 2021. 4. 6.
[Algorithm] 정렬 지난 포스팅에서 선형 탐색과 이진 탐색에 대한 내용을 다뤘습니다. 이진 탐색을 하기 위해서는 정렬된 상태여야 한다는 조건이 있었죠. 그래서 이번 포스팅은 정렬에 관한 내용을 다루겠습니다. 정렬? 그냥 sort메서드나 sorted함수 사용하면 안되나? 라고 생각하실 수 있지만 아래 그림처럼 각 정렬 알고리즘은 시간/공간 복잡도가 각 상황에 따라 다르기 때문에 상황에 맞는 알고리즘을 사용하는 것이 효율적인지 생각해야 합니다. 순서 1. 선택정렬 2. 삽입 정렬 3. 합병 정렬 4. 퀵 정렬 모든 정렬의 설명은 내림차순 기준입니다. 1. 선택 정렬(Selection Sort) 선택 정렬은 현재 위치에 들어갈 값을 선택하여 정렬하는 것입니다. 아래 그림과 같이 배열 값 중 가장 작은 값을 찾습니다. 가장 작은 .. 공감수 0 댓글수 0 2021. 4. 5.
'여덟단어'를 읽고 필자는 글을 잘 쓰는 것도, 말을 잘하는 것도 아니지만 사소하더라도 작은 단어의 의미에 신경을 꽤 쓰는 편이다. 그런 필자에게 인생과 관련하여 여덟 단어를 함께 생각해보고 싶다는 글귀는 책에 매료시키는데 충분했다. 여덟 단어는 필자에 대해 이해하고 목적지를 뚜렷하게 만들어주는 책이자 서두르지 않아도 된다고 좋아하는 것을 선택해도 된다고 응원해주는 책이다. 저자는 '자존', '본질', '고전', '견', '현재', '권위', '소통', '인생' 여덟 가지 키워드에 대해 본인의 생각을 말하고 이 여덟 개의 단어가 결국 연결이 되어 하나의 방향으로 갈 것이라고 말한다. 이 단어들 중 가장 와닿았던 단어들인 자존, 본질, 현재에 대해 이야기하고자 한다. 자존 행복한 삶의 기초가 되는 것은 스스로를 존중하는 마음.. 공감수 3 댓글수 0 2021. 3. 30.
Youtube 인기 급상승 동영상 Analysis (1) 이번 글은 Youtube 인기 급상승 동영상을 분석하기 위해 인기 급상승 동영상 데이터를 수집할 것입니다. 순서 1. 분석 배경 2. 데이터 수집 3. selenium 알아보기 3.1. 웹요소 접근 메소드 3.2. 액션 체인 3.3. BeautifulSoup과 Selenium 3.4. 자바스크립트로 동작시키는 방법 3.5. Headless 모드 1. 분석 배경 유튜브 인기 급상승 동영상은 다양한 시청자의 관심을 끄는 영상으로 크리에이터의 다양성을 보여주는 영상, 흥미와 새로움을 느낄 만한 영상이 업로드됩니다. 조회수, 동영상 조회수 증가 속도, Youtube 외부를 포함하여 조회수가 발생하는 소스, 동영상 업로드 기간, 해당 동영상을 같은 채널에 최근 업로드한 다른 동영상과 비교한 결과를 고려하여 약 1.. 공감수 2 댓글수 10 2021. 3. 22.
[Algorithm] 가능한 모든 경우의 수를 시도하는 순진한 알고리즘, Broute Force? 이번글은 가능한 모든 경우의 수를 시도하는 알고리즘 Broute Force에 대해 알아보겠습니다. 1. Broute Force Brute Force 알고리즘은 무차별 대입 공격으로 가능한 모든 경우를 시도하는 순진한 알고리즘입니다. 가능한 모든 경우를 시도하기 때문에 완전 탐색 알고리즘입니다. 직관적이고 명확한 알고리즘으로 답을 확실하게 알 수 있지만 input이 크면 비효율적이라는 단점을 갖고 있기 때문에 작은 경우에만 효율적입니다. Brute Force알고리즘으로 문제를 해결하는 과정은 다음과 같습니다. 이전 포스팅에서 다뤘던 순차 탐색도 Brute Force알고리즘을 이용하여 문제를 푸는 방식입니다. 선형 구조를 모두 탐색하는 방법 중 이전 포스팅에 다뤘던 선형 탐색(순차 탐색)도 Brute For.. 공감수 0 댓글수 0 2021. 3. 21.
[Algorithm] 선형 구조에서의 탐색, 선형탐색과 이진탐색 이번 글은 선형구조에서 특정 값을 찾고 싶을 때 어떻게 탐색하는 것이 효율적인가에 대한 알고리즘을 설명합니다. 순서 1. 선형탐색과 이진탐색 이론 2. 파이썬 구현 1. 선형탐색과 이진탐색 이론 만약 도서관에서 "여덟단어" 책을 찾으려고 할 때 어떻게 찾을 것인가요? 도서관에 책이 왼쪽에서 오른쪽으로 자음 순서대로 있다고 할 때 왼쪽부터 순서대로 찾을 수도 있고 중간 자음인 'ㅅ'을 찾은 후 'ㅅ'을 기준으로 오른쪽 책들만 확인해서 찾아볼 수도 있을 것입니다. 이처럼 왼쪽부터 차례대로 탐색하는 것을 선형탐색 또는 순차탐색, 중간 위치를 찾아서 탐색할 범위를 줄여 탐색하는 것을 이진탐색이라고 합니다. 아래 그림처럼 주어진 데이터를 처음부터 검색하는 것이 선형탐색이고, 이진탐색은 정렬된 데이터의 중앙값을 이.. 공감수 1 댓글수 4 2021. 3. 21.
[통계분석] 06. 회귀분석 그게 뭐야? 이번 글은 회귀분석에 관한 내용입니다. 순서 1. 선형함수와 선형회귀분석 2. 단순선형회귀분석과 다중선형회귀분석 1. 선형함수와 회귀분석 아래 그림과 같이 독립변수와 종속변수 간 관계를 파란 하나의 직선으로 나타낼 수 있습니다. 이 선은 데이터를 가장 잘 설명할 수 있는 선으로 함수로 표현하면 $Y = aX+b+오차항$ 입니다. 이처럼 데이터 집합 X에 대해 가장 잘 설명할 수 있는 선형 함수를 구할 수 있습니다. 이 함수는 독립변수 X가 한 단위 증가할 때 Y값은 변동량을 뜻합니다. Y, X가 주어져있을 때 a, b, 오차항을 추정하는 것입니다. a는 x가 1단위 변할 때 y가 얼만큼 변하는가를 나타내는 기울기, b는 y절편을 뜻합니다. 오차항의 오차는 모집단에서 얻은 회귀실을 통한 예측값과 실제값의 .. 공감수 0 댓글수 0 2021. 2. 2.
[통계분석] 05. 범주형 변수, 어떤 검정을 할 수 있을까? 이번 글은 범주형 변수에 대한 가설을 검정하는 독립성 검정과 적합성 검정, 동질성 검정에 대한 내용입니다. 글의 내용은 순천향대학교 김영민 교수님의 강의를 바탕으로 정리한 자료임을 먼저 말씀드립니다. 순서 1. 분할표와 카이제곱 2. 카이제곱 검정 1. 분할표 검정에 대해 알아보기 전 분할표에 대해 알아보겠습니다. 분할표는 아래 표와 같이 데이터를 분류하는 통계 기법 하나로 두 범주형 변수에 대한 교차 빈도수를 나타낸 표입니다. 두 변수의 범주들이 교차하는 칸마다 각 변수의 범주를 동시에 갖는 관측값들의 수를 그 칸의 도수로 기록한 것입니다. 도수분포표를 2차원으로 확장한 형태라고 생각하시면 됩니다. 이 표는 파트너가 존재하는 사람들에 따라 고객 이탈 유무에 차이가 있는지 확인하기 위한 분할표입니다. P.. 공감수 0 댓글수 0 2021. 2. 2.
[Kaggle 필사] DieTanic 데이터로 EDA 필사하기!! 지난 2020년 10월 한국정보화진흥원에서 개최한 2020 데이터 크리에이터 캠프에 참가하면서 EDA의 중요성을 느꼈다. 모델링 예측도 중요하지만 데이터 탐색에 대한 질문을 많이 해주시면서 중요성을 언급해주셨다. 우리 팀을 담당한 멘토님께 EDA 실력을 키우기 위한 자문을 구했을 때 Kaggle에 EDA를 주로 파서 꼼꼼하게 작성해놓은 글들이 많다. 참고하고 연습해서 키우는 것 밖에 없다.라는 답변을 얻고 Kaggle에서 EDA를 필사하고 분석 프로젝트에 적용해보기 위한 스터디를 만들었다. EDA는 데이터 특성마다 방법이 다르기 때문에 분류, 회귀, 군집화, 이미지 처리 순으로 한 달씩 기간을 잡아 프로젝트를 진행한다. 지난 1월은 분류를 위한 EDA를 필사하고 고객 이탈 분석 프로젝트를 진행했고 Die.. 공감수 0 댓글수 0 2021. 2. 2.
전치사 쉽게 보자 :-o 이번 글은 전치사에 대해 어려움을 느끼는 사람들에게 공유하고 싶은 책이 있어서 작성한다. 최근 영어 공부를 하며 정말 어렵다고 생각한 것이 전치사였다. 영어로 말할 때 문장에서 적절한 전치사가 어떤 것인지 떠올리기가 쉽지 않았고 해석할 때 여러 의미로 해석되기 때문에 매끄러운 문장으로 해석하기 어려웠다. 아마 of는 ~의, for은 ~위해 이런식으로 너무 좁게 생각하고 있었기 때문인 것 같다. 영어 통화를 하며 시제와 전치사 사용에 대해 익숙해지는 것이 좋을 것 같다는 피드백을 듣고 가볍게 접한 책은 "전치사 덕분에 영어공부가 쉬워졌습니다." 이다. 이 책은 학습 도서처럼 공부다!!! ! 라는 느낌보다 오~ 재밌다. 라는 느낌으로 읽게 되는 소설같은 느낌이다. 전치사의 핵심적인 의미를 아래와 같은 캐릭터.. 공감수 0 댓글수 0 2021. 2. 2.
[ML] 군집화란 무엇인가, 어떻게 작동하는지 알아보자. 이번 글은 순천향대학교 정영섭 교수님의 강의와 핸즈온 머신러닝 2판을 공부한 후 정리한 내용입니다. 비지도 학습에 속하는 군집화에 대해 알아보겠습니다. 순서 1. 비지도 학습 2. 군집화 3. K-means 3.1. 작동 과정 3.2. 최적의 클러스터 개수를 선택하는 방법 4. 계층적 군집화(Hierarchical Clustering) 5. DBSCAN 1. 비지도 학습 비지도 학습은 label이 없는 데이터를 이용하는 알고리즘입니다. 데이터 시각화, 데이터 압축, 데이터 소거에 이용할 수 있고 입력 데이터로만 흥미로운 변환을 찾거나 데이터의 상관관계를 더 잘 이해합니다. 지도 학습 문제를 해결하기 전에 데이터셋을 이해하는데 도움을 받을 수도 있습니다. 대표적인 예로 군집화, 이상치 탐지, 밀도 추정에 .. 공감수 0 댓글수 0 2021. 2. 1.
목적있는 삶을 살고 계신가요? 최근 지인이 선물 받은 책을 회고하는 글을 읽었다. 선물해 준 사람에게 감사를 표현하는 멋진 방법 중 하나라는 생각이 들었고 나 또한 선물 받은 지 오래된 책이지만 감사함을 표현하고 싶어 책의 내용을 공유하고 생각을 정리하는 글을 작성한다. (내용도 유익하다!) 작년 여름, 우연히 접한 "나는 인생에서 중요한 것만 남기기로 했다."의 카드 리뷰가 내 얘기같아 흥미를 돋운 책이 있었다. 센스 있는 지인 분이 이 책을 선물해주셨다. 집에 돌아온 후 난장판이 된 거실, 제대로 하는 일은 하나도 없는 것 같은 삶 이런 기분이 나를 해롭게 만든다는 생각이 들었었다. 아마 이와 같은 기분을 느끼는 사람이 많을 것이다. 나름 계획적으로 살아야지 하고 계획을 하고 살았지만 욕심이 너무 많아 효율적으로 삶을 살아가지 못.. 공감수 2 댓글수 2 2021. 1. 31.
[ML] 직관적인 모델 의사결정나무와 강한 학습기 앙상블 이번 글은 순천향대학교 정영섭 교수님의 강의와 우지영 교수님의 강의, 도서 핸즈온 머신러닝 2판을 참고했음을 먼저 밝힙니다. 순서 1. 의사결정나무 1.1. ID3 알고리즘 1.2. CART 알고리즘 2. 앙상블 2.1. Voting 2.2. Bagging 2.3. Boosting 2.4. Stacking 1. 의사결정나무 의사결정나무(DecisionTree)는 결정 트리라고도 불리는 머신러닝 알고리즘입니다. 결정할 수 있는 기준을 학습하는 알고리즘으로 패턴을 예측 가능한 규칙들의 조합으로 나타내고 이 모양이 tree와 같은 알고리즘입니다. 의사결정나무의 구성은 조건문(internal node), 조건 결과에 따른 분기(Edge), 결과(Extenal node 또는 Terminal node), 깊이가 0.. 공감수 0 댓글수 0 2021. 1. 31.
[프로젝트] 국민 청원 게시판의 분산되는 동의 수, 이제 그만- 데이터 아키텍처 수업을 들으면서 한 프로젝트입니다. 데이터 수집, 전처리, 모델링, 웹에 표현하는 과정을 담은 프로젝트를 진행하였습니다. 순서 1. 문제 정의 2. 데이터 수집 및 저장 3. 데이터 전처리 4. 데이터 모델링 5. 데이터 적재 6. PHP를 이용하여 웹에 표현하기 1. 문제 정의 대부분 국민 청원 게시판을 이용해보셨을 것입니다. 국민 청원 게시판은 언론의 자유를 존중하며 자유롭게 글을 게시할 수 있지만 아래의 청원 게시글 모음처럼 동일한 내용의 게시글이 중복되어 게시되어 있기 때문에 청원 동의 수가 분산되는 문제점이 존재합니다. 이러한 문제점으로 인해 사람들은 어느 청원에 동의를 하는 것이 좋은 걸까? 어는 청원에 동의해야 답변을 받을 수 있는 걸까? 하는 고민들이 발생합니다. 20만 명.. 공감수 0 댓글수 0 2021. 1. 30.
[프로젝트] 이탈할 고객을 예측하여 수익 감소 방지하기 최근 EDA 역량의 부족함을 느끼고 Kaggle EDA 필사를 하고 있습니다. 타이타닉 EDA 필사를 하며 공부한 내용과 핸즈온 Chapter2를 공부한 후 참고하여 고객 이탈 예측 프로젝트를 진행했습니다. (Kaggle의 데이터 이용) 순서 1. 문제를 정의하고 큰 그림 보기 2. 데이터 가져오기 3. 데이터로부터 통찰을 얻기 위해 탐색하고 시각화 4. 머신러닝 알고리즘을 위한 데이터 준비 5. 모델 선택과 훈련 6. 모델 튜닝 7. 솔루션 제시 8. 론칭, 모니터링, 시스템 유지 보수 💻 사용한 언어: Python 1. 문제를 정의하고 큰 그림 보기 모델을 학습시켜 새로운 데이터가 주어졌을 때 이탈할 고객을 예측하는 것이 목표입니다. 이탈할 것이라고 분류된 고객들의 주요 특성을 파악하고 미래 이탈 방.. 공감수 1 댓글수 0 2021. 1. 30.
[통계분석] 04. 연속형 변수, 어떻게 가설 검정을 할까? 연속형 변수를 가설 검정하는 경우의 예시를 들어보겠습니다. 본론에 들어가기 전 가설 검정에 대한 용어들을 익히기 위해 해당 글을 읽고 오시면 이해하는데 도움이 될 것입니다. 어떤 변수의 평균이 특정값과 차이가 있을 것이다, 어떤 변수가 성별에 따른 차이가 있을 것이다, 혈압약을 먹었을 때와 안먹을 때 두 혈압의 차이가 있을 것이다. 상, 중, 하 점수를 가진 세 개의 그룹 간에 따른 차이가 있을 것이다. 하나, 두 그룹 또는 그 이상의 그룹에 대해 차이가 있는지 검정할 때 사용합니다. 각 예시에 맞춰 검정하는 방법은 다음과 같습니다. 어떤 변수의 평균이 특정값과 차이가 있을 것이다 -> 단일 표본 t-검정(1 sample t-test) 어떤 변수가 성별에 따른 차이가 있을 것이다 -> 독립 표본 t-검정.. 공감수 0 댓글수 0 2021. 1. 29.
[통계분석] 03. 가설 검정의 기초를 이해하자. 이번 글은 가설 검정에 대해 내용을 다뤄보겠습니다. 가설 검정은 통계적으로 검증의 대상이 되는 가설을 검정하는 것을 말합니다. 귀무가설, 대립가설 통계적으로 가설을 세울 때 귀무가설(H0), 대립가설(H1) 두가지 가설을 설정합니다. 귀무가설은 "모수가 특정한 값이다" 또는 "두 모수의 값은 값다" 등과 같이 판단이 옮다는 가정 하에 설정하는 가설이고 대립가설은 귀무가설을 반박하는 가설로 "모수가 특정한 값이 아니다" 또는 " 두 모수의 값은 다르다" 와 같은 가설입니다. 검정통계량 검정통계량은 통계적 가설의 진위 여부를 검정하기 위해 표본으로부터 계산하는 통계량을 말합니다. 검정통계량의 값이 어떤 기준을 벗어나는지 확인하여 가설의 진위여부를 결정합니다. 검정통계량을 구하기 위해서는 먼저 데이터의 분포를.. 공감수 0 댓글수 0 2021. 1. 29.
[통계분석] 02.모수를 왜 추정하고, 어떻게 추정하는거지? 모수를 추정하는 이유 통계의 기본 전제는 분석하고자 하는 대상 전체(모집단)를 분석하기에는 많은 시간과 비용이 들기 때문에 모집단의 일부인 표본을 통해 모집단의 특성을 파악합니다. 하지만 표본을 통해 추정하는 것은 100% 일치한다라고 할 수 없습니다. 일부에 대한 특성을 파악하고 모집단과 얼마나 일치하는지를 확인하는 것이기 때문에 추정한 값과 실제값의 차이인 오차가 존재할 수 밖에 없습니다. 즉 정리하면 우리는 모집단의 일부인 표본의 통계량을 통해 모수를 추정합니다. 모수를 추측해보는 과정을 통계학에서는 추정이라고 말합니다. 그리고 추출된 표본으로부터 모집단의 일반적인 특성을 추론해내는 것을 통계적 추론이라고 합니다. 통계적 추론을 할 때는 추론 결과를 100% 확신할 수 없으므로 본질적으로 불확실성으.. 공감수 5 댓글수 0 2021. 1. 29.
[통계분석] 01. 확률분포는 머신러닝에서 어떻게 사용될까? 데이터 분석을 할 때 첫번째 가정은 "분석할 데이터는 어떤 확률 변수로부터 실현된 표본이다"입니다. 즉, 데이터를 표본 자체만으로 보기보다 이 데이터를 만들어내는 확률 변수의 분포를 봐야한다는 것입니다. 더구나 데이터의 분포에 따라 다르게 전처리를 하고 알고리즘을 사용하기 때문에 머신러닝을 할 때도 중요합니다. 그렇다면 확률변수가 어떤 확률분포 따르는가는 어떻게 아는 걸까요? 히스토그램을 그려서 확률 분포의 모양을 통해 데이터의 특성을 알아내면 됩니다. 히스토그램 히스토그램은 확률 분포의 모양을 보는 것 외에도 이상치가 존재하는지, 그룹 간의 평균의 차이가 있는 지 등을 통해 탐색적 데이터 분석하기에 좋은 시각화입니다. 히스토그램을 알기 위해서는 도수분포표 개념에 대해 알아야합니다. 도수분포표는 연속형 .. 공감수 3 댓글수 1 2021. 1. 29.
코멘토 SQL 입문부터 활용까지 후기 2020.11.29 ~ 2020.12.27 SQL을 다뤄본 경험이 부족하기 때문에 SQL을 이용하여 데이터를 분석하고 시각화, 보고서를 작성하는 과정이 궁금했다. 특히, SQL을 활용해 지표를 추출하고 이를 보고서나 대시보드 형태로 관리한다고 하는데 어떤 지표를 추출하는 것이 맞는지 막연했었다. 그래서 직무부트캠프를 통해 SQL, 지표관리, 시각화, 보고서 작성, 대시보드 만드는 방법을 익히고자 신청했다. 캠프 과정은 다음과 같았다. (상세 스케줄) 1주차: 직무 강의 + SQL 기본 문법 익히기 2주차: SQL을 활용해 다양한 지표 추출하기 3주차: 데이터 분석 보고서 작성하기 4주차: 인사이트가 한눈에 들어오는 대시보드 만들기 5주차: 과제 발표 및 피드백 이 중 가장 기대했고 어려웠던 과정은 다양한.. 공감수 1 댓글수 0 2021. 1. 12.
심층 신경망 훈련하기 - 학습 속도를 높이는 방법 본 글은 핸즈온 머신러닝 Part2-11장(심층 신경망 훈련하기)를 공부한 후 정리한 내용입니다. ✅ 보다 깊은 심층 신경망을 학습시켜 아주 복잡한 문제를 다룰 때 발생할 수 있는 문제들 Gradient 소실 or gradient 폭주 문제에 직면. 심층 신경망의 아래쪽으로 갈수록 gradient가 점점 더 작아지거나 커지는 현상 하위층을 학습하기 매우 어렵게 만듦. 대규모 신경망을 위한 학습 데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 많이 들 수 있음. 학습이 극단적으로 느려질 수 있음. 수백만 개의 파라미터를 가진 모델은 학습 할 때 과대적합 될 위험이 큼. 특히, 학습 샘플이 충분하지 않거나 잡음이 많은 경우 이 중 학습 속도를 높이는 방법을 알아보겠습니다. 학습 속도를 높이는 방법에는.. 공감수 0 댓글수 0 2020. 12. 29.
심층 신경망 훈련하기 - 레이블 된 데이터가 적을 때 복잡한 문제를 다루는 데 도움이 되는 전이 학습과 비지도 사전 훈련 하는 방법 본 글은 핸즈온 머신러닝 Part2-11장을 공부한 후 정리한 내용입니다. ✅ 보다 깊은 심층 신경망을 학습시켜 아주 복잡한 문제를 다룰 때 발생할 수 있는 문제들 Gradient 소실 or gradient 폭주 문제에 직면. 심층 신경망의 아래쪽으로 갈수록 gradient가 점점 더 작아지거나 커지는 현상 하위층을 학습하기 매우 어렵게 만듦. 대규모 신경망을 위한 학습 데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 많이 들 수 있음. 학습이 극단적으로 느려질 수 있음. 수백만 개의 파라미터를 가진 모델은 학습 할 때 과대적합 될 위험이 큼. 특히, 학습 샘플이 충분하지 않거나 잡음이 많은 경우 그 중 레이블을 만드는 작업에 비용이 많이 소요되는데 레이블 된 데이터가 적을 때 어떤 방법을 이용할.. 공감수 0 댓글수 0 2020. 12. 29.
심층 신경망 훈련하기 - Gradient 소실과 폭주 문제 해결 방법 본 글은 핸즈온 머신러닝 Part2-11장(심층 신경망 훈련하기)를 공부한 후 정리한 내용입니다. ✅ 보다 깊은 심층 신경망을 학습시켜 아주 복잡한 문제를 다룰 때 발생할 수 있는 문제들 Gradient 소실 or gradient 폭주 문제에 직면. 심층 신경망의 아래쪽으로 갈수록 gradient가 점점 더 작아지거나 커지는 현상 하위층을 학습하기 매우 어렵게 만듦. 대규모 신경망을 위한 학습 데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 많이 들 수 있음. 학습이 극단적으로 느려질 수 있음. 수백만 개의 파라미터를 가진 모델은 학습 할 때 과대적합 될 위험이 큼. 특히, 학습 샘플이 충분하지 않거나 잡음이 많은 경우 그 중 Gradient 소실 or gradient 폭주 문제를 해결하는 방법에.. 공감수 0 댓글수 0 2020. 12. 29.
[통계분석] 08. 관측 데이터를 잘 설명할 수 있는 잠재 공간을 발견하는 법? - PCA 이번 글은 주성분 분석(Principal Component Analysis)에 대한 설명입니다. 주성분 분석은 차원을 축소하는 기법 중 하나로 잠재 공간을 만들어내거나 다중공선성이 발견했을 때 해결할 수도 있고, 데이터 압축, 노이즈 제거, 영상 인식 등 다양하게 사용됩니다. 순서 1. 차원 축소? 2. 주성분 분석 3. 주성분 분석 실습 1. 차원 축소 관측 데이터를 잘 설명할 수 있는 잠재 공간은 어떻게 발견할 수 있을까요? 데이터의 모든 Feature(독립 변수)들이 종속 변수를 잘 설명할 수 있을까요? "차원의 저주" 라는 말 들어보셨나요? 차원의 저주는 차원이 늘어날수록 설명력이 낮아진다는 것으로 독립 변수들이 많으면 모델링에 필요한 학습 집합의 크기가 커지고 노이즈의 특징들까지 포함되어 모델을.. 공감수 1 댓글수 0 2020. 12. 9.
[DL] 06. 새로운 데이터를 생성하는 법, GAN? 순천향대학교 빅데이터 공학과 김정현 교수님의 강의를 바탕으로 정리한 글이며 수업 자료의 저작권 문제로 인해 수업 자료를 직접 이용하지 않았음을 먼저 밝힙니다. 문제가 될 시 바로 삭제하겠습니다. 이번 글은 새로운 데이터를 만들어내는 Generative Adversarial Network 모형에 대해 알아보겠습니다. 순서 1. Generative Model 학습 방법 2. GAN? 3. GAN 학습 방법 4. GAN 코드(Tensorflow) Generative Model 학습 방법 GAN 모델에 대해 알아보기 전 Generative Model에 대해 알아보겠습니다. Generative Model은 랜덤 한 latent code를 입력으로 넣으면 출력으로 새로운 데이터가 나오는 학습 방법입니다. 그럼 la.. 공감수 1 댓글수 0 2020. 12. 8.
[DL] 05. 데이터를 압축하고 생성하는 AutoEncoder? 순천향대학교 빅데이터공학과 김정현 교수님의 강의를 바탕으로 정리한 글이며 수업 자료의 저작권 문제로 인해 수업 자료를 직접 이용하지 않았음을 먼저 밝힙니다. 문제가 될 시 바로 삭제하겠습니다. 이번 글은 입력 데이터를 압축하기도 하고 입력 데이터로부터 새로운 데이터를 생성하기도 하는 AutoEncoder에 관한 글입니다. 순서 1. Autoencoder 1.1 활용사례 2. PCA vs. AutoEncoder 3. Stacked AutoEncoder 4. Denoising AutoEncoder 5. Variational AutoEncoder 1. Autoencoder Autoencoder는 입력 데이터를 작은 단위의 대푯값들만 남겨 압축시킨 후 다시 확장시켜 출력 데이터를 입력 데이터와 동일하게 하는 뉴.. 공감수 1 댓글수 0 2020. 12. 8.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.