비정형(3)
-
[비정형 데이터] 08. 신호 데이터의 이상치 제거하기
신호 데이터는 누가 선을 건드려서 전기에 스파이크가 나는 현상과 같이 원하지 않는 데이터들이 존재할 수 있습니다. 이때 이상치를제거해야 합니다. 이상치는 전자기기 통신과정에서 발생한 이상값인지 무시해도 되는 값인지에 관해서는 경험 지식과 실험에 의해 결정이 됩니다. 추세에서 벗어나는 이상치를 제거하는 방법에 대해 알아보겠습니다. Hampel filter: 현재 시점 주변 데이터들의 중앙값 대비 얼마나 이상한가를 판단하는 함수 hampel(data, k=window수, t=표준편차 값 범위) 정해진 window구간 내 중앙값을 구함 각 샘플에 대한 중앙값의 절대 오차를 구함 절대 오차의 표준편차를 구함 현재 값의 절대 오차가 위 표준편차를 넘으면 중앙값으로 대체 x = sin(2*pi*(0:99)/100)..
2020.05.04 -
[비정형 데이터] 07. 신호 데이터 스무딩하기
신호 데이터는 중요한 패턴에 대한 신호만 추출하고 싶은데 잔피크들이 너무 많을 때 스무딩을 이용하여 해결할 수 있습니다. 스무딩하는 방법에 대해 알아보겠습니다. Savitzky-Golay Filtering: data를 구간화해서 다차원함수에 적용하는 filtering 방법 pracma 패키지의 savgol(data, 필터링 구간, 다항함수의 차수)함수 # 정현파 생성 ts = sin(2*pi*(1:1000)/200) t1 = ts+rnorm(1000)/10 # 직접 그려보고 window값을 정해야함 t2 = savgol(t1,51) # pracma package t3 = savgol(t1,101) t4 = savgol(t1,5) par(mfrow=c(2,2)) plot(1:1000,t1,col="grey..
2020.05.04 -
[비정형 데이터] 05. 어떤 특징을 추출할 수 있을까?Peak
저번 포스팅에 이어 신호처리를 위한 특질을 추출하내는 것입니다. 이번 포스팅은 peak특질을 추출하는 것입니다. peak는 아래 그림과 같이 신호 데이터에서 위로 볼록 올라온 부분으로 peak 간 발생 간격, peak의 크기 등을 특질화하여 변수로 사용할 수 있습니다. peak는 pracma 패키지를 이용하여 구할 수 있습니다. pracma 패키지는 수치 분석 및 선형 대수, 수치 최적화, 미분 방정식, 시계열 등과 관련된 함수를 제공해주는 패키지로 기존 matlab기능이 R로 구현되어 있습니다. 신호 데이터를 만들어 peak를 찾아보겠습니다. library(pracma) x = seq(0, 1, len = 1024) pos = c(0.1, 0.13, 0.15, 0.23, 0.25, 0.40, 0.44,..
2020.04.30