DSP(디지털신호처리) - STFT, Spectrogram, Mel-Spectrogram

T acdemy_디지털신호처리 기초2

DSP

자료들은 티아카데미, 도승현 강사님의 자료에서 따왔음을 알립니다.

Fourier transform(퓨리에 변환)

음성인식을 위해서는 퓨리에 변환이 필요합니다. 퓨리에 변환이란, 임의의 입력신호를 다양한 주파수를 갖는 주기함수(복소 지수함수)들의 합으로 분해하여 표현하는 것을 말합니다.

지수함수와 주기함수의 관계

퓨리에 변환의 결과

cos 과 sin 은 사실상 입력신호에 대해서 기저가 되어주는 함수라고 생각할 수 있습니다.

그리고 이러한 한가지 파형도 다시 분리하여 여러가지의 sin,cos함수로 표현할 수 있는데 이를 식으로 나타내면 아래와 같습니다.

DFT(Discrete Fourier Transform)

STFT(Short Time Fourier Transform)

FFT는 시간의 흐름에 따라 신호의 주파수가 변하였을 때, 어느 시간대의 주파수가 변하는지 모르게 됩니다. 이러한 한계점을 극복하기 위해서, STFT는 시간의 길이를 나눠서 퓨리에 변환을 하게 됩니다.

#STFT
S = librosa.core.stft(samples, n_fft=1024, hop_length=512, win_length=1024)

S.shape, len(S[0]), S[0][0]

((513, 44), 44, (-0.2504628+0j))