[Data anaysis] 데이터분석 라이브러리 (python)

사용 라이브러리

1) pandas

• 엑셀/CSV처럼 표 형태의 데이터(DataFrame) 를 다루는 대표 라이브러리
• 데이터 불러오기, 정리, 변환, 결측치 처리 등에 필수
• 예: CSV 불러와서 필요한 컬럼만 뽑고 가공 가능

2) numpy

• 수학 연산, 배열 계산을 빠르게 수행하는 라이브러리
• 다차원 배열(ndarray) 기반
• pandas, matplotlib 등 거의 모든 데이터 라이브러리의 기반

3) scipy

• numpy 기반 확장 라이브러리로 과학·공학 계산 특화
• 선형대수, 최적화, 신호처리, 통계 기능 제공
• 예: 곡선 피팅, 최적화 문제 해결, 회귀/통계 함수 등

4) statsmodels

• 전문 통계 모델링 라이브러리
• 회귀 분석, 시계열 분석(ARIMA), 통계 테스트(T-test, ANOVA 등)
• 통계 정보(계수, 유의성 p-value)까지 정확히 보고 싶을 때 사용

5) matplotlib

• 가장 기본적인 데이터 시각화(그래프) 라이브러리
• 라인 그래프, 바 그래프, 산점도 등을 그릴 때 사용
• seaborn의 기반이 되기도 함

6) seaborn

• matplotlib을 더 예쁘고 간단하게 만든 라이브러리
• 고급 통계 시각화(히트맵, 관계도, boxplot 등)에 적합

7) tqdm

• 반복문에 진행률(progress bar) 표시
• 데이터 처리, 파일 다운로드 등 오래 걸리는 작업에서 진행 상황 확인 가능

8) bin/pip install openpyxl

9) pip install thefuzz

 

pip install thefuzz

 

현재의 정규표현식(re)은 오타가 하나만 있어도 데이터를 놓칠 수 있습니다. 이를 해결하기 위해 Levenshtein Distance(편집 거리) 알고리즘을 사용하는 thefuzz 라이브러리

 

수행 방법:

1. pip install thefuzz 설치
2. 과목명이나 키워드를 추출할 때 100% 일치가 아닌, 유사도 점수(예: 80점 이상)를 기준으로 판단합니다.