[데이터 처리 #0] DataFrame Overview

데이터 처리 커리큘럼

 

데이터 분석과 AI 모델 개발 시, 가장 기본이 되는 데이터 처리 방법에 대해 4가지 목차로 포스팅을 진행한다.

1. DataFrame 만들기(생성)
2. DataFrame 탐색
3. DataFrame 조회
4. DataFrame 변경

학습 최종 목표는 다음과 같다.

• 외부에서 데이터를 읽어, 데이터프레임을 생성하거나 직접 만드는 방법
• 데이터프레임의 모습을 전체적으로 탐색하는 방법
• 데이터프레임의 일부 데이터 또는 조건에 맞는 데이터를 조회하는 방법
• 데이터프레임에 특정 열을 추가하거나 변경 또는 삭제하는 방법
• 데이터프레임의 값을 다양한 함수와 메서드로 처리하는 방법 학습

 

---

 

IT 시장에서 배포되는 AI 서비스들은 모두 데이터 분석 과정을 통한 AI 모델을 개발하는 사이클을 지닌다.

다시 말해, AI 서비스를 개발하기 위해서는 데이터를 어떤 그릇에 담고, 어떤 통계적 분석을 하여 필요한 정보(데이터)만 추출하는지에 대해 반드시 숙지하고 있어야 한다.

현업에서 90%이상이 Python 언어로 개발되며, 다음과 같은 파일로 Python Script를 실행한다.

• .py
• .ipynb

데이터 처리와 분석 과정은 한 줄 씩 실행하는 .ipynb을 많이 사용하며, 대표적인 IDLE은 Google CoLab과 Jupyter Notebook이 있다. (필자는 CoLab을 사용한다.)

따라서, 이번 데이터 처리 포스팅에서는 CoLab을 사용하였음을 먼저 밝힌다.

 

---

 

그렇다면, 이러한 데이터 처리와 분석 과정을 거쳐 최종적으로 산출된 데이터(정보=데이터프레임)을 어떤 식으로 머신러닝/딥러닝 모델 개발에서 사용하는지 코드로 맛보기 해보자.

맛보기 : 머신러닝/딥러닝 모델 개발 전에 최종 산출된 데이터프레임을 어떻게 활용하는지에 대한 코드

• 데이터 처리
  • # 데이터 읽어오기 => 데이터프레임 만들기 챕터
  • # 데이터 읽어오기 ~ # x,y 분리 사이에서 데이터 정제 작업이 실제로 이루어짐. (데이터 처리, 데이터 분석)
• 머신러닝/딥러닝 모델에 적용할 데이터 구성
  • 최종 정제된 데이터프레임인 data를 분리해, 모델 학습에 쓰일 학습데이터와 평가데이터로 분리.

 

---

 

모든 학습 내용들은 KT Aivle School 7기에서 정리한 강의 내용을 기준으로 작성되었음을 마무리에서 밝힌다.

이상으로, 각 챕터별 포스팅 링크를 아래에 첨부하면서 Overview를 마친다.

2025.06.16 - [Study/Machine Learning, Deep Learning] - [데이터 처리 #1] DataFrame 만들기

[데이터 처리 #1] DataFrame 만들기

2025.06.16 - [Study/Machine Learning, Deep Learning] - [데이터 처리 #2] DataFrame 탐색

[데이터 처리 #2] DataFrame 탐색

2025.06.16 - [Study/Machine Learning, Deep Learning] - [데이터 처리 #3] DataFrame 조회

[데이터 처리 #3] DataFrame 조회

2025.06.16 - [Study/Machine Learning, Deep Learning] - [데이터 처리 #4] DataFrame 변경

[데이터 처리 #4] DataFrame 변경