문제
수집 데이터, 시각화, 질의응답이 따로 놀면 데이터 활용 흐름이 끊기고 분석 결과를 바로 확인하기 어려웠습니다.
DE-pipeline
YouTube 데이터 수집부터 정제, 적재, 대시보드, RAG 기반 챗봇 응답 구조까지 연결한 데이터 파이프라인 프로젝트입니다.
해결
YouTube 수집 파이프라인, ELT 흐름, 대시보드, RAG 기반 챗봇 응답 구조를 하나의 데이터 활용 흐름으로 설계했습니다.
내 역할
데이터 수집부터 ELT 흐름, 대시보드, 챗봇 연결까지 전체 구조를 직접 설계하고 구현했습니다.
결과
수집한 데이터를 차트 시각화와 챗봇 응답까지 연결하는 end-to-end 데이터 파이프라인 프로토타입을 구현했습니다.
핵심 포인트
ELT 흐름 설계데이터 기반 챗봇차트 시각화
백엔드 포인트
ELT 파이프라인Supabase 스키마FastAPI 응답 구조RAG 질의 흐름
기술 스택
PythonYouTube APIGCPSupabaseFastAPIRAG