[2025 캡스톤 디자인] AI 기반 지능형 식재료 관리 솔루션

1. 프로젝트 개요

• 기간: 2025.01 ~ 2025.06 (경남대학교 졸업작품)
• 배경: 1인 가구 및 맞벌이 가구 증가에 따른 식재료 관리의 어려움 해결 (중복 구매 방지 및 식품 폐기물 감소)
• 목표: AI 자동 인식을 통한 실시간 재고 관리 및 사용자 맞춤형 식습관 형성 보조
• 역할: 프로젝트 총괄, AI 모델 개발 및 앱 기능 연동

2. 시스템 아키텍처 및 기술 스택

아키텍처

1. Edge (Raspberry Pi): 실시간 영상 캡처 및 ZMQ를 통한 프레임 전송
2. AI Module (PC): YOLOv11(객체 탐지) + LSTM(행동 인식) 추론
3. Backend (FastAPI): 비동기 데이터 처리, API Gateway, 알림/레시피 로직
4. Cloud (Firebase): Firestore(재고 DB), Auth(인증), FCM(푸시 알림), Storage(이미지)
5. Mobile (Android): 사용자 인터페이스, 재고 시각화, AI 챗봇 및 레시피 추천

주요 기술 스택

• 언어/프레임워크: Python (FastAPI), Java (Android SDK)
• AI/ML: YOLOv11, PyTorch(LSTM), MediaPipe, OpenCV
• 인프라: Firebase, ZeroMQ, Raspberry Pi 5

 

3. 핵심 기능

① AI 기반 자동 식재료 인식

• 객체 탐지: YOLOv11을 활용한 24종 신선식품 실시간 인식 (mAP 0.85)
• 행동 인식: LSTM을 통한 '넣기/빼기/넣고빼기/None' 4가지 동작 분류
• 손 추적: MediaPipe를 활용해 냉장고 내부 ROI(관심영역) 진입 판정

② 스마트 재고 및 소비 분석

• 실시간 업데이트: 입출고 동작 인식 시 즉시 Firebase 재고 데이터 갱신 및 푸시 알림 전송
• 소비 패턴 분석: 월별 음식 소비율, 유통기한 준수 여부 등을 시각화 차트로 제공

③ 개인화 서비스

• 레시피 추천: 유통기한 임박 재료 우선순위 기반 레시피 제어 및 주간 식단 자동 생성
• AI 챗봇: GPT-3.5 기반의 식재료 보관법 및 요리 질의응답 지원
• 알림 시스템: 유통기한 D-3, D-1, 당일 자동 알림 발송

 

4. 데이터 구축

• 식재료 데이터
  - Roboflow를 통한 데이터 수집 및 라벨링
  - 24개 식재료로 각 1,000장의 이미지를, 총 24,000장 이미지 수집
  
  
• 동작 데이터
  - Python 자동화를 통한 좌표값 기반 동작 데이터를 csv 파일로 직접 구축

동작 데이터 형식

 

5. AI 모델

• YOLOv11 (객체 탐지)
  - mAP@0.5 0.894 달성 / F1-Score 0.84 확보
• 식재료를 실시간 탐지 및 추적하여 MediaPipe와 연계

• LSTM (행동 인식)
  - Validation Accuracy 99% 이상 / F1-Score 1.0 달성
  - 스마트 냉장고의 고정된 카메라 앵글과 명확한 동작(넣기/빼기) 특징을 활용하여 최적화된 성능 확보
  - 행동 시퀀스: 4,500건 (위치 시나리오 반영)
  - 식재료와 손을 기반으로 행동 인식 후 앱 재고에 반영

 

 

6. 동작 영상

AI 모델 추론 후 앱에 반영 후 알림 전송

 

 

앱 동작 영상

 

7. 기술적 문제 해결 및 성과

• 데이터 파이프라인 최적화: ZMQ 소켓 통신을 통해 라즈베리파이와 PC 간 저지연 영상 스트리밍 구현
• 행동 상태 도입: IDLE → TRACKING → COOLDOWN → DISPLAYING 상태 설계를 통해 중복 인식 방지 및 추론 안정성                          확보
• 행동 종료 후 앱 알림까지 평균 2초 이내

 

8. 기대효과

• 자동화: 수동 입력 번거로움 제거로 사용자 편의성 극대화
• 경제성: 중복 구매 및 유통기한 경과 폐기 감소로 가계 경제 도움
• 환경보호: 체계적인 식재료 관리로 탄소 배출량 감소 및 지속 가능한 식생활 기여

 

9. 수상 및 전시 내역