사용자의 손과 식품들을 탐지하여 사용자의 행동 (음식을 들고 냉장고에 넣기, 음식을 냉장고에서 빼기, 음식 넣고 다른 음식 빼기)을 인식하여 자동으로 냉장고 관리 앱에 등록되는 기능을 개발하면서 발생한 어려움, 한계점들을 해결하는 과정에 대해 설명하는 시간을 가져보려 한다. 기존 모델은 Yolov11n, LSTM, Mediapipe를 통해 연계하여 객체 탐지, 동작 인식을 모두 수행했다. 학습 데이터 셋은 Yolo 모델은 식품 당 1,000장 총 23종 식품으로 약 23,000장의 식품 이미지로 학습했다.LSTM은 좌표값을 직접 Excel파일로 입력하여 손, 객체 좌표의 이동을 프레임마다 기록하는 형식으로 직접 생성하여 학습했다. 기존 YOLO 모델의 한계점은 조명 변화에 취약하고 이에 따라 다른 클래스..