구글 AI 프레임워크 미디어파이프(MediaPipe) 소개

1. MediaPipe

 MediaPipe란 구글에서 제공하는 AI 프레임워크로서, 비디오형식 데이터를 이용한 다양한 비전 AI 기능을 파이프라인 형태로 손쉽게 사용할 수 있도록 제공된다.  AI 모델개발 및 수많은 데이터셋을 이용한 학습도 마친 상태로 제공되므로 라이브러브 불러 사용하듯이 간편하게 호출하여 사용하기만 하면 되는 형태로 비전 AI 기능을 개발할 수 있다.   

 

MediaPipe

 

2. 제공되는 비전AI 솔루션들 

기본적인 얼굴인식 이외에도 Pose 인식 등 다양한 비전AI 기능들이 제공되는데 사용할 수 있는 비전 AI 솔루션들은 다 다음과 같다.  

 

3. 다양한 개발환경 및 언어 지원 

 

통상의 C++이나 Python언어 이외도 안드로이드나 iOS 등 모바일 프로그램 개발에 활용할 수 도 있고, JavaScript를 이용하여 Web 페이지 형태로 구현할 수도 있다.  

 

	Android	iOS	C++	Python	JS	Coral
Face Detection	✅	✅	✅	✅	✅	✅
Face Mesh	✅	✅	✅	✅	✅
Iris	✅	✅	✅
Hands	✅	✅	✅	✅	✅
Pose	✅	✅	✅	✅	✅
Holistic	✅	✅	✅	✅	✅
Selfie Segmentation	✅	✅	✅	✅	✅
Hair Segmentation	✅		✅
Object Detection	✅	✅	✅			✅
Box Tracking	✅	✅	✅
Instant Motion Tracking	✅
Objectron	✅		✅	✅	✅
KNIFT	✅
AutoFlip			✅
MediaSequence			✅
YouTube 8M			✅

 

4. 오픈소스 및 다양한 자료 제공 

 

MediaPipe는 오픈소스 프로젝트로서 소스가 공개되기 때문에 원하는 부분을 수정하여 추가 개발할 수도 있다 

GitHub - google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media.

 

 

또한 솔루션 별로 상세한 기술자료 및 예제 등이 풍부하게 제공되고 있다.    

 

 

또한 학습모델을 범위나 용도별에 따라 구분하여 사용할 수 있도록 Lite,full,Heavy 등으로 구분하여 제공되기 때문에 각자 환경이나 목적에 따라 적정한 모델을 골라 쓰기만 하면 된다.