Meta, 이미지 식별 모델 SAM 데모 사용후기

Meta, 이미지 식별 모델 SAM 데모 사용후기

오늘은 Meta가 공개한 이미지 식별 모델 SAM 데모 사용후기를 소개하고 그 의의를 살펴보겠습니다.

Meta, 이미지 식별 모델 SAM 공개

4월 5일, Meta는 이미지 속 다양한 사물을 인식할 수 있는 자체 AI 모델인 SAM(Segment Anything Model)을 발표했습니다.

SAM은 간단히 말해, 물체로 가득 찬 이미지에서 다양한 물체를 인식할 수 있는 도구입니다.

SAM은 물체가 무엇인지에 대한 일반적인 개념을 학습 했고, 훈련 중에 만나지 못한 물체 및 이미지 유형에 대해서도 이미지/동영상의 모든 객체에 대해서 마스크 생성이 가능합니다.

즉, 추가적인 훈련 없이도 새로운 이미지 도메인(물속 사진이나, 세포 현미경 사진 등)에도 적용이 가능합니다.

참고로 AI 기계학습에 필요한 이미지 라벨링 어노테이션 작업이 궁금하다면 머신러닝 라벨링 이미지 어노테이션 도구 Best 10 글을 참조 하시기 바랍니다.

Meta Blog 의 SAM 소개 영상 에서는 과일 상자 사진에서 AI 도구가 모든 과일을 성공적으로 식별하는 방법을 보여줍니다.

Meta는 이를 ‘프롬프트 가능한 시스템’이라고 설명하는데, 이는 텍스트나 클릭 만으로 사용자 입력을 받을 수 있다는 의미입니다.

Meta, 이미지 식별 데이터 세트 SA-1B 공개

아울러 Meta는 역대 최대 규모의 세분화 데이터 세트 중 하나인 10억 개의 마스크 데이터 세트(SA-1B)를 공개했습니다.

이를 기반으로 AI 시스템은 1,100만 개의 이미지를 학습하여 10억 개 이상의 마스크를 식별했습니다.

이미지 세그먼트 기술은 사진을 편집하고, 과학적 이미지를 분석하고, 증강 및 가상 현실 애플리케이션에 사용될 수 있으며, 더 큰 규모의 AI 시스템을 구축하는 데에도 사용될 수 있습니다.

Meta는 “이미지 세그먼트를 위한 작업별 모델링 전문 지식, 학습 컴퓨팅, 맞춤형 데이터 주석의 필요성을 줄이는 것이 Segment Anything 프로젝트의 핵심입니다.”라고 말합니다.

또한, Meta 는 이 새로운 도구를 오픈소스로 공개하여 누구나 사용할 수 있도록 했습니다.

그럼 Meta가 공개한 SAM 데모를 통해 SAM이 이미지에 어떻게 적용되는지 확인해 보겠습니다.

Meta, 이미지 식별 모델 SAM 데모 사용후기

데모에 사용할 이미지는 제공하는 갤러리 내 이미지 혹은 자신이 보유한 이미지를 업로드하여 SAM 도구를 이용해 이미지 식별 기능을 체험해 볼 수 있습니다.

이미지 식별 AI 모델 SAM 데모 : Hover & Click

먼저 데모에서 제공하는 이미지 중 크리켓을 하는 사람들을 클릭하고 좌측 Hover & Click 메뉴 기준으로 크리켓 이미지에 마우스를 움직이면 실시간으로 이미지에서 개체를 찾는 것을 볼 수 있습니다.

한 선수 만 선택하려면 해당 선수 위로 마우스를 가져 가면 해당 선수의 윤곽이 그려집니다.

이미지 식별 AI 모델 SAM 데모 : Cut-Outs

이미지 윤곽 선택 후 좌측 메뉴의 ‘Cut out object’ 를 클릭하면 해당 윤곽만 추출되어 Cut-Outs 메뉴에 저장됩니다.

이미지 식별 AI 모델 SAM 데모 : 추출 이미지

Cut-Outs 메뉴에 저장된 이미지를 새 탭에서 열면 해당 선수 만 잘라낸 이미지가 표시됩니다.

이미지 식별 AI 모델 SAM 데모 : Box 드로잉 선택

Box 기능을 통해 물체 주변을 러프하게 Box 모양으로 드로잉하여 이미지 개체를 찾을 수도 있습니다.

이미지 식별 AI 모델 SAM 데모 : Everything 전체 선택

이미지 내 전체 개체를 자동으로 찾아주는 ‘Everything’기능도 포함되어 인식된 이미지 개체를 모두 표시해 주며 Cut-out 후 Cut-Outs 메뉴에서 모두 확인할 수 있습니다.

이미지 식별 AI 모델 SAM 데모 : Everything Cut-Outs

상기 이미지 개체 식별 및 마스크 작업은 모두 실시간으로 작업을 수행할 수 있습니다.

이미지 식별 모델 SAM 개발 의의

SAM을 사용하면 마스크에 대화형 주석을 다는 데 약 14초 밖에 걸리지 않을 정도로 새로운 세분화 마스크를 수집하는 속도가 빨라집니다.

이전의 대규모 세분화 데이터 수집 작업과 비교했을 때, SAM 모델은 COCO의 완전 수동 폴리곤 기반 마스크 주석보다 6.5배 빠르며, 모델 지원을 받았던 이전의 가장 큰 데이터 주석 작업보다 2배 빠릅니다.

SA-1B 데이터 집합을 생성하기 위한 데이터 엔진을 구축했습니다. 이 데이터 엔진에는 세 가지 “기어”가 있습니다.

• 첫 번째 기어에서는 위에서 설명한 대로 모델이 어노테이터를 지원합니다.
• 두 번째 기어는 완전 자동 주석과 보조 주석이 혼합된 것으로, 수집된 마스크의 다양성을 높이는 데 도움이 됩니다.
• 데이터 엔진의 마지막 기어는 완전 자동 마스크 생성으로, 데이터 집합을 확장할 수 있습니다.

SA-1B는 기존의 어떤 세분화 데이터 세트보다 400배 더 많은 마스크를 보유하고 있으며, 마스크의 품질과 다양성이 뛰어나 경우에 따라 완전히 수작업으로 주석이 달린 이전의 데이터 세트의 마스크와 비교해도 품질이 비슷할 정도입니다.

맺음말

지금까지 Meta가 공개한 이미지 식별 AI 모델 SAM 기능을 실제 데모를 통해 확인해 보았습니다.

지난 2월 Meta는 대규모 언어 모델 LLaMA 발표를 통해 AI 전쟁에 본격 합류한 이후 2개월도 채 지나지 않아 이미지 내에서 다른 개체를 식별할 수 있는 자체 언어 모델인 SAM을 발표했습니다.

OpenAI의 ChatGPT, Google의 Bard, Microsoft의 New Bing과 Microsoft 365 Copilot 도구를 통한 빅테크 기업들의 AI 시장 선점과 확장에 대한 관심이 이번 Meta의 SAM 발표에도 동일하게 반영되었습니다.

Microsoft가 자사의 강점인 오피스 제품군에 AI Copilot을 적용하여 자사 생성 AI 활용 기반을 확장하듯이 Meta는 페이스북, 인스타그램을 통해 쌓아온 이미지 콘텐츠와 태깅 조정 기술이 이미지 식별 AI 모델 SAM을 출시하여 AI 이미지 어노테이션 기술에 대한 액세스를 넓히고 있는 것입니다.

AI가 이미지와 동영상에 담긴 정보를 이해하는 과정에는 추적, 사물 인식, 얼굴 인식 등이 매우 중요합니다.

이번에 공개된 SAM 도구와 데이터 세트가 이러한 AI 비전 인식 기술을 획기적으로 발전시켜 아이언맨의 자비스 AI 비서가 현실화 되길 기대합니다.

---