[.Net] ML.NET을 이용한 딥 러닝 모델 생성하기 - 이미지 분류

인공 지능

인공 지능(AI)이라는 키워드가 어딜 가나 빠지지 않습니다. 학습 도구는 물론이고 자동차, CCTV, 검색 엔진, 챗봇, 글자 인식(OCR) 등 다양한 분야에서 인공 지능 기술이 많이 접목되었습니다.

인공 지능의 역사는 1950년대 까지 거슬러 올라간다고 하는데요. 지금까지 여러 암흑기를 거치고 지속적인 발전을 통해 오늘날 챗GPT까지 오게 됐습니다. 그 결과, AI 기술은 우리 생활과 밀접하게 연결되었고, AI 기술을 얼마나 활용하냐에 따라 업무 효율성이 달라질 정도입니다.

본 포스팅은 머신 러닝(인공 지능 분야의 하위 집합, 분야)에 대한 깊은 지식이 없더라도, C# 언어를 사용하여 간단하게 머신 러닝 라이브러리를 사용할 수 있는 방법을 소개하고자 합니다.

ML.NET

ML.NET은 마이크로소프트에서 만든 머신 러닝 프레임워크로, 무료 오픈 소스 플랫폼입니다. 앞서 얘기한 것처럼, 머신 러닝에 대한 지식이 없어도 가이드대로 라이브러리를 사용하면 원하는 결과를 얻을 수 있습니다. 주요 특징을 나열하면 다음과 같습니다.

• 무료 오픈 소스
• C# 및 F# 지원
• .NET Core 2.0 이상, .NET Framework 4.6.1 이상 지원
• Windows, Linux, macOS 지원
• 데이터/이미지/문자열 분류, 값 예측, 개체 감지 등 지원
• Visual Studio 2019, 2022

공식 홈페이지: https://dotnet.microsoft.com/ko-kr/learn/ml-dotnet/what-is-mldotnet

ML.NET란? 오픈 소스 기계 학습 프레임워크.

시나리오

ML.NET에서는 시나리오에 따라 모델 학습이 달라집니다. 지원하는 시나리오는 아래 그림과 같습니다.

시나리오 종류

우리가 흔히 봤던 강아지와 고양이를 구분하는 이미지 분류가 있고, 값 예측이나 논문 유사성을 비교할 수 있는 문장 유사성도 시나리오도 제공합니다.

본문에서는 강아지와 고양이를 구분하는 이미지 분류 시나리오를 선택하여 성능 및 결과를 살펴보겠습니다.

따라 하기

1. ML.NET Model Builder 설치하기

Visual Studio 구성에서 아래 그림과 같이 ML.NET Model Builder가 설치되어 있는지 확인합니다. 없다면, 체크한 후 설치를 진행합니다.

ML.NET Model Builder 설치하기

2. ML.NET Model Builder 업데이트하기

Visual Studio를 실행하고 확장 관리 메뉴를 실행합니다.

확장 관리 메뉴

업데이트 항목에 ML.NET Model Builder가 있는지 확인합니다. Model Builder를 방금 설치했어도 업데이트가 안되어 있을 수 있습니다. 버전이 낮으면 학습 단계에서 문제가 생길 수 있으므로 반드시 업데이트합니다.

Model Builder 업데이트

3. 프로젝트 생성 및 기계 학습 모델 추가

콘솔 앱(.NET Framework) 프로젝트를 생성합니다.

프로젝트 생성

그리고 프로젝트를 선택하고 기계 학습 모델 메뉴를 선택합니다.

기계 학습 모델

이름을 지정한 후 추가 버튼을 클릭합니다.

Machine Learning Model 추가

4. 기계 학습 모델 설정

시나리오를 선택합니다. 앞에서 얘기한 대로, 본문에서는 이미지를 구분하는 것이 목표이므로 이미지 분류를 선택합니다.

시나리오 선택

학습 환경으로는 되도록이면 GPU를 선택합니다. CPU를 선택하면 시간이 오래 걸리기 때문에 GPU를 선택하는 것을 권장합니다.

GPU 선택 화면

만약, GPU 호환성에 모두 초록색 표시가 아니라면 아래의 내용대로 조치해 보세요.

4-1. GPU 확장

GPU 확장이 없습니다 메시지가 표시되면 다음을 점검하세요.

GPU 인식 오류

① NVIDIA 그래픽 카드 드라이버 업데이트 확인.
② Visual Studio 확장 메뉴에서 Model Builder 업데이트 확인.

4-2. CUDA 및 cuDNN

2023년 10월 15일 자 기준, CUDA v10.1과 cuDNN v7.6.4 for CUDA 10.1을 준비해야 합니다. cuDNN의 경우, 다운로드한 파일 중 bin\cudnn64_7.dll 파일을 Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin에 복사합니다.

5. 데이터 추가

이제 학습할 데이터를 추가해야 하는데요. 저는 kaggle에서 Cats-vs-Dogs 주제의 이미지를 사용했습니다.

https://www.kaggle.com/datasets/shaunthesheep/microsoft-catsvsdogs-dataset/

Cats-vs-Dogs

다운로드한 후 동물 별로 학습용(Training) 이미지와 검사용(Inference) 이미지를 분류했습니다. 주의 사항으로, 폴더 이름이 레이블(Label)이 되므로, 폴더 이름으로 이미지가 확실히 분류되어 있어야 합니다.

폴더 구조

데이터를 추가하면 다음의 화면이 표시됩니다.

데이터가 추가된 모습

6. 학습

학습 메뉴에서 학습 시작을 누르면 학습이 바로 시작됩니다. 학습 중 글자가 표시되고, 아쉽지만 예상 시간이 표시되지 않아 마냥 기다려야 합니다.

학습

고급 학습 옵션 메뉴를 클릭하면 아래의 창이 표시됩니다. 사실 무슨 의미인지는 자세히 모르겠으나, 학습 결과가 좋지 않으면 설정 값을 변경하면서 학습을 시도합니다.

고급 학습 옵

7. 평가

약 23분 만에 학습이 완료됐습니다. 그런데 정확도가 0.4732밖에 되지 않는군요.

학습 결과

평가 메뉴에서 Inference용 이미지를 불러와 결과를 확인할 수 있습니다. 강아지 이미지를 불러오면 52% Dog 레이블이고, 고양이 이미지를 불러오면 51% Cat 레이블입니다. 학습 결과가 좋지 않습니다.

평가 결과

아마도 고급 학습 옵션에서 다른 설정을 선택하여 다시 학습을 시도해 봐야 할 것 같습니다.

8. 코드 사용

이제 사용 탭으로 넘어갑니다. 상단에는 코드 예시가 보이고, 그 아래에는 솔루션에 추가 메뉴가 있습니다. 이를 클릭하여 콘솔 앱 프로젝트를 추가합니다.

코드 사용을 위한 프로젝트 추가

예제 코드와 함께 프로젝트가 생성됩니다. 파일 경로에 Inference 이미지가 있는 경로로 변경하고 실행합니다.

모델 사용을 위한 콘솔 프로젝트

고양이 이미지를 테스트했더니 Cat 레이블 0.52%의 결과를 얻을 수 있었습니다.

Inference 결과

평가 메뉴에서 테스트한 것처럼 결과가 그다지 좋진 않습니다.

상용 라이브러리와 비교

다른 고급 옵션 설정을 변경하여 재시도 해봤지만 여전히 결과가 좋지 않더군요. 고급 옵션 외에 별다른 설정이 없어 성능을 더 높일 수 있는 방법을 찾지 못했습니다. 이 점이 너무 아쉽습니다.

추가로, ML.NET 모델의 한계인지 궁금하여 상용 라이브러리로 테스트를 진행해 보았습니다. 상용 라이브러리는 Euresys의 Open eVision 23.08을 사용했는데요. 여기서 제공하는 Deep Learning Studio는 무료로 사용이 가능하여 쉽게 검토가 가능합니다.

물론, 머신 비전에 적합한 모델이 적용되어 있겠지만 간단한 분류는 가능하지 않을까 시도해 봤습니다.

동일한 이미지로 학습을 진행했더니 약 10시간 넘게 예상 시간이 표시됐습니다. 그래서 2시간 반 정도 학습한 후 중지시키고 테스트를 해봤습니다.

학습 예상 시간

고양이 사진은 99%, 강아지 사진은 99%로 분류가 됐습니다. 상용 라이브러리로 매우 정확하게 분류할 수 있었습니다.

상용 라이브러리 분류 결과

또한, 아래처럼 Heatmap 이미지를 제공하여 모델이 어디에 집중했는지도 보여줍니다.

히트 맵 이미지

그리고 모델을 검증하던 중 Confusion Matrix에 제대로 예상하지 못한 결과가 있었습니다. 항목을 보니, Dog 폴더에 고양이와 글자, 일러스트와 같은 이미지들이 섞여 있더군요. Cat 폴더에도 마찬가지였습니다. 사람 사진도 섞여있는 것이, 아마도 ML.NET에서는 학습에 안 좋은 영향을 주지 않았나 싶습니다.

Confusion Matix 결과