[.Net] 생성형 AI, C#에서 대규모 언어 모델(LLM) LLaMaSharp 사용하기(예제 포함)

생성형(Generative) AI란?

데이터를 기반으로 새로운 콘텐츠를 생성하는 기술로, 이미 존재하는 데이터를 학습하여 새로운 이미지, 텍스트, 음악 등 다양한 형태의 콘텐츠를 만들어내는 인공지능입니다.

'정의'만 들어보면 잘 와닿지 않을 텐데요. OpenAI의 ChatGPT는 잘 아실 겁니다. 이 ChatGPT는 텍스트 생성에 초점을 맞춘 생성형 AI로, 방대한 양의 데이터를 학습하여 사용자와 자연스러운 대화를 나눌 수 있는 기술을 제공합니다. 조심해야 할 부분은, ChatGPT의 답변은 100% 정답이 아니며 허상 데이터(Hallucination)를 구분할 줄 알아야 한다는 점입니다. 즉, 맹신하기보다는 의심하는 자세를 취하고 사용해야 합니다.

요즘은 대기업뿐만 아니라 스타트업 기업에서도 생성형 AI를 탑재한 서비스를 내놓고 있습니다. 저는 특히, 최근 3D 제품 제조사에서 자신들의 기술과 매뉴얼을 기반으로 생성형 AI 서비스를 출시하여, 사용자로 하여금 기술 지원 빈도를 줄이고, 원하는 답변을 매뉴얼 정보로 표시해 신뢰성을 높인 부분이 대단하다고 생각합니다. 이제 단순히 정형화된 대답만 하는 챗봇을 마주치면 싱거운 기분이 듭니다.

자, 이번 본문에서는 C# 기반인 LLaMaSharp 라이브러리를 이용하여 대규모 언어 모델(LLM)을 사용해 질문하고 답변을 얻어보려고 합니다. (사실, 나만의 LLM을 특정 데이터를 기반으로 학습시켜보고 싶지만, 깊은 지식과 고성능 하드웨어가 부족하여 도전하지 못하고 있어 아쉽네요.)

LLaMaSharp 소개

LLaMaSharp은 Meta에서 개발한 LLaMA 모델 기반의 크로스 플랫폼 라이브러리입니다. 데이터 모델과 CPU 또는 GPU를 선택하여 다양한 동작 성능을 확인할 수 있습니다.

GitHub - SciSharp/LLamaSharp: A C#/.NET library to run LLM (🦙LLaMA/LLaVA) on your local device efficiently.

GitHub - SciSharp/LLamaSharp: A C#/.NET library to run LLM (🦙LLaMA/LLaVA) on your local device efficiently.

아래 데모 영상을 보면, 사용자가 질문(초록색)하면 답변(흰색)을 받을 수 있습니다. 코드 생성을 요청했는데 잘 알려주네요.

LLaMa 데모

아래는 시각적 정보를 제공하는 LLaVa의 동작 데모 영상입니다.

LLaVa 데모

따라 하기

1. CUDA 12 SDK 설치하기

LLaMaSharp을 사용하기 위해서 CUDA를 사용한다면 CUDA 11 또는 CUDA 12 SDK가 필요합니다. 저는 CUDA Toolkit 12.4를 설치했습니다.

CUDA Toolkit 12.4 설치된 모습

2. 프로젝트 생성하기

저는 Visual Studio 2022를 사용하여 콘솔(.Net Core 8.0) 프로젝트를 생성했습니다.

Visual Studio 2022 .Net 8.0 프로젝트 생성 화면

3. Nuget 설치하기

Nuget 패키지 관리에서 LLaMaSharp을 검색하고, 다음의 항목을 설치합니다.

• LLaMaSharp
• LLaMaSharp.Backend.Cpu (CPU 사용 시)
• LLaMaSharp.Backend.Cuda11 or 12 (GPU, CUDA 11 또는 12 사용에 따라 선택)
• Spectre.Console

LLaMaSharp Nuget 검색 화면

Spectre Nuget 검색 화면

4. 모델 파일 준비하기

LLM의 모델 파일에는 PyTorch 형식(.pth)과 Huggingface 형식(.bin)이 많이 사용됩니다. LLamaSharp는 GGUF 형식 파일을 사용하는데, 이 두 형식에서 변환하여 사용할 수 있습니다. 다음은 GGUF 파일을 얻기 위한 방법을 설명합니다.

4-1. Hugging Face에서 얻기

허깅 페이스(Hugging Face)는 다양한 인공지능 모델을 오픈 소스로 제공하는 사이트입니다. 이 사이트에서 '모델이름 + GGUF'로 검색하여 다운로드할 수 있습니다.

Hugging Face – The AI community building the future.

Hugging Face – The AI community building the future.

허깅페이스의 Blossom 8B 소개 화면

4-2. 직접 변환하기

PyTorch 또는 Huggingface 형식의 모델 파일을 직접 GGUF 형식으로 변환하여 사용할 수 있습니다. 아래 링크의 가이드에 따라 파이썬 스크립트로 변환이 가능합니다.

GitHub - ggerganov/llama.cpp: LLM inference in C/C++

GitHub - ggerganov/llama.cpp: LLM inference in C/C++

하지만 이러한 변환 과정이 저처럼 익숙치 않으시다면, 아쉽지만 허깅 페이스에서 제공하는 것만 찾아 쓸 수밖에 없습니다.

5. 코드 작성하기

LLaMaSharp에서 제공하는 기본 예제 코드를 참고하여 아래의 메인 코드를 준비했습니다.

using LLama;
using LLama.Common;
using LLama.Examples;

public class ChatSessionWithRoleName
{
    public static async Task Main()
    {
        string modelPath = UserSettings.GetModelPath();

        var parameters = new ModelParams(modelPath)
        {
            ContextSize = 1024,
            GpuLayerCount = 10,
            MainGpu = 0
        };
        using var model = LLamaWeights.LoadFromFile(parameters);
        using var context = model.CreateContext(parameters);
        var executor = new InteractiveExecutor(context);

        ChatSession session = new(executor);

        InferenceParams inferenceParams = new InferenceParams()
        {
            AntiPrompts = new List<string> { "User:" }
        };

        Console.ForegroundColor = ConsoleColor.Yellow;
        Console.WriteLine("The chat session has started.");

        // show the prompt
        Console.ForegroundColor = ConsoleColor.Green;
        string userInput = Console.ReadLine() ?? "";

        while (userInput != "exit")
        {
            await foreach (
                var text
                in session.ChatAsync(
                    new ChatHistory.Message(AuthorRole.User, userInput),
                    inferenceParams))
            {
                Console.ForegroundColor = ConsoleColor.White;
                Console.Write(text);
            }

            Console.ForegroundColor = ConsoleColor.Green;
            userInput = Console.ReadLine() ?? "";

            Console.ForegroundColor = ConsoleColor.White;
        }
    }
}

ContextSize, GpuLayerCount 등의 파라미터 튜닝이 가능하나, 자세히 다룰 줄 몰라 기본 값으로 적용했습니다. 전체 코드는 아래 첨부된 프로젝트 파일을 참고하세요.

ExamLLaMaSharp.zip

0.00MB

동작 화면

저는 허깅페이스에서 llama-3-Korean-Bllossom-8B-Q4_K_M.gguf 모델을 다운로드하여 대화를 시도해 보았습니다. 축구 경기의 규칙을 설명해 달라고 했는데, 그럴싸한 답변을 주다가 어느 순간부터는 이상한 답변을 주기 시작합니다.

동작 화면

모델의 문제라기보다는, 아마도 제가 사용한 파라미터 튜닝의 문제이지 아닐까 싶습니다.

정리하며

로컬 PC 기반의 LLM 사용은 어떤가 살펴보았는데요. 여러 모델을 다운로드하여 테스트해 보았지만, 하드웨어 사양 부족, 튜닝 숙지 등의 문제로 원하는 성능을 얻지는 못했습니다. 어째서인지, 답변이 끝나지 않고 이상한 내용만 주더군요.

개인적으로 만들어 보고 싶은 것이 있는데, 이에 적합한 모델을 찾는 것부터 파라미터 튜닝, 하드웨어 준비 등 생각해야 할 것들이 너무 많은 것 같습니다.

다음에는 OpenAI API와 같은 서비스를 이용하여 조금 더 쉽고 빠르게 접근이 가능한지 알아보려고 합니다.