[ASP.NET] 시놀로지 도커(Docker)에서 셀레니움(Selenium) 서비스 만드는 방법

도커(Docker) 셀레니움(Selenium) 서비스

현재 근무하고 있는 회사에는 전자 결재를 위한 이카운트 ERP를 사용하고 있습니다. 이 서비스는 실시간으로 자료 입력과 조회가 가능하고, 전자 문서 결재 진행 상황을 확인할 수 있죠. 게다가 모바일 앱과 웹 기반 서비스를 제공하고 있어 인터넷만 된다면 언제 어디서든 사용이 가능합니다. 또한, 개발자를 위한 REST API도 제공하고 있습니다.

그런데 한 가지 아주 아쉬운 부분이 있습니다. 업무 특성상 특정 결과를 실시간으로 알람 받고 싶은데, 하필 이 부분만 API로 제공하지 않더군요. 고객센터에도 문의해봤지만 API가 없는 것이 맞고, 아직 개발 계획도 없다고 하더군요.

하지만 방법이 아주 없지는 않았습니다. 제가 생각한 구상은 시놀로지 서버의 도커에서 ERP 웹 페이지의 특정 항목을 셀레니움으로 확인하는 것인데요. 당연히 될거라 생각했고, 결국 원하는 결과를 얻을 수 있었습니다. 이번 본문에서는 도커에서 셀레니움 서비스를 동작하기 위한 준비 과정과 동작 결과를 설명하겠습니다.

작업 구상

셀레니움으로 특정 웹사이트에 접속한 후 특정 데이터를 취득합니다. 그리고 조건이 성립하면 시놀로지 챗(Chat)의 챗봇으로 메시지를 전송하여 알림을 받도록 합니다. 이 동작을 도커 서비스로 제작합니다.

서비스-구상도

준비 단계

1. 셀레니움(Selenium) 익히기

셀레니움은 웹 브라우저 자동화를 위한 라이브러리입니다. 본문에서는 특정 웹 페이지에서 특정 데이터들을 확인하는 작업을 수행할 예정입니다. 아래 링크를 참고하여 셀레니움을 어떻게 사용해야 하는지 알아보세요.

[셀레니움/Selenium, C#] C#에서 셀레니움을 사용하는 방법 총정리

[셀레니움/Selenium, C#] C#에서 셀레니움을 사용하는 방법 총정리

2. 챗봇 연동하기

시놀로지는 챗(Chat)이라는 메신저를 제공합니다. 셀레니움으로 얻은 데이터를 챗의 챗봇과 연동하여 알림을 받을 겁니다. 아래 링크를 참고하여 챗봇을 어떻게 연동하는지 참고하세요.

[챗봇/.NET] C#에서 시놀로지 Chat에 챗봇 메시지 보내기(예제 포함)

[챗봇/.NET] C#에서 시놀로지 Chat에 챗봇 메시지 보내기(예제 포함)

3. 리눅스(Linux) 작업자 서비스 만들기

시놀로지 도커에서 서비스를 구동하려면, 리눅스 도커용 작업자 서비스를 만들어야 합니다. 아래 링크를 참고하세요.

[ASP.NET] C# 시놀로지 Linux Docker 용 작업자 서비스 만드는 방법

[ASP.NET] C# 시놀로지 Linux Docker 용 작업자 서비스 만드는 방법

4. 시놀로지 작업 스케줄러 적용하기

이상하게도 Linux Docker에서 셀레니움을 사용하면 메모리 누수(Memeory leak)가 발생합니다. 이상한 점은 객체를 한 번만 생성하고 사이트로 이동하는 함수만 호출하는데도 누수가 발생합니다. 도대체 왜 생기는지 이유를 아직도 찾지 못했습니다. 이렇게 메모리 누수가 발생하여 사용 가능한 메모리가 부족해지면 시놀로지 나스가 어느 순간 응답이 없는 상태가 됩니다.

그래서 업무 시간에만 서비스가 동작하고 멈추도록 스케줄러를 적용하여, 서비스가 종료되면 메모리를 회복할 수 있도록 편법을 적용했습니다. 시놀로지 작업 스케줄러 사용 방법은 아래 링크를 참고하세요.

[Synology NAS] 작업 스케줄러로 작업 예약하기(사용자 정의 스크립트)

[Synology NAS] 작업 스케줄러로 작업 예약하기(사용자 정의 스크립트)

핵심

Linux 작업자 서비스를 만드는 전반적인 과정은 아래 링크를 참고합니다.

[ASP.NET] C# 시놀로지 Linux Docker 용 작업자 서비스 만드는 방법

[ASP.NET] C# 시놀로지 Linux Docker 용 작업자 서비스 만드는 방법

도커 작업자 서비스에서 셀레니움을 사용하기 위해서는 다음과 같은 옵션 설정이 필요합니다. 그 외 사용 방법은 동일합니다.

ChromeDriverService _driverService = ChromeDriverService.CreateDefaultService();
_driverService.HideCommandPromptWindow = true;

ChromeOptions _options = new ChromeOptions();
_options.AddArgument("disable-gpu");
_options.AddArgument("headless");
_options.AddArgument("no-sandbox");
_options.AddArgument("disable-dev-shm-usage");

ChromeDriver _driver = new ChromeDriver(_driverService, _options);

서비스 빌드를 위한 Dockerfile은 다음과 같이 작성합니다. 도커에서 구성 요소를 설치하고, 크롬 드라이버를 설치하는 과정을 의미합니다.

FROM mcr.microsoft.com/dotnet/runtime:5.0 AS base

COPY . /app
WORKDIR /app
 
#포트 번호는 예시로 8888
ENV ASPNETCORE_URLS http://*:8888
EXPOSE 8888

# RUN apt-get update
RUN apt-get update && apt-get install -y gnupg2
RUN apt install -y wget

# CHROME
RUN wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add -
RUN sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/goodle.list'
RUN apt-get update
RUN apt-get install -y google-chrome-stable

# CHROME_DRIVER
RUN apt-get install -yqq unzip
RUN apt-get install -y curl
RUN wget -O /tmp/chromedriver.zip http://chromedriver.storage.googleapis.com/`curl -sS chromedriver.storage.googleapis.com/LATEST_RELEASE`/chromedriver_linux64.zip
RUN unzip /tmp/chromedriver.zip chromedriver -d /usr/local/bin/
ENV DISPLAY=:99
 
#ExamWorkerService는 프로젝트 이름
ENTRYPOINT ["dotnet", "WorkerService.dll"]

앞에서 언급한 것처럼, 도커 서비스에서 셀레니움을 동작하면 메모리 누수가 발생합니다. 작업자 스케줄러에 사용자 정의 스크립트를 추가하여 특정 시간 동안만 동작하고 종료되도록 설정합니다.

docker container start [컨테이너 이름]
docker container stop [컨테이너 이름]

동작 결과

셀레니움으로 얻은 데이터 중 알림이 필요한 정보를 파싱하여 챗봇으로 메시지를 전달하면, 아래 이미지처럼 챗봇 메시지를 얻을 수 있습니다. 이 메시지가 PC나 스마트폰에 알림이 되어 실시간으로 업무 확인이 가능하게 됐습니다.

동작-결과