[셀레니움/Selenium, C#] C#에서 Selenium을 사용하기 위한 준비 단계

요즘 코로나 때문에 재택근무로 전환하는 기업들이 점차 늘고 있습니다. 제 집사람도 마찬가지인데요. 주말에 재택근무를 준비한다고 해서 회사에서 무슨 일을 하는지 살펴봤습니다. 그런데 생각 외로 단순 반복 업무가 너무 많더군요. 한 예로, 엑셀에 어떤 목록이 있으면 하나하나 아이템을 웹 사이트에서 검색한 후 특정 결과 값을 다시 엑셀에 입력하는 업무가 있습니다. 또는, 웹 사이트에 아이템을 추가하기 위해 일일이 버튼을 클릭하며 수 시간을 보내는 업무도 있었습니다. 저는 직업이 프로그래머인지라, 뒤에서 지켜보면서 많이 안타까워했습니다. 진작에 알게 됐으면 매크로 프로그램이라도 만들어 줬을 텐데 말이죠. 결국, 이번 기회에 프로그램을 하나 만들어 주면서 내심 뿌듯해했습니다.

자, 그래서 이번 포스팅에서는 .Net Selenium 라이브러리를 이용한 웹 크롤링을 소개합니다.

셀레니움에 관한 전반적인 내용은 아래 링크를 참고해주세요.

[셀레니움/Selenium, C#] C#에서 셀레니움을 사용하는 방법 총정리

[셀레니움/Selenium, C#] C#에서 셀레니움을 사용하는 방법 총정리

C#에서 셀레니움 준비하기

본격적으로 C#에서 셀레니움 라이브러리를 사용해 보겠습니다. C# WinForm 프로젝트를 하나 생성하고 도구 > NuGet 패키지 관리자 > 솔루션용 NuGet 패키지 관리 메뉴를 클릭합니다.

NuGet 패키지 관리 메뉴

검색 결과에서 Selenium.WebDriver, Selenium.Support, Selenium.WebDriver.ChromeDriver, DotNetSeleniumExtras.WaitHelpers 를 선택하고 설치합니다. 본문에서는 Chrome 기준으로 설명합니다.

Selenium 검색 결과

검색 결과 선택 후 아래와 같이 '설치' 버튼만 누르면 자동으로 설치됩니다.

라이브러리 설치

설치가 모두 완료되면 아래와 같이 네임스페이스를 추가한 후 빌드가 되면 정상적으로 준비가 된 겁니다.

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
//Selenium Library
using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.Support.UI;

namespace ExamSelenium
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
    }
}

Selenium을 이용한 프로그래밍 방법

우선 크롬을 사용한 이유로는 크롬이 개발자 도구(F12)를 지원하기 때문에 셀레니움을 사용하는데 편리합니다. 셀레니움 API는 웹 사이트의 HTML 코드(Tag, Class Name, ID, XPath 등)를 통해 웹 사이트 제어 또는 크롤링이 가능합니다. 좀 더 쉽게 설명해 볼까요?

우선 크롬을 실행하고 네이버에 접속합니다. 그리고 F12를 누르면 아래 그림과 같은 화면이 나옵니다.

네이버 메인 화면

오른쪽 화면에 알록달록한 코드들이 보이지요? 저 코드들은 HTML 코드입니다. 만약 로그인 버튼의 코드를 얻고 싶다면 화살표 버튼을 클릭한 후 로그인 버튼 위에 가져다 놓고 클릭합니다.

로그인 버튼의 HTML 코드 확인하기

로그인 버튼의 XPath를 얻고 싶다면, 아래와 같이 마우스 우측 메뉴의 Copy XPath 를 선택합니다.

로그인 버튼의 XPath 복사하기

셀레니움 API를 사용하다 보면 XPath도 유용하게 많이 사용되니 꼭 기억하시기 바랍니다. 이렇게 얻은 Tag, Class Name, XPath 등은 아래와 같이 사용됩니다. 웹 페이지의 Element를 찾기 위한 API 입니다.

API 목록

여기까지 C#에서 셀레니움 라이브러리를 사용하기 위한 준비단계를 마치고, 이후 포스팅을 통해 예제 프로그램을 작성해 보겠습니다.