웹 크롤링 | 크롤러 Web Scraper

편집자 리뷰

누구나 웹에서 손쉽게 몇 번의 클릭과 입력 만으로도 스크래핑을 할 수 있는 크롬 확장 프로그램 데이터 추출 도구 입니다. Web Scraper는 크롤링 하고자 하는 사이트를 탐색하고 데이터를 추출하는 기능을 가지고 있습니다. 크롬 확장 프로그램을 이용하기 때문에 추가로 응용프로그램의 설치가 필요하지 않고, 웹 표준화에 맞춰진 동적 웹사이트의 크롤링도 거뜬히 수행합니다. PHP 및 JS 코딩의 경험이 없는 분들도 튜토리얼을 통해 데이터를 추출하는 자동화 시스템을 완벽히 구축할 수 있습니다. 데이터 수집이 완료되면 CSV 및 XLSX 파일로 다운로드 가능하기 때문에 데이터 편집에 대한 2차 작업이 용이합니다.

스크린샷

크롬 확장 프로그램과 파이어폭스 애드온에서 무료로 제공되고 있는 서비스로, 크롤링을 누구나 쉽게 할 수 있도록 지원합니다. 사진과 같이 포인트 클릭 기능을 지원하기 때문에 크롤링 셀렉터 설정 할 때 간편하고 빠른 추출을 할 수 있습니다. 또한, 요소를 가르키고 클릭을 통해 크롤러를 구성할 수 있고, 동적 웹 사이트에서도 데이터 추출이 용이 합니다. 크롤링이 완료된 후 CSV나 XLXS 데이터로 저장할 수 있기 때문에 구글 스프레드시트 등으로 가져오는 것도 작업이 용이합니다.

기능 및 사용법

셀렉터 기능

크롬 확장 프로그램 플랫폼을 사용하기 때문에 크롬 브라우저만 설치되어 있다면 누구나 사용할 수 있습니다. 설치 후 개발자 도구 F12 버튼을 눌러 Web Scraper 탭에서 사이트맵을 만들고 메타 데이터를 입력하기 위해, 위와 같이 셀렉터를 포인트 앤 클릭 인터페이스로 제공합니다. 이런 모듈식 선택 시스템을 통해 사이트맵 작성이 좀 더 구조화 되도록 조정할 수 있다는 장점을 지니고 있습니다.

동적 페이지 데이터 추출 가능

타 크롤링 서비스는 무한 스크롤, Ajax, JavaScript를 이용한 동적 페이지에서 추출이 잘 되지 않을 때가 있습니다. WebScraper는 다양한 수준의 탐색이 가능하고 거의 모든 웹 사이트를 탐색할 수 있도록 프로그램이 구축되어 있습니다. 카테고리 및 하위 카테고리, 쪽수 처리, 제품 페이지 처리 등의 기능을 지원합니다.

데이터 추출

브라우저에서 직접 크롤러를 만들고 나서 사이트의 데이터를 모두 긁어온 후 CSV 형식으로 데이터를 내보낼 수 있습니다. Web Scraper Cloud 기능을 이용하게 되면 CSV 또는 XLSX 및 JSON 형식의 데이터를 내보낼낸 후 API나 웹 훅을 통해서 데이터를 가져올 수 있습니다.

Web Scraper Cloud

클라우드 서비스 제공

웹 스크래퍼 클라우드 서비스는 스케쥴러 기능이나 프록시나 API 기능을 제공하기 때문에 이용하는 경우가 많습니다. 자료를 수집한 후 직접 데이터를 활용해야 하는 경우에 사용할 수 있는 API 서비스를 제공하고, 외부 서버 차단을 막기 위한 Proxy 서비스도 제공하고 있습니다. 그리고 스케쥴러 기능을 통해 예약 크롤링을 할 수 있습니다.

유료 플랜

무료로 크롬 익스텐션 서비스로 이용할 수 있지만 다양한 유료 플랜을 제공하고 있습니다. 클라우드 서버를 이용하기 위해서 주로 사용하는데 한 달에 100달러 플랜인 프로페셔널 플랜을 선택하게 될 경우 20,000 클라우드 크레딧을 받고 3개의 병렬 작업, CSV, XLSX, JSON 추출, 스케쥴러, 프록시, API, 드랍박스 이용 등의 다양한 서비스를 사용할 수 있습니다. 또한 무료 사용할 수 있는 기간을 주기 때문에 Free Trial 서비스를 활용 해 보시는 것도 좋습니다.

참고 자료

• Web Scraper
• 웹 크롤링 자동화 시작하기
• 이지크립트 2.4

관련 프로그램

웨일온 스터디 | 네이버 웨일 다운로드

이지크립트 사이트 2.4 | 파일 암호화 복호화 풀기

네이버 메모 PC 버전 | 웨일 확장 앱 다운로드