본문 바로가기

유용한 서비스

웹크롤링, 파싱, 가공, 매크로 프로그램 개발관련 서비스 cchart.xyz

웹크롤링, 파싱, 가공, 매크로 프로그램 개발관련 서비스가 새롭게 오픈해서 소개해드릴게요.

사이트는 http://cchart.xyz 입니다.

 

cchart.xyz / 웹크롤링, 파싱, 가공 매크로 프로그램 개발 서비스

반복적인 웹크롤링, 파싱, 가공 매크로 프로그램 개발 서비스

cchart.xyz

 

실제 크롤링이라는 작업은 복잡한 것이죠. 간단하게 말하자면 인터넷에 있는 수많은 웹 페이지를 기계적으로 접근해서 해당 페이지의 정보를 읽고 수집하고 페이지에 있는 링크들에 접속해서 또 페이지의 정보를 읽고 수집하고 이런 것들을 반복하는 것이라고 할 수 있겠죠. https://ko.wikipedia.org/wiki/%EC%9B%B9_%ED%81%AC%EB%A1%A4%EB%9F%AC

 

웹 크롤러 - 위키백과, 우리 모두의 백과사전

위키백과, 우리 모두의 백과사전. 검색 엔진에 대해서는 웹크롤러 문서를 참조하십시오. 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 웹

ko.wikipedia.org

 

하지만 꼭 크롤링을 위와 같은 의미로 사용하지는 않는 것 같아요. 단순히 하나 혹은 여러 개의 웹 페이지에서 반복적으로 원하는 데이터를 수집하는 것을 의미하는 것으로도 쓰이거든요. "이런건 크롤링이 아니야" 라고 하는 전문IT종사자도 계시겠지만 아래에서는 단순한 의미의 크롤링, 그러니까 데이터 수집 정도로 사용합니다. 이런 이야기를 한 것은 아래에서 크롤링이라는 용어를 사용하기 전에 생각하는 바를 맞추기 위해서였어요. 

 

 

cchart.xyz는 웹크롤링, 파싱, 가공을 할 수 있는 프로그램을 개발을 할 수 있네요. 예를 들면 이런거죠.

 

 

1. 해외 온라인 쇼핑몰의 특정 상품들의 정보를 가져오고 싶을 때.

> 아마존, 이베이, 알리바바, 티몰 등에 있는 상품들을 국내 스마트스토어나 쿠팡, 위메프 같은 오픈마켓에 판매하고 싶으신 분들이 있는 것으로 알고 있어요. 그런 분들이 상품들을 하나씩 다 검색해서 정리하는 것이 힘들고 시간이 오래 걸리는 일이죠. 그런 것을 대신할 수 있는 프로그램을 만들어서 상품 정보를 수집하고 가공해서 판매자가 원하는 형태로 가공하는 것이 가능합니다. 

 

 

2. 주식 데이터 수집 자동화하고 싶을 때.

> 대부분은 HTS나 기타 툴 또는 어떤 웹사이트에서 주식 데이터를 비교적 손쉽게 보실 수 있죠. 연구를 위해서든 혹은 어디서도 내가 원하는 값을 볼 수 없어서 나만의 주식 데이터베이스를 구축하고 싶을 때, DART 사이트나 네이버증권 사이트에 접속해서 공시자료나 재무제표 값들을 하나씩 엑셀에 옮겨적을 수 있죠. 하지만 힘들고 시간이 오래 걸리는 일입니다. 그래서 그런 것들을 대신할 수 있는 스크립트 개발도 가능합니다. 이번 경우는 OpenAPI를 사용하는 방식이죠. 

 

 

3. SNS 관련 데이터를 크롤링하고 싶을 때

> 요즘은 많은 SNS가 있는데 SNS 데이터를 바탕으로 연구나 비즈니스에 활용하고 싶은 경우가 있죠. 특히 인플루언서를 선정하거나 그들이 미치는 영향 같은 것들이 중요해지고 있습니다. 이러한 배경에서 SNS 데이터를 수집하고 싶을 때 매번 수많은 인플루언서의 데이터를 시간을 들여 확인하는 것은 힘들고 시간이 오래 걸리는 일입니다. 인스타그램 혹은 유튜브 등의 SNS의 관련 정보를 수집하는 것도 가능합니다. 

 

 

4. 기타 등등

> 너무 많습니다. 각자의 요구사항이 있으니까요. 누군가는 어떤 게시판의 글을 수집해서 패턴을 파악해보고 싶을수도 있고요. 또 다른 누군가는 음악 관련 사이트의 랭킹을 반복적으로 수집해서 연구해보고 싶을 수도 있고요. 만약 무언가를 웹페이지에서 반복적으로 확인하고 있다면? 크롤링을 통해서 정제된 형태로 가공하는 것이 가능합니다. 그리 큰 비용이 들지 않고요.

 

 

관심있으시면 http://cchart.xyz 에서 더 자세한 내용을 확인해보세요.