Ver 4.x
당신이 원하는 어떤 데이터도 수집이 가능합니다.
SCRAPING STUDIO는 웹 상의 방대한 데이터를 실시간으로 수집하여 다양한 산업군의 정보 분석, 인사이트 도출을 위한검증된 강력한 빅데이터 수집 솔루션입니다. 지리적 위치나 언어에 대한 제약없이 높은 품질의 데이터를 수집할 수 있습니다.
SCRAPING STUDIO의 특별함
SCRAPING STUDIO는 분산처리 기술을 활용하여 방대한 데이터의 실시간 수집이 가능합니다.
일반 웹 뿐 아니라 딥 웹(DeepWeb), SNS 데이터를 수집하며, 수집데이터는 품질검증도구를 활용하여 이슈를 자동으로 감지하고 분류해 데이터 품질을 관리합니다.
하이퍼스케일 데이터수집 아키텍처
딥웹, 소셜데이터 자동 수집
시나리오기반 데이터 수집 및 구조화
수집데이터 품질 검증 도구
사용자 디바이스를 이용한 데이터 수집
시스템 구성
Core Technology 1
다양한 빅데이터 수집 기능
일반 웹부터 딥 웹까지, 문서부터 멀티미디어까지 다양한 수집기술
사용자가 필요로 하는 데이터 수집을 위해 시나리오, RSS, Open API 기반 등 다양한 방식의 수집 기술을 활용하여일반 웹페이지 뿐만 아니라 전문자료, SNS, 로그인이 필요한 딥 웹 데이터, 텍스트와 멀티미디어까지 수집할 수 있습니다.
-
Tech 01
-
딥 웹(Deep Web)데이터 수집
학술자료나 논문 등 전문 사이트나 로그인이 필요한 딥 웹의 자료의 수집이 가능합니다.
-
Tech 02
-
소셜데이터 수집
페이스북, 링크드인, 유튜브, 트위터, 네이버 등 소셜리스닝에 필요한 다양한 소셜 데이터를 수집하고 수집대상 스케쥴링 및 상태 확인 기능을 제공합니다.
-
Tech 03
-
멀티미디어 데이터 수집
텍스트 데이터 뿐만 아니라 PDF, DOC, XLS등의 파일데이터와 이미지/영상 등의 멀티미디어 수집이 가능합니다.
-
Tech 04
-
메타검색 수집기
메타검색 수집기는 구글, 네이트, 네이버, 다음, 빙과 같은 유명 검색엔진의 검색결과를 활용해 전세계 최신 데이터를 수집합니다.
Core Technology 2
딥웹 스크래핑
사용자의 동적이벤트 기반의 데이터 수집 및 품질 검증
사용자의 마우스 클릭, 스크롤, 로그인 등 동적 이벤트 액션규칙 기반으로 데이터를 수집하고 사전 시뮬레이션을 통해 수집데이터의 품질을 평가, 검증할 수 있습니다. 검증된 데이터는 컨텐츠 파싱을 통해 직접 데이터베이스로 저장하여 데이터의 활용성을 높일 수 있습니다.-
Tech 01
-
동적 생성 컨텐츠 수집 스크랩핑
로그인과 AJAX와 같은 동적생성 컨텐츠를 수집할 수 있는 기능을 제공하여 수시로 변경되는 최신 데이터의 수집이 가능합니다.
-
Tech 02
-
사용자 액션 수집 시뮬레이터
사용자의 마우스 클릭, 스크롤, 키보드 타이핑, 로그인 등 유저 액션 규칙을 적용한 시뮬레이션을 통해 수집이 가능합니다.
-
Tech 03
-
데이터 분석 및 DB변환
HTML방식이 아닌 컨텐츠 파싱(분석)을 통해 각각 데이터를 스크랩핑하여 데이터베이스로 직접 변환 할 수 있는 기능을 제공합니다.
-
Tech 04
-
사전 시뮬레이션을 통한 품질 평가
수집정책을 통해 수집된 데이터를 사전 시뮬레이션을 통해 품질을 평가, 검증 할 수 있는 기능을 제공합니다.
Core Technology 3
수집 품질관리 자동화
실시간 수집현황 모니터링 관리 대시보드를 통한 수집 데이터 이슈관리
데이터 수집 시 이상징후를 자동 감지하고 수집데이터의 오류 자동 디버깅 협업체계를 제공함으로써수집데이터의 오류를 최소화하고 최적의 품질을 확보할 수 있습니다.
-
Tech 01
-
이상 징후 자동감지 및 통계관리
대시보드를 통해 데이터 수집현황을 실시간 모니터링하여 오류 자동 감지 및 수집 통계 등 통합적인 관리가 가능합니다.
-
Tech 02
-
수집 오류 관리 및 디버깅 협업체계
체계화된 오류 관리 프로세스를 통해 데이터 수집 중 발생한 각종 이슈를 추적하여 빠른 처리가 가능합니다.
Core Technology 4
Hybrid 초대규모 데이터 수집
고객 환경 맞춤형 3가지의 인프라 옵션 및 이슈대응 체계 마련
On Premise / Hybrid cloud / Multi cloud 3개의 인프라 옵션을 제공하여 고객 환경에 따른 맞춤형 구축이 가능하며,중단 없는 데이터 수집을 위해 IP 차단, 오류 등과 같은 이슈 대응 체계를 갖추고 있습니다.
-
Tech 01
-
Cloud 기반 구축/운영
Kubernetes와 Docker를 사용해 Google, Amazon 클라우드 등 여러 클라우드 컴퓨팅 플랫폼에서 구축/운영이 용이합니다.
-
Tech 02
-
자동 부하관리 및 Auto-Scaleout
데이터 수집을 위한 인프라는 작업부하 상황에 따라 리소스를 자동으로 확장하거나 축소할 수 있습니다.
-
Tech 03
-
수집자원 자동 재배치
IP차단, 서버오류와 같은 이슈 발생 시 데이터 수집기를 자동으로 다른 서버로 배치해 오류를 최소화 합니다.
SCRAPING STUDIO TOOL
데이터 수집 프로젝트 생성과 데이터 수집 모니터링, 품질 관리를 위한 도구
주요 기능
데이터 수집
워크벤치
통합관리
시스템 모니터링 알림
데이터 수집 리포트 통계
데이터
품질 관리
데이터
소스관리
도구 소개
-
데이터 추출 수집 워크벤치
데이터 수집 규칙 생성
- 데이터 수집을 위한 수집규칙 시각화 (규칙 기반 수집기)
- 시뮬레이터는 유저가 웹서핑을 하는 것과 동일하게 시뮬레이션하는 동시에 데이터 수집
-
데이터 수집 운영 통합 관리
데이터 수집 프로젝트 관리 및 요청과 테스크 운영 관리
- 데이터 추출 프로젝트 관리 수집 프로젝트 리스트 확인 신규 수집 프로젝트 생성
- 데이터 수집 프로젝트 관리
- 프로젝트별 수집 데이터 확인
- 데이터 수집 테스크 관리 테스크 할당 및 선택, 리스트 확인
- 데이터 수집 스케쥴링 1회 / 일간 / 주간 /월간 /커스텀
-
시스템 모니터링 및 알림
수집시스템, 데이터베이스 관리 및 모니터링, 알람
- 데이터베이스 관리 리스트 데이터베이스 리스트 확인 데이터베이스 연결 설정 및 수정
- 데이터베이스 모니터링 리스트 데이터베이스 리스트와 상태 확인 데이터베이스 연결 확인
- 알람 설정 관리 새로운 알람 생성 이벤트 발생 시 알람 타입 설정
-
데이터 수집 리포트 및 통계
수집된 데이터 현황 및 통계 관리
- 일자 별 데이터 수집 통계
- 러닝타입별 상세 데이터 수집통계
- 자동 이메일 리포트 발송
-
데이터 품질 관리
이슈 추적 및 협업을 통한 데이터 품질관리
- 수집 중 자주 발생하는 수집 오류/수집 대상 사이트 변화에 대한 자동 확인/리포팅
- 이슈현황에 대한 Overview
- 담당자 배정, 협업을 통한 이슈관리 프로세스
- 이슈 추적 및 해결 현황 리스트 관리
Success Story
-
외부 데이터 수집
국방IT 융합기술 및 이상징후 분석
- 사업개요
- 미국, 러시아, 중국, 북한 등의 나라로부터 검색되지 않는 딥웹 기반의 데이터를 수집, 정제하고 실시간 분석 체계 제공
- 도입효과
- 수집된 데이터 기반의 추론과 예측 기술로 국방 및 안보 분야의 위기감지 및 조기대응
-
외부 데이터 수집
대규모 글로벌 멀티채널 데이터 수집
- 사업개요
- 고객 니즈 분석 및 실시간 리스크 모니터링을 위해 전세계 1500개가 넘는 다양한 채널에 대한 On-Demand 데이터 수집
- 도입효과
- 멀티 채널 외부 데이터를 활용한 적극적 마켓 센싱으로 고객 만족도 향상 및 시장 경쟁력 강화
-
외부 데이터 수집
시장경쟁력 확보를 위한 상품정보, 금융정보 수집 제공
- 사업개요
- 국내 금융사이트의 상품정보 및 금리정보 등 금융 상품 관련 데이터 수집
- 도입효과
- 금융 상품 관련 데이터를 활용한 타 금융사 상품 비교 및 시장 경쟁력 강화
Reference
데이터 수집
지속적인 법령정보 수집,
최신의 판례 및 법령정보 제공
데이터 수집
문체부 및 각 부처 문화관련정보 및 민간문화 정보 수집 제공
데이터 수집
대외경제 수출입 정보 제공 통합플랫폼 구축
데이터 수집
각 기관별 무역지원사업 데이터를 수집, 분석을 통한 정보 제공
데이터 수집
소셜데이터 수집
공간빅데이터 분석 정보 제공
데이터 수집
해양안전, 사고 관련
대국민정보제공시스템 구축
데이터 수집
전력 관련 소셜데이터 수집 및 분석
데이터 수집
식품사고 위해 예측 기반
빅데이터 수집