문의하기
SCRAPING STUDIO logo Ver 4.x

당신이 원하는 어떤 데이터도 수집이 가능합니다.

SCRAPING STUDIO는 웹 상의 방대한 데이터를 실시간으로 수집하여 다양한 산업군의 정보 분석, 인사이트 도출을 위한
검증된 강력한 빅데이터 수집 솔루션입니다. 지리적 위치나 언어에 대한 제약없이 높은 품질의 데이터를 수집할 수 있습니다.
# DeepWeb수집 # 소셜데이터수집 # VOC수집 # 시장및트렌드분석활용 # 수집데이터품질관리

SCRAPING STUDIO의 특별함

SCRAPING STUDIO는 분산처리 기술을 활용하여 방대한 데이터의 실시간 수집이 가능합니다.
일반 웹 뿐 아니라 딥 웹(DeepWeb), SNS 데이터를 수집하며, 수집데이터는 품질검증도구를 활용하여 이슈를 자동으로 감지하고 분류해 데이터 품질을 관리합니다.

Point 01

하이퍼스케일 데이터수집 아키텍처

Point 02

딥웹, 소셜데이터 자동 수집

Point 03

시나리오기반 데이터 수집 및 구조화

Point 04

수집데이터 품질 검증 도구

Point 05

사용자 디바이스를 이용한 데이터 수집

시스템 구성

SCRAPING STUDIO 시스템 구성

Core Technology 1

다양한 빅데이터 수집 기능

일반 웹부터 딥 웹까지, 문서부터 멀티미디어까지 다양한 수집기술

사용자가 필요로 하는 데이터 수집을 위해 시나리오, RSS, Open API 기반 등 다양한 방식의 수집 기술을 활용하여
일반 웹페이지 뿐만 아니라 전문자료, SNS, 로그인이 필요한 딥 웹 데이터, 텍스트와 멀티미디어까지 수집할 수 있습니다.
Tech 01

딥 웹(Deep Web)데이터 수집

학술자료나 논문 등 전문 사이트나 로그인이 필요한 딥 웹의 자료의 수집이 가능합니다.
Tech 02

소셜데이터 수집

페이스북, 링크드인, 유튜브, 트위터, 네이버 등 소셜리스닝에 필요한 다양한 소셜 데이터를 수집하고 수집대상 스케쥴링 및 상태 확인 기능을 제공합니다.
Tech 03

멀티미디어 데이터 수집

텍스트 데이터 뿐만 아니라 PDF, DOC, XLS등의 파일데이터와 이미지/영상 등의 멀티미디어 수집이 가능합니다.
Tech 04

메타검색 수집기

메타검색 수집기는 구글, 네이트, 네이버, 다음, 빙과 같은 유명 검색엔진의 검색결과를 활용해 전세계 최신 데이터를 수집합니다.

Core Technology 2

딥웹 스크래핑

사용자의 동적이벤트 기반의 데이터 수집 및 품질 검증

사용자의 마우스 클릭, 스크롤, 로그인 등 동적 이벤트 액션규칙 기반으로 데이터를 수집하고 사전 시뮬레이션을 통해 수집데이터의 품질을 평가, 검증할 수 있습니다. 검증된 데이터는 컨텐츠 파싱을 통해 직접 데이터베이스로 저장하여 데이터의 활용성을 높일 수 있습니다.
Tech 01

동적 생성 컨텐츠 수집 스크랩핑

로그인과 AJAX와 같은 동적생성 컨텐츠를 수집할 수 있는 기능을 제공하여 수시로 변경되는 최신 데이터의 수집이 가능합니다.
Tech 02

사용자 액션 수집 시뮬레이터

사용자의 마우스 클릭, 스크롤, 키보드 타이핑, 로그인 등 유저 액션 규칙을 적용한 시뮬레이션을 통해 수집이 가능합니다.
Tech 03

데이터 분석 및 DB변환

HTML방식이 아닌 컨텐츠 파싱(분석)을 통해 각각 데이터를 스크랩핑하여 데이터베이스로 직접 변환 할 수 있는 기능을 제공합니다.
Tech 04

사전 시뮬레이션을 통한 품질 평가

수집정책을 통해 수집된 데이터를 사전 시뮬레이션을 통해 품질을 평가, 검증 할 수 있는 기능을 제공합니다.

Core Technology 3

수집 품질관리 자동화

실시간 수집현황 모니터링 관리 대시보드를 통한 수집 데이터 이슈관리

데이터 수집 시 이상징후를 자동 감지하고 수집데이터의 오류 자동 디버깅 협업체계를 제공함으로써
수집데이터의 오류를 최소화하고 최적의 품질을 확보할 수 있습니다.
Tech 01

이상 징후 자동감지 및 통계관리

대시보드를 통해 데이터 수집현황을 실시간 모니터링하여 오류 자동 감지 및 수집 통계 등 통합적인 관리가 가능합니다.
Tech 02

수집 오류 관리 및 디버깅 협업체계

체계화된 오류 관리 프로세스를 통해 데이터 수집 중 발생한 각종 이슈를 추적하여 빠른 처리가 가능합니다.

Core Technology 4

Hybrid 초대규모 데이터 수집

고객 환경 맞춤형 3가지의 인프라 옵션 및 이슈대응 체계 마련

On Premise / Hybrid cloud / Multi cloud 3개의 인프라 옵션을 제공하여 고객 환경에 따른 맞춤형 구축이 가능하며,
중단 없는 데이터 수집을 위해 IP 차단, 오류 등과 같은 이슈 대응 체계를 갖추고 있습니다.
Tech 01

Cloud 기반 구축/운영

Kubernetes와 Docker를 사용해 Google, Amazon 클라우드 등 여러 클라우드 컴퓨팅 플랫폼에서 구축/운영이 용이합니다.
Tech 02

자동 부하관리 및 Auto-Scaleout

데이터 수집을 위한 인프라는 작업부하 상황에 따라 리소스를 자동으로 확장하거나 축소할 수 있습니다.
Tech 03

수집자원 자동 재배치

IP차단, 서버오류와 같은 이슈 발생 시 데이터 수집기를 자동으로 다른 서버로 배치해 오류를 최소화 합니다.

SCRAPING STUDIO TOOL

데이터 수집 프로젝트 생성과 데이터 수집 모니터링, 품질 관리를 위한 도구

주요 기능

데이터 수집
워크벤치

통합관리

시스템 모니터링 알림

데이터 수집 리포트 통계

데이터
품질 관리

데이터
소스관리

도구 소개

  • 데이터 추출 수집 워크벤치

    데이터 수집 규칙 생성

    • 데이터 수집을 위한 수집규칙 시각화 (규칙 기반 수집기)
    • 시뮬레이터는 유저가 웹서핑을 하는 것과 동일하게 시뮬레이션하는 동시에 데이터 수집
  • 데이터 수집 운영 통합 관리

    데이터 수집 프로젝트 관리 및 요청과 테스크 운영 관리

    • 데이터 추출 프로젝트 관리 수집 프로젝트 리스트 확인 신규 수집 프로젝트 생성
    • 데이터 수집 프로젝트 관리
    • 프로젝트별 수집 데이터 확인
    • 데이터 수집 테스크 관리 테스크 할당 및 선택, 리스트 확인
    • 데이터 수집 스케쥴링 1회 / 일간 / 주간 /월간 /커스텀
  • 시스템 모니터링 및 알림

    수집시스템, 데이터베이스 관리 및 모니터링, 알람

    • 데이터베이스 관리 리스트 데이터베이스 리스트 확인 데이터베이스 연결 설정 및 수정
    • 데이터베이스 모니터링 리스트 데이터베이스 리스트와 상태 확인 데이터베이스 연결 확인
    • 알람 설정 관리 새로운 알람 생성 이벤트 발생 시 알람 타입 설정
  • 데이터 수집 리포트 및 통계

    수집된 데이터 현황 및 통계 관리

    • 일자 별 데이터 수집 통계
    • 러닝타입별 상세 데이터 수집통계
    • 자동 이메일 리포트 발송
  • 데이터 품질 관리

    이슈 추적 및 협업을 통한 데이터 품질관리

    • 수집 중 자주 발생하는 수집 오류/수집 대상 사이트 변화에 대한 자동 확인/리포팅
    • 이슈현황에 대한 Overview
    • 담당자 배정, 협업을 통한 이슈관리 프로세스
    • 이슈 추적 및 해결 현황 리스트 관리

Success Story

  • 대한민국 국방부

    이미지 없음

    외부 데이터 수집

    국방IT 융합기술 및 이상징후 분석

    사업개요
    미국, 러시아, 중국, 북한 등의 나라로부터 검색되지 않는 딥웹 기반의 데이터를 수집, 정제하고 실시간 분석 체계 제공
    도입효과
    수집된 데이터 기반의 추론과 예측 기술로 국방 및 안보 분야의 위기감지 및 조기대응
  • 현대자동차

    외부 데이터 수집

    대규모 글로벌 멀티채널 데이터 수집

    사업개요
    고객 니즈 분석 및 실시간 리스크 모니터링을 위해 전세계 1500개가 넘는 다양한 채널에 대한 On-Demand 데이터 수집
    도입효과
    멀티 채널 외부 데이터를 활용한 적극적 마켓 센싱으로 고객 만족도 향상 및 시장 경쟁력 강화
  • KB국민은행

    외부 데이터 수집

    시장경쟁력 확보를 위한 상품정보, 금융정보 수집 제공

    사업개요
    국내 금융사이트의 상품정보 및 금리정보 등 금융 상품 관련 데이터 수집
    도입효과
    금융 상품 관련 데이터를 활용한 타 금융사 상품 비교 및 시장 경쟁력 강화

Reference

헌법재판소

데이터 수집

지속적인 법령정보 수집,
최신의 판례 및 법령정보 제공

한국문화정보원

데이터 수집

문체부 및 각 부처 문화관련정보 및 민간문화 정보 수집 제공

대한무역투자진흥공사

데이터 수집

대외경제 수출입 정보 제공 통합플랫폼 구축

한국무역협회

데이터 수집

각 기관별 무역지원사업 데이터를 수집, 분석을 통한 정보 제공

국토교통부

데이터 수집

소셜데이터 수집
공간빅데이터 분석 정보 제공

해양수산부 중앙해양안전심판원

데이터 수집

해양안전, 사고 관련
대국민정보제공시스템 구축

한국전력공사

데이터 수집

전력 관련 소셜데이터 수집 및 분석

식품의약품안전처

데이터 수집

식품사고 위해 예측 기반
빅데이터 수집

Contact US

솔트룩스는 다양한 AI기술로 고객과 연결되어 새로운 가치를 만들고
비즈니스 경쟁력을 강화합니다. 함께 하시겠습니까?

무엇이든 물어보세요

인공지능, 당신의 사업에 지능이 됩니다.

문의하기

솔트룩스 뉴스레터

솔트룩스와 인공지능 정보를 보내드립니다.

구독하기