GuruSa

데이터 적재 1. 데이터 적재 아키텍처 수립 (1) 아키텍처 정의 요구사항을 구현하기 위한 기반 기술을 정의하는 과정 요구사항을 반영하여 하드웨어와 소프트웨어 아키텍처를 정의하는데, 이는 정보시스템 개발, 테스트, 이관을 위한 기술적 기반이 됨 (2) 빅데이터 적재 아키텍처 요구 정의 ㉮ 장비 요구사항 정의 장비 규격 정의 설명 서버 장비 규격 정의 ☞ 주요 서버는 분산 처리를 위한 네임 노드(Name Node), 데이터 노드(Data Node), 데이터 분석을 위한 분석 서버, 원천 데이터 획득을 위한 수집 서버 등이 있음 네트워크 장비 규격 정의 ☞ 용도에 따라 라우터, 스위치 등으로 구성 ☞ 스토리지나 백업 장비를 위한 망 구성의 경우 SAN(Storage Area Network) 스위치 도입 고려..

빅데이터 플랫폼(Bigdata Platform) 빅데이터에서 가치를 추출하기 위해 일련의 과정을 규격화한 기술을 의미함 특화된 분석을 지원하는 빅데이터 플랫폼이 발전하는 추세임 아래의 표와 같은 구성요소를 가짐 구성요소 주요기능 데이터 수집 ☞ 원천 데이터의 정형/반정형/비정형 데이터 수집 ☞ ETL, 크롤러(Crawler), EAI(Enterprise Architecture Integration) ※ 크롤러는 URL에 존재하는 HTML 문서에 접근하여 해당 내용을 추출하고, 문서에 포함된 하이퍼링크를 통해 재귀적으로 다른 문서에 접근하여 콘텐츠 수집을 반복하는 기술을 의미함 ※ EAI는 기업에서 운영하는 서로 다른 기종의 애플리케이션 및 시스템을 통합하는 솔루션을 의미함 데이터 저장 ☞ 정형/반정형/비..