반응형
SMALL

Database 14

[Big Data] 데이터 수집 및 전환

데이터 처리 기술 기술 설명 데이터 필터링 ☞ 정형 데이터는 사전 테스트를 통하여 오류 발견, 보정, 삭제, 중복성 검사와 같은 과정을 통해 필터링 ☞ 비정형 데이터는 데이터 마이닝에 자연어처리, 기계학습과 같은 추가 기술을 적용하여 오류 데이터, 중복 데이터와 같은 저품질 데이터를 필터링 ☞ 데이터 활용 목적에 맞지 않는 정보는 필터링하여 분석시간을 단축하고 저장 공간을 효율적으로 활용 데이터 변환 ☞ 다양한 형식으로 수집된 데이터를 분석이 쉽도록 일관성 있는 형식으로 변환 ☞ 데이터 변환에는 평활화, 집계, 일반화, 정규화, 속성 생성 기술을 사용 데이터 정제 ☞ 수집된 데이터의 불일치성을 교정하기 위한 방식으로 결측값(Missing Value) 처리, 잡은(Noise) 처리 기술 활용 데이터 통합 ..

Database 2020.10.25

[Big Data] 데이터 분석 계획

분석 방안 수립 1. 분석 로드맵 단계별로 추진하고자 하는 목표를 정확히 정의하고, 선·후행 단계를 고려해 단계별 추진내용을 정렬함 단계 추진과제 추진목표 데이터 분석체계 도입 ☞ 분석 기회 발굴 ☞ 분석 과제 정의 ☞ 로드맵 수집 ☞ 비즈니스 약점이 무엇인지 식별 ☞ 분석 과제를 정의하고 로드맵 수집 데이터 분석 유효성 검증 ☞ 분석 알고리즘 설계 ☞ 아키텍처 설계 ☞ 분석 과제 파일럿(Pilot) 수행 ※ 파일럿은 이미 검증된 기술을 가지고 본 프로젝트를 본격적으로 진행하기 전에 시험운영을 통해 효과를 미리 검토하고 문제점 여부를 점검하는 소규모 프로젝트를 말함 ☞ 분석 과제에 대한 파일럿 수행 ☞ 유효성, 타당성을 검증 ☞ 기술 실현 가능성을 검증 ☞ 분석 알고리즘 및 아키텍처 설계 데이터 분석 확..

Database 2020.10.23

[Big Data] 빅데이터 기술 및 제도

빅데이터 플랫폼(Bigdata Platform) 빅데이터에서 가치를 추출하기 위해 일련의 과정을 규격화한 기술을 의미함 특화된 분석을 지원하는 빅데이터 플랫폼이 발전하는 추세임 아래의 표와 같은 구성요소를 가짐 구성요소 주요기능 데이터 수집 ☞ 원천 데이터의 정형/반정형/비정형 데이터 수집 ☞ ETL, 크롤러(Crawler), EAI(Enterprise Architecture Integration) ※ 크롤러는 URL에 존재하는 HTML 문서에 접근하여 해당 내용을 추출하고, 문서에 포함된 하이퍼링크를 통해 재귀적으로 다른 문서에 접근하여 콘텐츠 수집을 반복하는 기술을 의미함 ※ EAI는 기업에서 운영하는 서로 다른 기종의 애플리케이션 및 시스템을 통합하는 솔루션을 의미함 데이터 저장 ☞ 정형/반정형/비..

Database 2020.10.21

[Big Data] 빅데이터 개요 및 활용

빅데이터 특징 빅데이터는 수십 테라바이트(TB) 이상의 정형 및 비정형 데이터 데이터로부터 가치를 추출하고 결과를 분석하는 의미로도 통용됨 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 Ackoff Russell Lincoln이 도식화한 DIKW 피라미드(아래의 그림 및 표 참고)로 표현할 수 있음 데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양의 데이터를 처리하기 어려울 때 빅데이터를 사용함 피라미드 요소 설명 데이터(Data) ☞ 객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호 ☞ 아직 특정의 목적에 대하여 평가되지 않은 상태의 단순한 여러 사실 정보(Information) ☞ 가공, 처리하여 데이터 간의 연관 관계와 함께 ..

Database 2020.10.20
반응형
LIST