GuruSa

성능 개선 목표 처리 능력(Throughput) 해당 작업을 수행하기 위해서 소요되는 시간 처리 능력 = 트랜잭션 수 / 시간 처리 시간(Throught Time) 처리 시간은 작업이 완료되는 데 소요되는 시간을 의미함 배치 프로그램의 성능 목표로 설정하며 배치 작업의 수행 시간을 단축하기 위해서는 아래와 같은 작업을 고려함 병행 처리(Parallel Processing)를 실시 인덱스 스캔보다 Full 테이블 스캔으로 처리 Nest-Loop 조인보다 Hash 조인으로 처리 대량 작업을 하기 위한 SORT_AREA, HASH_AREA의 메모리를 확보 병목을 없애기 위한 작업 계획 파티션 생성 응답 시간(Response Time) 사용자의 입력 후 시스템이 응답할 때까지 시간으로 최종 사용자가 느끼는 시스..

데이터 품질 관리 프레임워크 정보 시스템의 범위가 확대되고 복잡도가 증가함에 따라 정확성, 일관성, 적시성 등과 같은 데이터 품질이 중요해짐 데이터 품질 관리 프레임워크 상의 대상은 데이터, 데이터 구조, 데이터 관리 프로세스로 분류할 수 있음 데이터는 기관 및 기업의 비전이나 목표를 달성하기 위해 사용되는 전산화된 데이터 또는 전산화에 필요한 데이터를 의미함 데이터 구조는 데이터가 담겨 있는 모양, 틀로써 데이터를 취급하는 관점에 따라 구조가 달라지며 사용자 뷰, 모델, DB파일의 형태로 보여짐 데이터 관리 프로세스는 데이터 및 데이터 구조의 품질을 안정적으로 유지, 개선하기 위한 활동으로 절차, 조직, 인력 등을 포함함 데이터 관리 정책 구분 설명 데이터 관리 원칙 ☞ 데이터의 효과적인 확보, 유지,..

함수 종속성(Functional Dependency) 데이터들이 어떤 기준값에 의해 항상 종속되는 현상 Attribute X의 값 각각에 대해 Attribute Y의 값이 하나만 연관되면 "Y는 X에 함수적으로 종속된다" 또는 "X는 Y를 함수적으로 결정한다"라고 정의하고 X→Y로 표기하며 X는 결정자, Y는 종속자를 의미함 각 데이터를 종속된 테이블에 배치하여 데이터의 반복을 차단할 수 있고, 이상 현상 제거 시에 데이터의 정합성을 유지하는 역할을 함 함수 종속 다이어그램(Functional Dependency Diagram) 속성 간의 함수 종속 관계를 도식으로 표현하는 것 함수 종속성의 유형 1) 완전 함수 종속(Full Functional Dependency) X'⊂X 이고 X'→Y를 만족하는 A..

ER Model은 1976년 ER모델에 대한 Peter Chen의 논문에 의해 발표되고 미국 산업 표준으로 채택되었으며 시스템 개발의 최고의 기법이며 데이터베이스 설계를 위한 최고의 방법론으로 선정되었습니다. 현장에서는 이 모델링 기법보다는 IE(Information Engineering) 기법이 적용되고 있습니다. 엔터티(Entity) 업무에 필요하고 유용한 정보를 저장하고 관리하기 위한 집합적인 것 반드시 해당 업무에서 필요하고 관리하고자 하는 정보이어야 함 유일한 식별자에 의해 식별이 가능해야 함 영속적으로 존재하는 인스턴스의 집합이어야 함 업무 프로세스에 의해 이용되어야 함 반드시 속성이 있어야 함 다른 엔터티와 최소 한 개 이상의 관계가 있어야 함 엔터티의 분류 유무형에 따른 분류 유형 엔터티 ..

데이터는 비즈니스 가치를 극대화 시키는 핵심엔진이며 데이터를 분석하면 그 안에서 이전에 예측하지 못했던 새로운 통찰력(Insight)를 얻을 수 있습니다. 데이터베이스 없이 종이 혹은 파일에 기록할 때는 동일한 데이터라도 실시간 공유할 수 있는 것이 한정적이므로 데이터가 중복되어 저장될 수 밖에 없었지만 데이터베이스는 이렇게 중복된 데이터를 한 군데 집약시켜서 중복을 배제한 상태에서 관리합니다. 위의 그림은 데이터베이스 정의를 구성하는 4가지 요소입니다 1. 통합된 데이터(Integrated Data) 데이터가 원칙적으로 중복되어 있지 않다는 것을 의미 최소의 중복(Minimal Redundancy)이나 통제된 중복(Controlled Redundancy) 2. 저장된 데이터(Stored Data) 컴퓨..

데이터 적재 1. 데이터 적재 아키텍처 수립 (1) 아키텍처 정의 요구사항을 구현하기 위한 기반 기술을 정의하는 과정 요구사항을 반영하여 하드웨어와 소프트웨어 아키텍처를 정의하는데, 이는 정보시스템 개발, 테스트, 이관을 위한 기술적 기반이 됨 (2) 빅데이터 적재 아키텍처 요구 정의 ㉮ 장비 요구사항 정의 장비 규격 정의 설명 서버 장비 규격 정의 ☞ 주요 서버는 분산 처리를 위한 네임 노드(Name Node), 데이터 노드(Data Node), 데이터 분석을 위한 분석 서버, 원천 데이터 획득을 위한 수집 서버 등이 있음 네트워크 장비 규격 정의 ☞ 용도에 따라 라우터, 스위치 등으로 구성 ☞ 스토리지나 백업 장비를 위한 망 구성의 경우 SAN(Storage Area Network) 스위치 도입 고려..

데이터 처리 기술 기술 설명 데이터 필터링 ☞ 정형 데이터는 사전 테스트를 통하여 오류 발견, 보정, 삭제, 중복성 검사와 같은 과정을 통해 필터링 ☞ 비정형 데이터는 데이터 마이닝에 자연어처리, 기계학습과 같은 추가 기술을 적용하여 오류 데이터, 중복 데이터와 같은 저품질 데이터를 필터링 ☞ 데이터 활용 목적에 맞지 않는 정보는 필터링하여 분석시간을 단축하고 저장 공간을 효율적으로 활용 데이터 변환 ☞ 다양한 형식으로 수집된 데이터를 분석이 쉽도록 일관성 있는 형식으로 변환 ☞ 데이터 변환에는 평활화, 집계, 일반화, 정규화, 속성 생성 기술을 사용 데이터 정제 ☞ 수집된 데이터의 불일치성을 교정하기 위한 방식으로 결측값(Missing Value) 처리, 잡은(Noise) 처리 기술 활용 데이터 통합 ..

분석 방안 수립 1. 분석 로드맵 단계별로 추진하고자 하는 목표를 정확히 정의하고, 선·후행 단계를 고려해 단계별 추진내용을 정렬함 단계 추진과제 추진목표 데이터 분석체계 도입 ☞ 분석 기회 발굴 ☞ 분석 과제 정의 ☞ 로드맵 수집 ☞ 비즈니스 약점이 무엇인지 식별 ☞ 분석 과제를 정의하고 로드맵 수집 데이터 분석 유효성 검증 ☞ 분석 알고리즘 설계 ☞ 아키텍처 설계 ☞ 분석 과제 파일럿(Pilot) 수행 ※ 파일럿은 이미 검증된 기술을 가지고 본 프로젝트를 본격적으로 진행하기 전에 시험운영을 통해 효과를 미리 검토하고 문제점 여부를 점검하는 소규모 프로젝트를 말함 ☞ 분석 과제에 대한 파일럿 수행 ☞ 유효성, 타당성을 검증 ☞ 기술 실현 가능성을 검증 ☞ 분석 알고리즘 및 아키텍처 설계 데이터 분석 확..

빅데이터 플랫폼(Bigdata Platform) 빅데이터에서 가치를 추출하기 위해 일련의 과정을 규격화한 기술을 의미함 특화된 분석을 지원하는 빅데이터 플랫폼이 발전하는 추세임 아래의 표와 같은 구성요소를 가짐 구성요소 주요기능 데이터 수집 ☞ 원천 데이터의 정형/반정형/비정형 데이터 수집 ☞ ETL, 크롤러(Crawler), EAI(Enterprise Architecture Integration) ※ 크롤러는 URL에 존재하는 HTML 문서에 접근하여 해당 내용을 추출하고, 문서에 포함된 하이퍼링크를 통해 재귀적으로 다른 문서에 접근하여 콘텐츠 수집을 반복하는 기술을 의미함 ※ EAI는 기업에서 운영하는 서로 다른 기종의 애플리케이션 및 시스템을 통합하는 솔루션을 의미함 데이터 저장 ☞ 정형/반정형/비..

빅데이터 특징 빅데이터는 수십 테라바이트(TB) 이상의 정형 및 비정형 데이터 데이터로부터 가치를 추출하고 결과를 분석하는 의미로도 통용됨 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 Ackoff Russell Lincoln이 도식화한 DIKW 피라미드(아래의 그림 및 표 참고)로 표현할 수 있음 데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양의 데이터를 처리하기 어려울 때 빅데이터를 사용함 피라미드 요소 설명 데이터(Data) ☞ 객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호 ☞ 아직 특정의 목적에 대하여 평가되지 않은 상태의 단순한 여러 사실 정보(Information) ☞ 가공, 처리하여 데이터 간의 연관 관계와 함께 ..