빅데이터 요소 기술
빅데인터 요소 기술은 한국정보화진흥원의 분류에 따라 빅데이터 수집, 저장, 공유, 처리, 분석 및 시각화로 구분된다. - 수집 데이터 원천으로부터 데이터를 검색하여 수동 또는 자동으로 수집 단순 수집이 아닌 검색, 수집 변환 과정 포함 ETL 작업 수행 크롤링, 로그 수집기, 센싱, Open API 등 - 저장 데이터 크기에 상관 없이 저렴한 비용으로, 데이터를 빠르고 쉽게 저장 병렬 DBMS, Hadoop, Nosql 등 - 공유 시스템 간의 데이터 공유, Multitenanat 데이터 공유, 협업 필터링 등 - 처리 대용량 데이터 저장, 수집, 관리, 유통, 분석 과정 처리 분산병렬, 실시간, 인-메모리(In - Memory, 메인 메모리 데이터 저장) 처리 등 - 분석 데이터를 효율적이고 정확하게 ..
"Big" 데이터 란
1. 빅데이터(Big data) 정의 - 기존 데이터베이스 관리 도구 능력을 넘어서는 대량( 수십 테라베이트, Terabyte)의 정형 또는 데이터베이스 형태가 아닌 비정형의 데이터( 텍스트 , 비디오, 사진 등 ) 집합까지 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술( 빅데이터 분석 및 시각화 기술도 포함한 개념으로 이해 ) 2. 빅데이터의 특징 - Volume( 규모의 증가 ) → IT 서비스의 일상화로 디지털 정보량의 증가 → 데이터 집합의 크기가 Terabyte 에서 Petabyte로 증가 → 데이터 수집, 관리 , 처리 소프트웨어의 수용 한계를 넘음 - Variety( 다양성 ) → 로그, SNS, 위치, 구매, IoT 데이터 등 데이터 종류의 증가 → 텍스트, 멀티미디어 등 비정형..