빅데이터 요소 기술

빅데인터 요소 기술은 한국정보화진흥원의 분류에 따라 빅데이터 수집, 저장, 공유, 처리, 분석 및 시각화로 구분된다. 

 

- 수집 

• 데이터 원천으로부터 데이터를 검색하여 수동 또는 자동으로 수집
• 단순 수집이 아닌 검색, 수집 변환 과정 포함
• ETL 작업 수행
• 크롤링, 로그 수집기, 센싱, Open API 등

- 저장

• 데이터 크기에 상관 없이 저렴한 비용으로, 데이터를 빠르고 쉽게 저장
• 병렬 DBMS, Hadoop, Nosql 등

- 공유

• 시스템 간의 데이터 공유, Multitenanat 데이터 공유, 협업 필터링 등

- 처리

• 대용량 데이터 저장, 수집, 관리, 유통, 분석 과정 처리
• 분산병렬, 실시간, 인-메모리(In - Memory, 메인 메모리 데이터 저장) 처리 등

- 분석

• 데이터를 효율적이고 정확하게 분석하여 비즈니스 등의 영역에 적용
• 통계분석, 데이터마이닝, 텍스트마이닝, 최적화 분석 등

- 시각화 

• 다양한 차드와 관계 등을 시각화하여 데이터 탐색 및 결과해석 등에 활용
• 정보 시각화 기술, 시각화 도구, 편집 기술
• 실시간 자료 묘사(시각화) 기술 등

출처 : 빅데이터분석기사 필기 한권으로 끝내기