데싸(Data Science) 노트

※ 출처 * Michael A. Wirth, 2004. Shape Analysis & Measurement. 형상 분석과 측정 * 형상 측정의 목표 - 개체의 형상을 특징짓는 물리적 치수 측정 (형상의 정량화/특성화) - 개체를 명확하게 구분하는 데에 필요한 최소한의 형상 특징을 측정 * 형상 측정의 성능 - 원본 이미지의 품질과 적절한 전처리 과정과 관련 . 원본 이미지의 품질 저하 : 이미지의 노이즈로 인해 형상 측정 결과가 좋지 않을 수 있음 * 형상 정보의 특징 . 형상 정보는 개체의 위치, 방향, 크기를 추출한 후에도 유지되는 정보 ※ 자주 쓰이는 용어 * 경계 박스(Bounding Box) - 개체를 둘러싸는 직사각형 * 볼록 껍질(Convex Hull) - 개체를 포함하는 가장 작은 볼록 도..

※ 출처 [빅데이터분석기사 필기] 오답 개념정리 | Part 1. 빅데이터 분석 기획 Chapter 1. 빅데이터의 이해 - SETION 01 | 빅데이터 개요 및 활용 더보기 다음 중 지식창조 매커니즘의 단계가 아닌 것은? ① 표출화(Externalization) ② 내면화(Internalization) ③ 통합화(Integration) ④ 공통화(Socia hyunsitstory.tistory.com [데이터 이해] 05. 빅데이터의 위기요인과 통제방안 05. 빅데이터의 위기요인과 통제방안 1. 빅데이터의 위기요인과 해결방안 사생활 침해 • 동의제에서 책임제로 전환 • 특정 데이터가 본래 목적 외에 가공 처리되어 2차, 3차적 목적으로 활용 책 digital-play.tist..

※ 출처 [빅데이터 분석기사] [1-2]빅데이터의 이해 - 빅데이터 기술 및 제도 ▶빅데이터 플랫폼 : 빅데이터 플랫폼은 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경 1)빅데이터 플랫폼의 등장배경 비 ssonj11.tistory.com 빅데이터 플랫폼의 등장배경 비즈니스 요구사항 변화 - 장기적이고 전략적인 접근 필요 - 클라우드 컴퓨팅 기반의 분석환경 등장 데이터 규모와 처리 복잡도 증가 - 분석 처리가 불가피하며 이를 제어할 수 있는 고도의 기술 필요 데이터 구조의 변화와 신속성 요구 - 실시간 처리에 대한 요구 증대 - 비정형 데이터 증가 데이터 분석 유연성 증대 - 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석 가능

※ 출처 [빅데이터분석기사/필기] 1-3-2. 데이터 적재 및 저장 01. 데이터 적재 1) 데이터 수집 및 적재 연계 (1) 데이터 수집 도구를 이용한 데이터 적재 (2) NoSQL DBMS가 제공하는 도구를 이용한 데이터 적재 (3) 관계형 DBMS의 데이터를 NoSQL DBMS에서 적재 2) 데이터 jinsiri.tistory.com 빅데이터분석기사 필기 1일차 -2 Part01 빅데이터 분석 기획 Chapter01 빅데이터의 이해 Section01 빅데이터 개요 및 활용 1) 데이터베이스의 정의 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물 복수 이용 dltpgh7060.tistory.com 데이터 적재 완료 테스트 정형 데이터 - 테이블의 개수 - 속성의 개수 - 레..

※ 출처 [빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 02. 데이터 분석 계획 빅데이터분석기사 필기 요약 🔑 분석문제/ 하향식 접근방식/ 상향식 접근방식/ 디자인사고/ 빅데이터 분석 방법론/ KDD/ CRISP-DM/ SEMMA I. 빅데이터 분석 기획 02. 데이터 분석 계획 1. 분석 방안 수립 sy-log.tistory.com [1과목] 데이터분석계획 - 계층적 프로세스 모델구성 네이버 카페 "이기적스터디카페" 빅데이터 분석기사 - 핵심 요약집을 참고하였습니다. 정확한 내용은 아래 링크를 참고하세요. https://cafe.naver.com/yjbooks/8049 [1과목] 데이터 분석기획- 계층적 프로 amaze9001.tistory.com ADsP 3-1. 데이터 분석 기획의 이해 ..

※ 출처 [빅데이터 분석기사] [1-5]데이터 수집 및 저장 계획 - 데이터 수집 및 전환 ▶데이터 수집 :데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것이다. 1)비즈니스 도메인과 원천 데이터 정보 수집 비즈니스 도메인 정 ssonj11.tistory.com [빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 03. 데이터 수집 및 저장 계획 (2) 빅데이터분석기사 필기 요약 🔑 데이터 속성/ 데이터 측정 척도/ 명목척도/ 순서척도/ 등간척도/ 비율척도/ 데이터 변환/ 평활화/ 집계/ 일반화/ 정규화 I. 빅데이터 분석 기획 03. 데이터 수집 및 sy-log.tistory.com 비즈니스 도메인 정보 - 비즈니스 모델, 비즈니스 용어집, 비즈..

※ 출처 [ADsP 2과목] 분석 마스터 플랜 정리 part 1 - 마스터 플랜 수립 프레임 워크 차례 1. 마스터플랜 수립 개요 1.1. 우선순위 고려요소 & 적용범위/ 방식 고려요소 1.2. ISP(Information Strategy Planning) : 정보전략계획 1.3. 분석 마스터플랜 2. 수행 과제 도출 및 우선순위 평가 2.1. 일반 hyunsitstory.tistory.com [빅데이터분석기사] 분석 방안 수립, 분석 마스터 플랜과 로드맵 설정 1. 분석 마스터 플랜 분석 마스터 플랜 시 일반적인 정보전략계획 방법론을 활용할 수 있다. 다만 데이터 분석 기획의 특성을 고려하여 수행하여야 한다. 과제 도출 방법을 활용하여 데이터 분석 mystock-note.tistory.com 분석 마스..

※ 출처 [빅데이터 분석기사] [1-1]빅데이터의 이해 - 빅데이터 개요 및 활용 ▶빅데이터 개요 및 활용 1)데이터의 정의 데이터는 추론과 추정의 근거를 이루는 사실 현실 세계에서 관찰하거나 측정하여 수집한 사실 2)데이터의 특징 단순한 객체로도 가치가 있으며 다른 ssonj11.tistory.com 데이터 산업의 진화 - 데이터 처리 → 통합 → 분석 → 연결 → 권리 시대로 진화 데이터 처리 시대 - 프로그래밍 언어 사용 - EDPS (Electronic Data Processing System; 전자적 데이터 처리 시스템) 도입 - 새로운 가치 제공 어려움 데이터 통합 시대 - 데이터모델링과 데이터베이스 관리시스템 등장 - 데이터 웨어하우스 도입 - 전사적 데이터 일관성 확보 어려움 데이터 분석 ..

이번 포스팅에서는 파이썬 Dask DataFrame을 활용한 간단한 예제를 다뤄보도록 하겠습니다. 목차¶ Dask DataFrame Dask 클라이언트 난수 데이터프레임 생성 Dask에서 Pandas 기능 사용하기 메모리에 데이터 유지 시계열 작업 인덱스 설정 그룹별 함수 적용하기 Dask DataFrame¶ Dask DataFrame은 위의 그림처럼 인덱스를 따라 분할된 여러 Pandas 데이터프레임으로 구성되어 있습니다. 따라서, Dask DataFrame은 Pandas API가 갖고있는 기능들을 지원합니다. Dask 클라이언트¶ Dask 클라이언트(client)는 필요에 따라 실행해도 되고, 실행하지 않아도 됩니다. Dask 클라이언트는 연산 작업 현황에 대한 정보를 얻는데 유용한 대시보드(dash..

이번 포스팅에서는 파이썬 Dask Bag를 활용한 간단한 예제를 다뤄보도록 하겠습니다. 목차¶ Dask Bag Dask 클라이언트 JSON 데이터 읽기 Map, Filter, Aggregate 변환 및 저장 Dask Bag¶ Dask Bag은 map, filter, groupby, 그 외 집계 작업처럼 파이썬 컬렉션 객체에 대해 수행할 수 있는 여러 작업들을 구현해놓았습니다. 이 작업들을 수행하기 위해 Python 반복자(iterators)를 사용하여, 적은 메모리에서도 병렬 작업을 수행합니다. 이러한 점은 병렬 버전의 Itertools 또는 PySpark RDD와 유사합니다. 특히 로그 파일, JSON records, 사용자 정의 Python 객체에 대해 간단한 전처리를 수행하는 데에 이 Dask Ba..