클라이밍하는 개발자

📦 압축률 (Compression Ratio)일반적으로 90~95% 감소 (원본 대비 5~10% 크기)가 대표적입니다.사례 유형 원본 크기 압축 후 크기 압축률금융 틱 데이터5694 MB75 MB89% ↓IoT 센서 데이터1100 GB~5-10 GB90-95% ↓시계열 로그 데이터71 TB~50-100 GB90-95% ↓핵심 메커니즘:컬럼 기반 압축(Array 형식 저장) + 중복 제거segmentby(그룹화 컬럼)와 orderby(정렬 컬럼) 설정에 따라 효율성 차이5⚡ 조회 성능 향상시간 기반 청크(Chunk) 사용 시 50~90% 쿼리 시간 단축이 일반적입니다. 주요 요인별 개선 효과:1. 시간 필터 쿼리SELECT * FROM sensor_data WHERE time >= NOW() - INTE..

✅ 1. 청크(Chunk)의 개념과 "물리적인 데이터 분리"🔹 청크란?하나의 큰 테이블 데이터를 시간/범위 기준으로 나누어 저장한 작은 단위주로 TimescaleDB와 같은 확장 모듈에서 사용예: test라는 테이블이 있다고 하면, test_chunk_1, test_chunk_2 등으로 나뉘게 됨🧱 “물리적인 데이터 분리”란?단순히 "논리적으로 구분된 데이터"가 아니라, 실제 디스크상에서 각각의 청크가 독립된 테이블로 생성되어 분산 저장되는 것을 말합니다.📌 쉽게 말하면:큰 창고(test 테이블)를 작은 박스들(test_chunk_xx 테이블)로 나눠 담는 것!🖼 그림 예시┌────────────────────────────┐│ test 테이블 │└────────────..

시계열 데이터베이스(TSDB) 개요시계열 데이터베이스(Time Series Database, TSDB)는 시간에 따라 변화하는 데이터를 효율적으로 저장하고 처리하기 위해 설계된 특수 데이터베이스입니다.개념시계열 데이터베이스는 시간 순서대로 정렬된 데이터 포인트를 저장하는 데 최적화되어 있습니다. 각 데이터 포인트는 타임스탬프와 연관된 값으로 구성됩니다. 예를 들어, 주식 가격, 센서 측정값, 서버 모니터링 로그 등이 시계열 데이터에 해당합니다.중요성IoT와 모니터링의 증가: 점점 더 많은 기기와 시스템이 지속적으로 데이터를 생성하고 있습니다.실시간 분석: 빠르게 변화하는 데이터의 추세와 패턴을 실시간으로 파악해야 합니다.대용량 데이터 처리: 기존 데이터베이스로는 처리하기 어려운 대량의 시계열 데이터를 효..

mysql # 데이터베이스를 만들겠다. create database firstBase; # 해당 데이터 베이스를 사용하겠다 use firstBase; # 테이블 생성 create table student( id int primary key auto_increment, #칼럼명 자료형 제약조건 , (primary key -> (not null&& unique) auto_increment-> 자동으로 숫자를 늘려준다 ex) 1,2,3,4 name varchar(50), #칼럼명 자료형 (varchar(50) => 문자를 50자 까지) age int, email varchar(50) ); #city 테이블 생성 create table city( id int primary key auto_increment, c..

Ajax - 웹 페이지 전체를 다시 로딩하지 않고도, 웹 페이지의 일부분만을 갱신할 수 있습니다. 즉 Ajax를 이용하면 백그라운드 영역에서 서버와 통신하여, 그 결과를 웹 페이지의 일부분에만 표시할 수 있습니다. Requests Requests란 Python용 HTTP 라이브러리이다. Python에서 특정 웹사이트에 HTTP 요청을 보내는 모듈이라고 생각하면 될 것 같다. 좀 더 쉽게 말해서 특정 웹사이트에 HTTP 요청을 보내 HTML 문서를 받아올 수 있는 라이브러리이다. 근데 정확히 말하면 얘가 가져오는 HTML 문서는 문서가 아닌 그냥 단순한 String이고, 뒤에서 배우는 BeautifulSoup에 의해 살아있는 HTML 문서로 바뀌게 된다. (함께 크롤링에 자주 쓰임) import reque..