본문 바로가기

728x90
728x90

DevOps

[ELK] 인덱스(생성/조회/삭제)와 도큐먼트(CRUD)에 대해서 - 컴도리돌이 Elasticsearch 인덱스는 일반적인 관계형 데이터베이스와 성격이 다릅니다. 인덱스는 도큐먼트를 저장하는 논리적 구분자이며, 도큐먼트는 실제 데이터를 저장하는 단위입니다. 도큐먼트는 엘라스틱서치에서 데이터가 저장되는 기본 단위로 JSON 형태이며, 하나의 도큐먼트는 여러 필드와 값을 갖고 있습니다. 이번 포스팅에서는 엘라스틱 서치가 도큐먼트에 데이터를 어떻게 저장하는지 알아볼려고 합니다. 인덱스(index) 인덱스는 도큐먼트를 저장하는 논리적 단위로, 관계형 데이터 베이스의 테이블과 유사한 개념입니다. 하나의 인덱스에 다수의 도큐먼트가 포함되는 구조이며, 동일한 인덱스에 있는 도큐먼트는 동일한 스키마를 가질 수 있습니다. 그리고 모든 도큐먼트는 반드시 하나의 인덱스에 포함돼야 합니다. 인덱스 이름에.. 더보기
[git] git stash에 대하여 - 컴도리돌이 여러분이 작업하고 있는데 갑자기 브랜치를 바꿔야 할 때나, 혹은 당장 커밋하기에는 좀 이른 감이 있지만 다른 작업을 할 때, 그냥이라면 간단하게 코드 변경사항을 잠시 숨겨놓고 싶을 때가 있을 겁니다. 이럴 때에 사용하기 편한 것이 바로 git stash라고 할 수 있습니다. git stash 명령을 사용하면 작업한 디렉토리에서 수정한 파일들만 저장하게 됩니다. git stash를 사용하여 저장하면, 스택(Stack) 형식으로 저장하게 됩니다. git stash는 git으로 버전 관리를 하고 있는 파일들에 수정 내용을 임시로 저장하기 때문에 새롭게 생성된 파일을 저장되지 않습니다. 새롭게 생성한 파일도 함께 임시 저장하고 싶다면, git add로 새롭게 생성된 파일들을 git으로 관리하도록 한 후, git.. 더보기
[Elasticsearch] 엘라스틱 서치 역인덱스(Elasticsearch inverted index) - 컴도리돌이 이번 글에서는 엘라스틱서치(Elasticsearch)에서 데이터를 어떤 방식으로 저장하는지 알아보겠습니다.오늘 글의 주제는 역인덱스(inverted index) 구조에 대해서 알아보겠습니다.  일반적인 RDBMS에서 텍스트 형식으로 이루어진 컬럼에서, 특정 단어가 포함되어 있는지 확인하기 위해서는 다음과 같이 패턴을 검색할 수 있습니다.  SELECT *FROM test_tableWHERE test_columns LIKE '%quokka%' 보통 와일드카드 '%'를 이용하여 특정 단어로 시작한, 끝 맺히는, 포함되어 있는 데이터를 조회할 때, LIKE 연산과 '%'을 사용하여 패턴 검색을 할 것입니다.  1. the cute white quokka2. the cute brown quokka3. the c.. 더보기
[ELK] Elastic Stack에 대해서 - 컴도리돌이 이번에 회사에서 엘라스틱 서치에 대해서 도입을 한다. 하지만 해당 기술에 대해 무지하기 때문에 오늘부터 차근차근 공부할려고 한다. 오늘의 주제는 엘라스틱 스택에 대해 가볍게 내용 정리를 할려고 한다. 엘라스틱 스택(Elastic Stack) 엘라스틱 스택은 일반적인 빅데이터 파이프라인을 구성하기 위한 데이터 수집, 가공, 저장, 분석, 시각화에 필요한 모든 소프트웨어를 갖추고 있다. 비츠와 로그스태시는 데이터를 수집하고 가공하는 역할을 하며, 엘라스틱 서치는 저장하고 분석하는 역할을 담당한다. 마지막으로 키바나는 엘라스틱 서치에 저장된 데이터를 시각화하고 모니터링하는 역할을 수행한다. 엘라스틱 서치(Elastic Search) 엘라스틱 서치는 검색 엔진이지만, 다른 포털 사이트와 다르게 검색 엔진이 내부.. 더보기
[AWS] 과금 청구, 넌 얼마까지 청구 되어봤니?(feat. 1941만원, 해킹, 과금 면제) - 컴도리돌이 벌써 사건이 발생한 지 한 달이라는 시간이 훌쩍 지나가버렸다. 사건은 5월 초, 아침에 일어나면 이메일을 확인하는 습관이 있는 나는 생전 받아 보지 못한 AWS에서 3통의 이메일이 와있었다.. 새벽 3시경 "AWS 고객 서비스에 요청하신 대로 귀하의 계정과 관련된 이메일 주소를 성공적으로 변경했습니다." 엥? 이게 무슨 소리이지 하고, 다른 이메일을 확인하였다. 해당 내용은 더욱 나를 간장 되게 만들었다.. "이 계정 손상으로 인해 사용자 계정(다른 계정 사용자 포함)에 보안 위험이 발생하며, 무단 작업으로 인해 과도한 요금이 부과될 수 있습니다. 과도한 요금으로부터 계정을 보호하기 위해 일부 AWS 서비스를 사용할 수 있는 기능을 일시적으로 제한했습니다. " 식은땀이 나기 시작하였다. 바로 아마존에 로.. 더보기