밥벌이코딩

opensearch, elasticsearch를 사용하다 보면index에 데이터가 들어가지 않고 index has exceeded [1000000] - maximum allowed to be analyzed for highlighting오류가 발생하는 경우가 있다. "type": "illegal_argument_exception", "reason": "The length of [RequestContent] field of [1649] doc of [index_name] index has exceeded [1000000] - maximum allowed to be analyzed for highlighting. This maximum can be set by changing the [index.highli..

opensearch 설치sudo curl -SL https://artifacts.opensearch.org/releases/bundle/opensearch/2.x/opensearch-2.x.repo -o /etc/yum.repos.d/opensearch-2.x.reposudo yum -y clean allsudo yum -y repolistsudo yum -y list opensearch --showduplicates#sudo yum -y install opensearchsudo yum -y install 'opensearch-2.11.1-1' sudo yum repolist 명령어를 치면 설치 가능한 opensearch list가 나오는데원하는 버전을 설치하면 된다. opensearch.yml 파일 수..

보통 kibana에서 elasticsearch 로그를 가져와서 화면에 보여주곤 한다. 갑자기 kibana에서 특정 index 값이 나오지 않는다면 elastic 서버에 접속해서 로그를 확인해 보면 아래 오류 메시지가 발생하는 경우가 있다, 오류내용 this action would add [1] total shards, but this cluster currently has [1000]/[1000] maximum shards open 해당 내용은 elasticsearch에서 사용하는 shard max값이 1000개인데 현재 shard를 다 사용했다는 뜻이다. 해결 방법은 간단하다. shard의 갯수를 늘려주면 된다. Trouble Shooting 방법 #현재 shard 확인 curl --user '{id}..

1. 서버에서 curl 명령어를 통해 복원하기 #전체 복구하기 curl --user '{user}:{password}' --header "content-type: application/JSON" -XPOST 'localhost:9200/_snapshot/{snapshot_name}/{backup_key}/_restore?wait_for_completion=true' #인덱스 지정 복구하기 curl --user '{user}:{password}' --header "content-type: application/JSON" -XPOST 'localhost:9200/_snapshot/{snapshot_name}/{backup_key}/{index_name}/_restore?wait_for_completion=t..

AWS S3를 통해 elasticsearch index를 백업받는 부분은 아래 링크를 참고하시길 바란다. https://babbeolicoding.tistory.com/33 Elasticsearch index backup(AWS S3 사용) 1. Elasticsearch config 수정 - jvm.options - elasticsearch.yml 각 config 위치에 아래 값 추가 - vim config/jvm.options => Des.allow_insecure_settings=true - vim config/elasticsearch.yml => network.host: 0.0.0.0 2. S3 플러그인 설치(elasticse babbeolicoding.tistory.com ​ AWS 뿐 아니라 N..

1. Elasticsearch config 수정 - jvm.options - elasticsearch.yml 각 config 위치에 아래 값 추가 - vim config/jvm.options => Des.allow_insecure_settings=true - vim config/elasticsearch.yml => network.host: 0.0.0.0 2. S3 플러그인 설치(elasticsearch 재시작 필요) #elasticbsearch 설치된 경로에서 실행 /usr/share/elasticsearch/bin/elasticsearch-plugin install repository-s3 #elasticsearch s3 플러그인 삭제 /usr/share/elasticsearch/bin/elastics..

1. 설치파일 다운로드 sudo wget https://artifacts.elastic.co/downloads/kibana/kibana-7.12.0-amd64.deb 2. 압축해제 sudo dpkg -i kibana-7.12.0-amd64.deb 3. yml 파일 수정 sudo vi /etc/kibana/kibana.yml 외부 접속 허용 : server.host: "localhost" -> server.host: "0.0.0.0" elasticsearch.hosts 주석(#) 해제 및 host ip : port 입력 elasticsearch.username : 설정한ID elasticsearch.password : 설정한PW 4. 서비스 실행 및 상태 확인 service kibana start syst..

1. yml파일 수정 /etc/elasticsearch/elasticsearch.yml xpack.security.enabled: true xpack.security.transport.ssl.enabled: true 입력 2. 서비스 재기동 systemctl restart elasticsearch systemctl status elasticsearch 3. 패스워드 설정 /usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive 위 명령어 입력 후 나오는 각 계정의 pw를 입력하면 된다 4, xpack 적용 확인 xpack 적용 후 인증없이 아래 명령어를 날려보면 오류가 발생한다. curl localhost:9200?pretty 인증정보..