# 01_Elastic Stack 从入门到实践(一)

#windows工具推荐#

# 01_Elastic Stack 从入门到实践（一）

## 一、课程介绍

### 1、ElasticSearch 课程介绍

1）Elastic Stack简介

2）Elasticsearch的介绍与安装

3）Elasticsearch的快速入门

4）Elasticsearch的核心讲解

5）中文分词

6）全文搜索

7）Elasticsearch集群

8）Java客户端讲解

### 2、Elastic Stack ：Elasticsearch、Logstash、Kibana、Beats。

## 二、Elastic Stack技术栈简介

### 1、Elastic Stack简介

如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是Elasticsearch、Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。

所以说，ELK是旧的称呼，Elastic Stack是新的名字。

#### 1.1 Elasticsearch

Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

#### 1.2 Logstash

Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。

#### 1.3 Kibana

Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以汇总、分析和搜索重要数据日志。

#### 1.4 Beats

Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析活动。

Beats由如下组成:

1）Packetbeat : 是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理,其支持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议;

2）Filebeat : 用于监控、收集服务器日志文件，其已取代logstash forwarder ;

3）Metricbeat : 可定期获取外部系统的监控指标信息，其可以监控、收集Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务;

4）Winlogbeat : 用于监控、收集Windows系统的日志信息;

### 2、ELK 与 全系ElasticStack 技术栈 图例：

## 三、Elasticsearch快速入门之简介

### 1、Elasticsearch 简介

1）ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。

2）Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

3）Elasticsearch宗旨：我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

4）Elasticsearch官网:
https://www.elastic.co/cn/products/elasticsearch

### 2、Elastic Stack的核心

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为Elastic Stack的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。

## 四、Elasticsearch快速入门之版本说明

### 1、Elasticsearch安装版本说明

Elasticsearch的发展是非常快速的，所以在ES5.0之前，ELK的各个版本都不统一，出现了版本号混乱的状态，所以从5.0开始，所有Elastic Stack中的项目全部统一版本号。

### 2、本教程将基于版本Elasticsearch 6.5.4进行学习。

## 五、Elasticsearch快速入门之下载以及安装（单机版安装）

### 1、Elasticsearch 各个版本下载

https://www.elastic.co/downloads/past-releases#elasticsearch

Elasticsearch-6.5.4 下载：

https://www.elastic.co/downloads/past-releases/elasticsearch-6-5-4

### 2、linux 系统下（centos）安装 Elasticsearch

```bash

# 创建新目录并切换到新目录

mkdir -p /dzs168/es/

cd /dzs168/

#创建elsearch用户，Elasticsearch不支持root用户运行

useradd elsearch

# 更改新目录的用户及用户组

chown elsearch:elsearch /dzs168/ -R

# 切换用户

su - elsearch

# 上传安装包
elasticsearch~6.5.4.tar.gz到服务器（centos7系统）

#解压安装包到指定目录

tar -xvf elasticsearch-6.5.4.tar.gz -C /dzs168/es

# 切换目录

cd /dzs168/es/elasticsearch-6.5.4/

#修改配置文件 vim config/elasticsearch.yml

network.host:0.0.0.0 #设置ip地址，任意网络均可访问

#说明:在Elasticsearch中如果，network.host不是localhost或者127.0.0.1的话，就会认为是生产环境，会对环境的要求比较高，我们的测试环境不一定能够满足，

# 一般情况下需要修改2处配置，如下:

#1:修改jvm启动参数vim config/jvm.options

-Xms128m #根据自己机器情况修改

-Xmx128m

#2:一个进程在VMAs(虚拟内存区域)创建内存映射最大数量，root用户下：vim /etc/sysctl.conf

vm.max_map_count=655360

sysctl -p #配置生效

#启动ES服务

su - elsearch

cd bin

./elasticsearch

# 或者

./elasticsearch -d #后台系统中

# 关闭防火墙：systemctl stop firewalld

#通过浏览器访问进行测试，看到如下信息,就说明ES启动成功了

# 如：
http://192.168.43.216:9200/

{

"name" : "wvma-wP",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "SlqagX9wS_-k1eAVR6e2Rw",

"version" : {

"number" : "6.5.4",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "d2ef93d",

"build_date" : "2018-12-17T21:17:40.758843Z",

"build_snapshot" : false,

"lucene_version" : "7.5.0",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

},

"tagline" : "You Know, for Search"

}

# 停止服务

[root@manager1 ~]# su elsearch

[elsearch@manager1 root]$ jps

2058 Elasticsearch

2189 Jps

# 通过kill 结束es进程 如：

kill 2058

```

### 3、示例：

### 4、关于elasticsearch 启动失败的排查

1）启动出错1，环境:Centos6.5 错误如下：

```bash

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to atleast [65536]

```

解决方法:

```bash

# 切换到root用户，编辑limits.conf添加类似如下内容

vi /etc/security/limits.conf

# 添加如下内容：

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

```

2）启动出错2，环境:Centos6.5 错误如下：

```bash

max number of threads[1024] for user [elsearch] is too low, increase to at least[4096]

```

解决方法：

```bash

#切换到root用户，进入limits.d目录下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf

#修改如下内容:

* soft nproc 1024

#修改为

*soft nproc 4096

```

3）启动出错3，环境:Centos6.5 错误如下：

```bash

system call filters failed to install; check the logs and fix your configurationor disable system call filters at your own risk

```

解决方法：

```bash

#Centos6不支持SecComp，而ES5.2.0默认
bootstrap.system_call_filter为true

vim config/elasticsearch.yml

#添加:

bootstrap.system_call_filter: false

```

## 六、Elasticsearch快速入门之 elasticsearch-head 的安装使用

### 1、elasticsearch-head

由于ES官方并没有为ES提供界面管理工具，仅仅是提供了后台的服务。elasticsearch-head是一个为ES开发的页面客户端工具，其源码托管于GitHub，

地址为:
https://github.com/mobz/elasticsearch-head

### 2、elasticsearch-head提供了4种安装方式:

1）源码安装，通过npm run start启动(不推荐)

2）通过docker安装(推荐)

3）通过chrome插件安装elasticsearch-head (推荐)

4）通过ES的plugin方式安装(不推荐)

### 3、通过docker安装elasticsearch-head

```bash

#1拉取镜像

docker pull mobz/elasticsearch-head:5

#2创建容器

docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5

#3启动容器

docker start elasticsearch-head

```

### 4、通过docker安装elasticsearch-head注意事项:

由于前后端分离开发，所以会存在跨域问题，需要在服务端做CORS的配置，如下:

vim elasticsearch.yml

http.cors.enabled:true http.cors.allow-origin:"*"

### 5、通过chrome浏览器插件的方式安装elasticsearch-head不存在该问题。chrome插件的方式安装

1）打开chrome的应用商店，即可安装

https://chrome.google.com/webstore/detail/elasticsearch-head

https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmec

olpfloofpjologoblkegm

2）如果你的网络较慢，不能打开chrome 应用商店在线安装，可以下载es-head-master.zip 插件包，解压，然后打开chrome浏览器进行离线安装。

下载elasticsearch-head.zip插件包。

解压缩文件，修改.crx扩展名为.rar，再次解压得到文件夹。

https://www.onlinedown.net/soft/988779.htm

3）打开chrome浏览器，点击三个...【设置】，找到【更多工具】，打开【扩展程序】。

chrome://extensions/

4）开启【开发者模式】，选择【加载已解压的扩展程序】，然后找到之前解压的文件夹路径，点击【确定】即可。

5）打开chrome浏览器，点击elasticsearch-head插件进行访问：

chrome-extension://chjnefloeklcadljphfjelahebnjkdma/index.html

连接自己服务器IP测试，如：

http://192.168.43.216:9200 或者 http://192.168.3.29:9200/测试。

### 6、elasticsearch-head插件安装 注意事项

#### 6.1对于 Elasticsearch 7.x 和更高版本，推荐使用 Kibana 来代替 Elasticsearch-Head

1）Elasticsearch-Head 是一个基于 Web 的界面，允许以可视化的方式管理 Elasticsearch 集群。它是 Elasticsearch 早期版本中的一个流行插件，但值得注意的是，Elasticsearch 从 7.x 版本开始就不再支持插件了，这意味着 Elasticsearch-Head 无法直接作为插件安装在这些版本上。

2）对于 Elasticsearch 7.x 和更高版本，推荐使用 Kibana 来代替 Elasticsearch-Head。Kibana 是 Elasticsearch 的默认管理界面，提供了丰富的功能来查看、管理和分析数据。

3）下载安装 Kibana

访问 Kibana 官方下载页面，根据你的操作系统选择合适的版本下载。

4）Linux系统 安装 Kibana:

tar -xvf kibana--linux-x86_64.tar.gz

5）Windows系统安装 Kibana:

解压下载的文件，通常是通过 ZIP 文件解压。

6）Linux系统 启动 Kibana:

./bin/kibana

7）Windows系统 启动 Kibana:

双击 bin\kibana.bat。

8）访问 Kibana:

打开浏览器，访问 http://localhost:5601（默认情况下 Kibana 运行在 5601 端口）。

#### 6.2对于 Elasticsearch 6.x 及以下版本，可以按照以下步骤安装 Elasticsearch-Head：

1）下载 Elasticsearch-Head:

访问 Elasticsearch-Head GitHub 页面，下载对应的版本。

https://github.com/mobz/elasticsearch-head

2）安装 Node.js 和 NPM:

Elasticsearch-Head 需要 Node.js 和 npm（Node Package Manager）来运行。可以从 Node.js 官网下载并安装。

3）安装 Elasticsearch-Head:

解压下载的 Elasticsearch-Head 压缩包。

打开命令行工具，切换到 Elasticsearch-Head 的目录。

4）运行以下命令来安装依赖：

npm install

5）运行以下命令来启动 Elasticsearch-Head：

npm run start

6）访问 Elasticsearch-Head:

打开浏览器，访问 http://localhost:9100（默认情况下 Elasticsearch-Head 运行在 9100 端口）。

7）注意事项

** 安全性:

在生产环境中使用这些工具时，请确保通过适当的网络配置和安全措施来保护你的 Elasticsearch 和 Kibana/Elasticsearch-Head 服务。

** 版本兼容性:

始终确保你的 Elasticsearch 和 Kibana/Elasticsearch-Head 的版本相互兼容。查看官方文档以获取更多详细信息和兼容性信息。

## 七、Elasticsearch快速入门之基本概念

### 1、基本概念之 索引

1）索引(index)是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。

2）可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。

3）Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片(shard)，每个分片可以有多个副本(replica)。

### 2、基本概念之 文档

1）存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。

2）Elasticsearch和MongoDB中的文档类似，都可以有不同的结构，但Elasticsearch的文档中，相同字段必须有相同类型。

3）文档由多个字段组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段(multivalued )。

4）每个字段的类型，可以是文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者数组。

### 3、基本概念之 映射

所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫做映射(mapping )。一般由用户自己定义规则。

### 4、基本概念之 文档类型

1）在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和评论。

2）每个文档可以有不同的结构。

3）不同的文档类型不能为相同的属性设置不同的类型。例如，在同一索引中的所有文档类型中，一个叫title的字段必须具有相同的类型。

## 八、Elasticsearch快速入门之 RESTful API（创建、删除索引）

### 1、RESTful API

在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。

### 2、创建非结构化索引

在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透明的。

### 3、创建空索:

```bash

PUT/haoke

{

"settings": {

"index": {

"number_of_shards": "2",

"number_of_replicas": "0"

}

}

}

#删除索引

DELETE /haoke

{

"acknowledged": true

}

```

### 4、下载安装 Advanced Rest Client 进行连接测试

1）网上搜索下载安装 Advanced Rest Client

2）解压
Advanced-REST-client_v3.1.9.zip到当前文件夹，得到
Advanced-REST-client_v3.1.9目录

3）在Chrome浏览器中打开:chrome://extensions/

4）勾选【开发者模式】和选择【加载正在开发的扩展程序】

5）选择在第一步解压出来的
Advanced-REST-client_v3.1.9目录

6）Chrome浏览器输入：输入：chrome://apps/

7）插件加载配置文件，由于没有翻墙所以不会下载成功的，需要等一会，会看到选择配置文件的页面

8）选择配置文件 app.js

9）成功。

10）测试