刘沙河
bigox
2022-07-04
目录

es基本概念

# es初始

  • Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.
  • Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问，并使用模式少JSON文档来存储数据。它是基于Java编程语言，这使Elasticsearch能够在不同的平台上运行。使用户能够以非常快的速度来搜索非常大的数据量。

# 特性

  • ElasticSearch 提供了一套基于restful风格的全文检索服务组件。屏蔽了Lucene的复杂性.

  • Elasticsearch可扩展高达PB级的结构化和非结构化数据。

  • Elasticsearch可以用来替代MongoDB和RavenDB等做文档存储。

  • Elasticsearch使用非标准化来提高搜索性能。

  • Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)

  • Elasticsearch是受欢迎的企业搜索引擎之一，目前被许多大型组织使用，如Wikipedia，The Guardian，StackOverflow，GitHub等。

# 与solr的对比

  • Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能;
  • Solr 支持更多格式的数据，而 Elasticsearch 仅支持json文件格式；
  • Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供；
  • Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch

# 基础概念

Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)

  • Elasticsearch比传统关系型数据库如下

    Relational DB Elasticsearch
    数据库（database） 索引（indices）
    表（tables） types
    行（rows） documents
    字段（columns） fields

  1. elasticsearch是面向文档的, 索引和搜索数据的最小单位是文档, 与关系型数据库比较:

    • 数据库(database) v.s. 索引(indices, 理解为数据库)

    • 表(tables) v.s. 类型(types, 7.x弃用, 8.x会完全丢掉)

    • 行(rows) v.s. 文档(documents)

    • 字段(columns) v.s. 字段(fields)

    • ES所有数据都是json

  2. ES在后台把索引划分成多个切片, 每份分片可以在集群中不同服务器间迁移

  3. ES一个人就是一个集群, 默认的集群名称就是elasticsearch

  4. ES文档(可以理解为json或是yml中的数据格式)的重要属性:

    • 自我包含, 一篇文档同时包含字段和对应的值, 也就是同时包含keyvalue

    • 可以是层次型的, 一个文档中包含子文档, 复杂的逻辑实体, 就是一个json对象

    • 灵活的结构, 文档不依赖预先定义的模式, 我们知道关系型数据库中, 要提前定义字段才能使用, elasticsearch中, 对于字段是灵活的, 有时可以忽略该字段, 或是动态添加一个新的字段

  5. ES索引: 就是数据库

    • ES索引是一个非常大的文档集合, 索引存储了映射类型的字段和其他设置, 然后存储到各个分片上, 一般是存在集群的不同节点上, 一旦某个节点挂了, 数据不会丢失;

    • 分片是一个Lucene索引, 一个包含==倒排索引(inverted index)==的文件目录, 倒排索引的结构使得elasticsearch在不扫描全部文档的情况下, 就可以告诉你哪些文档包含特定的关键字;

      • 通过各个关键字的权重(可以理解为score)之和来对查询结果进行排序
        • 使用倒排索引可以过滤掉完全无关的数据

  6. 总结:

    • ES中, 索引(库)这个词被频繁使用, 就是数据库, 索引被分为多个分片, 每份分片是一个Lucene的索引, 所以一个ES索引是由多个Lucene索引组成, Lucene索引是一种倒排索引;

# 1. index 索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。可类比mysql中的数据库

# 2. type 类型

在Elasticsearch 6.0之前的版本中, 一个index可能会被划分为多个type, 例如: 商品中有电子商品, 服装商品, 生鲜商品...

但在Elasticsearch 6.0之后, 一个index只能包含一个type, 否则将出现错误.

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。 可类比mysql中的表

# 3. document文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。 插入索引库以文档为单位，类比与数据库中的一行数据

# 4. filed 字段

相当于是数据表的字段，对文档数据根据不同属性进行的分类标识 。

# 5. 映射 mapping

mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分析器、是否被索引等等，这些都是映射里面可以设置的，其它就是处理es里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。相当于mysql中的创建表的过程，设置主键外键等等

# 6. 集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。一个集群由 一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集 群的名字，来加入这个集群。

# 7. 节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能。和集群类似，一 个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的 时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对 应于Elasticsearch集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此， 它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点， 这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

# 8. 分片和复制 shards&replicas

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因： 1）允许你水平分割/扩展你的内容容量。 2）允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量。

在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。

复制之所以重要，有两个主要原因： 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行。总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。

默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

# docker安装es

  • es安装

    docker pull elasticsearch:7.17.0
docker network create es_network 
docker run -d --name elasticsearch --net es_network -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.17.0
    1
    2
    3

  • kibana安装

    docker pull kibana:7.17.5
docker run -d --name kibana --net es_network -e ELASTICSEARCH_URL=http://127.0.0.1:9200 -p 5601:5601 kibana:7.17.5

# 设置中文
docker exec -it kibana bash

########### 执行这个命令 start


cat >config/kibana.yml<<EOF

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"

EOF


########### 执行这个命令 end


docker restart kibana
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29

# IK分词器

  • 标准分词器，其对中文分词不是很友好

  • GET http:*//127.0.0.1:9200/_analyze?analyzer=standard&pretty=true&text=我是程序员*

    • 分词结果

      "tokens":[
{"token": "我", "start_offset": 0, "end_offset": 1, "type": "<IDEOGRAPHIC>",…},
{"token": "是", "start_offset": 1, "end_offset": 2, "type": "<IDEOGRAPHIC>",…},
{"token": "程", "start_offset": 2, "end_offset": 3, "type": "<IDEOGRAPHIC>",…},
{"token": "序", "start_offset": 3, "end_offset": 4, "type": "<IDEOGRAPHIC>",…},
{"token": "员", "start_offset": 4, "end_offset": 5, "type": "<IDEOGRAPHIC>",…}
]
      1
      2
      3
      4
      5
      6
      7
      8

  • 分词工具: word分词器，庖丁解牛，Ansj分词器，下面注意说IK分词器的使用

  • 在线安装

    1. 进入容器

      docker exec -it elasticsearch /bin/bash
      1

    2. 在线下载并安装

      ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.0/elasticsearch-analysis-ik-7.17.0.zip
      1

    3. 重启容器

  • 离线安装

    1. 下载ik分词器包
  1. docker cp /tmp/elasticsearch-analysis-ik-7.17.0.zip elasticsearch:/usr/share/elasticsearch/plugins
  2. docker exec -it elasticsearch /bin/bash
  3. mkdir /usr/share/elasticsearch/plugins/ik
  4. mv /usr/share/elasticsearch/plugins/elasticsearch-analysis-ik-7.17.0.zip /usr/share/elasticsearch/plugins/ik
  5. cd /usr/share/elasticsearch/plugins/ik
  6. unzip elasticsearch-analysis-ik-7.17.0.zip
  7. docker restart elasticsearch

  • GET http:*//127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程序员*

    • 分词结果

      "tokens":[
{"token": "我", "start_offset": 0, "end_offset": 1, "type": "CN_CHAR",…},
{"token": "是", "start_offset": 1, "end_offset": 2, "type": "CN_CHAR",…},
{"token": "程序员", "start_offset": 2, "end_offset": 5, "type": "CN_WORD",…}
]
      1
      2
      3
      4
      5
      6
#数据库#
上次更新: 2023/04/16, 18:35:33
redis 底层数据结构
es基础语法

← es基础语法→

最近更新
01
go与http代理
05-24
02
自制申威架构k8s-reloader
12-06
03
Docker Buildx 教程
12-01
更多文章>
Theme by Vdoing | Copyright © 2020-2024 小刘扎扎 | MIT License