ES从0到1——Mapping介绍

1.Mapping是什么？

mapping是映射，对比MySQL而言，他相当于MySQL的表结构定义。

包括：设置元数据、定义存储字段的类型、分区、副本等设置

稍后我们逐一介绍下mapping的具体结构都是指什么。

先来两个例子：

{
  "order": 1,
  "index_patterns": [
    "task-unit*"
  ],
  "settings": {
    "index.max_result_window": 10000000,
    "number_of_shards": 3,
    "number_of_replicas": 0
  },
  "mappings": {
    "_doc": {
      "dynamic_templates": [
        {
          "string2keyword": {
            "match_mapping_type": "string",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "string2long": {
            "match_mapping_type": "string",
            "mapping": {
              "type": "long"
            }
          }
        },
  			{
          "match2string": {
            "match": "*string",
            "mapping": {
              "type": "string"
            }
          }
        }
      
      ],
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "category": {
          "type": "integer"
        },
        "metric": {
          "type": "object"
        },
        "taskInstanceId": {
          "type": "long"
        },
        "taskId": {
          "type": "keyword"
        },
        "inspectionItemId": {
          "type": "long"
        },
        "type": {
          "type": "integer"
        }
    
      }
    }
  }
}

ES真实存储的一条记录

{
  "_index" : "risk-task-20221223",
  "_type" : "_doc",
  "_id" : "yABJP4UBiGUELNHVfn70",
  "_version" : 1,
  "_seq_no" : 1872,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "riskName" : "",
    "calculateRuleId" : 16,
    "fetchDataRuleCategory" : 6,
    "inspectionItemId" : 48,
    "taskTriggerTag" : "手动执行",
    "errorCode" : 5002,
    "inspectionValue" : 0.0,
    "taskTemplateId" : 33,
    "taskCalculateType" : 0,
    "algoParams" : {
      "currentEndTime" : 1671087600000,
      "currentStartTime" : 1671087000000,
      "latestPeriodRequired" : true,
      "minPeriodDataRaito" : 0.6,
      "periodLength" : 30,
      "k" : 3,
      "weightForPeriod" : [
        {
          "weight" : 0.1,
          "order" : 0
        }
      ]
    },
    "metricInstantiateRuleType" : "ap",
    "taskId" : 146
  }
}

那我们接着展开说说具体的知识点

动态映射

类比MySQL来说明：

我们创建数据库时，需要通过create语句来指定字段名称，字段类型等，预先设置好表结构，然后再往里面插入数据存储，而在ES中，也可以不指定这些设置，直接把数据添加到ES中存储，ES会动态的根据填入的文档字段自动识别其类型。

也就是说

我们可以直接向ES中添加一个内容，可以不提前设置他的字段类型等映射

也可以再一个指定好的ES映射中，添加另外一个之前不存在的类型字段

ES与传统的关系型数据库相比，这点是个明显的差异。

在ES中，主要是通过：dynamic字段来控制的。

true:允许动态添加

false:忽略新添加的不存在的字段

strict:遇到新字段，抛出异常

注意，这个字段很灵活，可以再任意一层做设置，可以自定义设置在哪个对象里动态

PUT /my_index
{
    "mappings": {
        "_doc": {
            "dynamic":      "strict", 
            "properties": {
                "name":  { "type": "string"},
                "address":  {
                    "type":     "object",
                    "dynamic":  true 
                }
            }
        }
    }
}

这里说明：在_doc这整个类型里，不允许添加新的字段。但是在内部对象address中可以动态创建新的字段

注意：

当动态添加一个字段的时候，ES会根据第一次插入的新字段的类型去自动识别绑定此新字段的类型，如果后面，再插入这个字段的其他类型的数据，则会报错。（因为前后类型不一致）----由于这个问题，ES提供了动态模板——《dynamic_templates》，这可以让我们完全控制生成字段的映射。

举例示例，见文章上方的第一个示例。

解释：

sting2long中，使用：match_mapping_type来转化类型，这个意思是说，当遇到string类型的新映射，可以使用这个模板，被映射成long存储到ES中。（手动转化一下类型，去适配存储）

match2string中，使用match来转化新字段名称符合*string结尾的字段，将此字段转化成string类型。

这两个字段同时使用，则两个条件都符合，才做转化！如果同时符合多个模板，位置约靠前的，越优先使用。

2 mapping结构解释

好了，这部分到此基础部分结束，上面有一个隐藏的技术点：index_patterns，索引模板，后续深入了解的时候，再展开讲解。

3 字段类型

下面介绍下ES中，都可以存储哪些数据类型

参考文章：

Elasticsearch学习-ES中动态映射有什么用_es mapping 显示映射的优点_wind_huise的博客-CSDN博客

https://www.cnblogs.com/forever226/p/16504085.html

 其他的数据类型参考官网：Field datatypes | Elasticsearch Guide [6.5] | Elastic