Elasticsearch6.x字段类型

本文深入解析Elasticsearch中的各种字段类型,包括字符串、整数、浮点、日期、布尔、二进制、数组、对象、IP及特殊类型,阐述了每种类型的特点和应用场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

12.1 字段类型概述

一级分类二级分类具体类型
核心类型字符串类型string,text,keyword
整数类型integer,long,short,byte
浮点类型double,float,half_float,scaled_float
逻辑类型boolean
日期类型date
范围类型range
二进制类型binary
复合类型数组类型array
对象类型object
嵌套类型nested
地理类型地理坐标类型geo_point
地理地图geo_shape
特殊类型IP类型ip
范围类型completion
令牌计数类型token_count
附件类型attachment
抽取类型percolator

12.2 字符串类型

(1)string
string类型在ElasticSearch 旧版本中使用较多,从ElasticSearch 5.x开始不再支持string,由text和keyword类型替代。
(2)text
当一个字段是要被全文搜索的,比如Email内容、产品描述,应该使用text类型。设置text类型以后,字段内容会被分析,在生成倒排索引以前,字符串会被分析器分成一个一个词项。text类型的字段不用于排序,很少用于聚合。
(3)keyword
keyword类型适用于索引结构化的字段,比如email地址、主机名、状态码和标签。如果字段需要进行过滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精确值搜索到。

12.3 整数类型

类型取值范围
byte-128~127
short-32768~32767
integer-231~231-1
long-263~263-1

在满足需求的情况下,尽可能选择范围小的数据类型。比如,某个字段的取值最大值不会超过100,那么选择byte类型即可。迄今为止吉尼斯记录的人类的年龄的最大值为134岁,对于年龄字段,short足矣。字段的长度越短,索引和搜索的效率越高。

12.4 浮点类型

类型取值范围
doule64位双精度IEEE 754浮点类型
float32位单精度IEEE 754浮点类型
half_float16位半精度IEEE 754浮点类型
scaled_float缩放类型的的浮点数

对于float、half_float和scaled_float,-0.0和+0.0是不同的值,使用term查询查找-0.0不会匹配+0.0,同样range查询中上边界是-0.0不会匹配+0.0,下边界是+0.0不会匹配-0.0。

其中scaled_float,比如价格只需要精确到分,price为57.34的字段缩放因子为100,存起来就是5734
优先考虑使用带缩放因子的scaled_float浮点类型。

12.5 date类型

我们人类使用的计时系统是相当复杂的:秒是基本单位, 60秒为1分钟, 60分钟为1小时, 24小时是一天……如果计算机也使用相同的方式来计时, 那显然就要用多个变量来分别存放年月日时分秒, 不停的进行进位运算, 而且还要处理偶尔的闰年和闰秒以及协调不同的时区. 基于”追求简单”的设计理念, UNIX在内部采用了一种最简单的计时方式:

计算从UNIX诞生的UTC时间1970年1月1日0时0分0秒起, 流逝的秒数. 
UTC时间1970年1月1日0时0分0秒就是UNIX时间0, UTC时间1970年1月2日0时0分0秒就是UNIX时间86400. 
这个计时系统被所有的UNIX和类UNIX系统继承了下来, 而且影响了许多非UNIX系统.  

日期类型表示格式可以是以下几种:
(1)日期格式的字符串,比如 “2018-01-13” 或 “2018-01-13 12:10:30”
(2)long类型的毫秒数( milliseconds-since-the-epoch,epoch就是指UNIX诞生的UTC时间1970年1月1日0时0分0秒)
(3)integer的秒数(seconds-since-the-epoch)

ElasticSearch 内部会将日期数据转换为UTC,并存储为milliseconds-since-the-epoch的long型整数。
例子:日期格式数据
(1)创建索引

DELETE test

PUT test
{
  "mappings":{
    "my":{
      "properties": {
        "postdate":{
          "type":"date",
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        }
      }
    }
  }
}

(2)写入文档

PUT test/my/1
{
  "postdate":"2018-01-13"
}
PUT test/my/2
{
  "postdate":"2018-01-01 00:01:05"
}
PUT test/my/3
{
  "postdate":"1420077400001"
}

(3)批量查询

GET test/my/_mget
{
  "ids":["1","2","3"]
}
{
  "docs": [
    {
      "_index": "test",
      "_type": "my",
      "_id": "1",
      "_version": 1,
      "found": true,
      "_source": {
        "postdate": "2018-01-13"
      }
    },
    {
      "_index": "test",
      "_type": "my",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "postdate": "2018-01-01 00:01:05"
      }
    },
    {
      "_index": "test",
      "_type": "my",
      "_id": "3",
      "_version": 2,
      "found": true,
      "_source": {
        "postdate": "1420077400001"
      }
    }
  ]
}

 

12.6 boolean类型

逻辑类型(布尔类型)可以接受true/false/”true”/”false”值
(1)先删除已经存在的索引,再创建

DELETE test

PUT test
{
  "mappings":{
    "my":{
      "properties": {
        "empty":{"type":"boolean"}
      }
    }
  }
}

(2)添加文档

PUT test/my/1
{
  "empty":"true"
}

PUT test/my/2
{
  "empty":false
}

(3)查看文档

GET test/my/_mget
{
  "ids":["1","2"]
}
{
  "docs": [
    {
      "_index": "test",
      "_type": "my",
      "_id": "1",
      "_version": 1,
      "found": true,
      "_source": {
        "empty": "true"
      }
    },
    {
      "_index": "test",
      "_type": "my",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "empty": false
      }
    }
  ]
}

12.7 binary类型

二进制字段是指用base64来表示索引中存储的二进制数据,可用来存储二进制形式的数据,例如图像。默认情况下,该类型的字段只存储不索引。二进制类型只支持index_name属性。

12.7 array类型

在ElasticSearch中,没有专门的数组(Array)数据类型,但是,在默认情况下,任意一个字段都可以包含0或多个值,这意味着每个字段默认都是数组类型,只不过,数组类型的各个元素值的数据类型必须相同。在ElasticSearch中,数组是开箱即用的(out of box),不需要进行任何配置,就可以直接使用。

在同一个数组中,数组元素的数据类型是相同的,ElasticSearch不支持元素为多个数据类型:[ 10, “some string” ],常用的数组类型是:

(1)字符数组: [ “one”, “two” ]
(2)整数数组: productid:[ 1, 2 ]
(3)对象(文档)数组: “user”:[ { “name”: “Mary”, “age”: 12 }, { “name”: “John”, “age”: 10 }],ElasticSearch内部把对象数组展开为 {“user.name”: [“Mary”, “John”], “user.age”: [12,10]}

12.8 object类型

JSON天生具有层级关系,文档会包含嵌套的对象

DELETE test

PUT test

PUT test/my/1
{
  "employee":{
    "age":30,
    "fullname":{
      "first":"hadron",
      "last":"cheng"
    }
  }
}

上面文档整体是一个JSON,JSON中包含一个employee,employee又包含一个fullname。


GET test/_mapping
{
  "test": {
    "mappings": {
      "my": {
        "properties": {
          "employee": {
            "properties": {
              "age": { "type": "long"},
              "fullname": {
                "properties": {
                  "first": {
                    "type": "text",
                    "fields": {
                      "keyword": {
                        "type": "keyword",
                        "ignore_above": 256
                      }
                    }
                  },
                  "last": {
                    "type": "text",
                    "fields": {
                      "keyword": {
                        "type": "keyword",
                        "ignore_above": 256
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}
  •  

12.9 ip类型

ip类型的字段用于存储IPv4或者IPv6的地址
(1)创建索引

DELETE test

PUT test
{
  "mappings": {
    "my":{
      "properties": {
        "nodeIP":{
          "type": "ip"
        }
      }
    }
  }
}

(2)查询字段

GET test/_search
{
  "query": {
    "term": {
      "nodeIP": "192.168.0.0/16"
    }
  }
}
{
  "took": 111,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "test",
        "_type": "my",
        "_id": "1",
        "_score": 1,
        "_source": {
          "nodeIP": "192.168.1.2"
        }
      }
    ]
  }
}

--------------------- 本文来自 程裕强 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/chengyuqiang/article/details/79048800?utm_source=copy

### Elasticsearch 6.x 版本特性 Elasticsearch 6.x 是一个重要的升级版本,在功能、性能以及兼容性方面都有显著改进。以下是该版本的主要特性和相关内容: #### 1. **跨集群搜索** Elasticsearch 6.0 支持跨多个集群进行搜索操作,这一功能使得用户可以无需迁移旧的数据即可实现新老数据的联合查询。具体而言,Elasticsearch 6.0 能够读取在 5.x 中创建的索引,而无法直接访问 2.x 创建的索引[^1]。这意味着用户可以选择保留部分历史数据在较早版本的集群中运行,同时通过跨集群搜索来统一检索。 #### 2. **集成 Lucene 6.x 的优化** 随着 Elasticsearch 5.0 开始引入 Lucene 6.x 技术栈,到了 6.x 版本进一步巩固了这些优势。Lucene 提供了一种名为 Dimensional Point Fields 的机制,用于高效处理数值型字段(如日期、整数、IP 地址等)。这种设计不仅减少了磁盘占用空间约 50%,还提升了索引构建效率和查询响应速度大约 25%[^2]。因此,对于需要频繁更新或者存储大量结构化数据的应用场景来说,这是一个非常实用的功能增强。 #### 3. **分片管理与分布式架构** 如同其他高可用数据库系统一样,Elasticsearch 利用了分片的概念来进行水平扩展,并允许多个节点共同承担负载压力。在一个典型的部署环境中,当某个大容量集合被划分为若干个小片段时,它们会被随机分配给不同的物理机器执行实际计算任务。整个过程对外界隐藏细节复杂度,从而简化开发人员的工作流程[^5]。 #### 4. **限制写入速率** 为了避免因过度快速地向服务器提交记录而导致资源耗尽的情况发生,在某些极端条件下可能会触发自动节流行为——即暂时减缓客户端上传动作直到后台完成相应同步工作为止。此策略有助于保护整体稳定性并防止意外崩溃事件的发生[^3]。 --- ### 使用指南 针对以上提到的各项能力点,这里给出一些基础指导原则帮助初学者更好地理解和应用 Elasticseach 6.x: - 如果项目存在长期积累下来的历史档案,则考虑采用混合模式运作方式,即将最新活动保存至新版实例里头去,而对于那些不常变动的部分则维持现状不变; - 对于涉及地理位置分析或是时间序列统计类别的业务需求特别关注底层引擎所提供的新型数据类型支持情况; - 设计合理的副本数量比例关系以便达到最佳平衡状态下的容错能力和查询效能之间取得折衷方案; - 定期监控各项指标参数的变化趋势图谱,及时发现潜在瓶颈所在位置并通过调整配置文件中的相关选项加以解决。 ```python from elasticsearch import Elasticsearch es = Elasticsearch(["http://localhost:9200"]) def search_across_clusters(): query_body = { "query": {"match_all": {}} } response = es.search(index="my_index", body=query_body) return response['hits']['total'] if __name__ == "__main__": total_hits = search_across_clusters() print(f"Total hits across clusters: {total_hits}") ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值