Elasticsearch Date类型，时间存储相关说明。

最新推荐文章于 2025-03-31 17:43:28 发布
最新推荐文章于 2025-03-31 17:43:28 发布
阅读量5.8k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_37366055/article/details/88072155
探讨了在Elasticsearch中存储和检索日期时遇到的问题，包括格式化、时区处理以及如何保持Date类型的完整性。提供了多种解决方案，如直接使用毫秒值、定制日期格式、利用JSON对象进行转换。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从昨晚开始，到今天中午之前，一直在纠结时间存储问题，昨晚是纠结时间取出来的问题。

其实我的想法很简单，我就想java.util.Date  存储到 Elasticsearch  ，然后从 Elasticsearch  中再取出来的时候，它是个Date ，不需要我任何转换。

但是发现好像不行。

我开始在创建 Mapping  的时候，就是为：


 
  1. //...省略部分代码
  2. .startObject("create_date").field("type","date").field("format","yyyy-MM-dd HH:mm:ss").endObject()
  3. //...省略部分代码

指定了Type 为Date ，并且format 为yyyy-MM-dd HH:mm:ss ，然后new Date(); 插入后报错：


 
  1. message [MapperParsingException[failed to parse [create_date]]; nested: IllegalArgumentException[Invalid format: "2016-07-04T03:03:12.616Z" is malformed at "T03:03:12.616Z"];]

 

根据错误提示，我先把时间格式化，然后插入：


 
  1. result.put("create_date", new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(create_date));

然后插入OK。后来我看了源码，才恍然大悟。新版本（我不知道从什么版本开始，我以前最开始用的是0.9）值是根据value 的类型来判断。我贴一下。

org.elasticsearch.common.xcontent.XContentBuilder  中 1248 行。


 
  1. private void writeValue(Object value) throws IOException {
  2. if (value == null) {
  3. generator.writeNull();
  4. return;
  5. }
  6. Class<?> type = value.getClass();
  7. if (type == String.class) {
  8. generator.writeString((String) value);
  9. } else if (type == Integer.class) {
  10. generator.writeNumber(((Integer) value).intValue());
  11. } else if (type == Long.class) {
  12. generator.writeNumber(((Long) value).longValue());
  13. } else if (type == Float.class) {
  14. generator.writeNumber(((Float) value).floatValue());
  15. } else if (type == Double.class) {
  16. generator.writeNumber(((Double) value).doubleValue());
  17. } else if (type == Byte.class) {
  18. generator.writeNumber(((Byte)value).byteValue());
  19. } else if (type == Short.class) {
  20. generator.writeNumber(((Short) value).shortValue());
  21. } else if (type == Boolean.class) {
  22. generator.writeBoolean(((Boolean) value).booleanValue());
  23. } else if (type == GeoPoint.class) {
  24. generator.writeStartObject();
  25. generator.writeNumberField("lat", ((GeoPoint) value).lat());
  26. generator.writeNumberField("lon", ((GeoPoint) value).lon());
  27. generator.writeEndObject();
  28. } else if (value instanceof Map) {
  29. writeMap((Map) value);
  30. } else if (value instanceof Path) {
  31. //Path implements Iterable<Path> and causes endless recursion and a StackOverFlow if treated as an Iterable here
  32. generator.writeString(value.toString());
  33. } else if (value instanceof Iterable) {
  34. generator.writeStartArray();
  35. for (Object v : (Iterable<?>) value) {
  36. writeValue(v);
  37. }
  38. generator.writeEndArray();
  39. } else if (value instanceof Object[]) {
  40. generator.writeStartArray();
  41. for (Object v : (Object[]) value) {
  42. writeValue(v);
  43. }
  44. generator.writeEndArray();
  45. } else if (type == byte[].class) {
  46. generator.writeBinary((byte[]) value);
  47. /* 注意这里：如果是Date类型，就是以字符串输出。
  48. 如果你跟进去看。代码在下个片段。
  49. */
  50. } else if (value instanceof Date) {
  51. generator.writeString(XContentBuilder.defaultDatePrinter.print(((Date) value).getTime()));
  52. } else if (value instanceof Calendar) {
  53. generator.writeString(XContentBuilder.defaultDatePrinter.print((((Calendar) value)).getTimeInMillis()));
  54. } else if (value instanceof ReadableInstant) {
  55. generator.writeString(XContentBuilder.defaultDatePrinter.print((((ReadableInstant) value)).getMillis()));
  56. } else if (value instanceof BytesReference) {
  57. BytesReference bytes = (BytesReference) value;
  58. if (!bytes.hasArray()) {
  59. bytes = bytes.toBytesArray();
  60. }
  61. generator.writeBinary(bytes.array(), bytes.arrayOffset(), bytes.length());
  62. } else if (value instanceof BytesRef) {
  63. BytesRef bytes = (BytesRef) value;
  64. generator.writeBinary(bytes.bytes, bytes.offset, bytes.length);
  65. } else if (value instanceof Text) {
  66. Text text = (Text) value;
  67. if (text.hasBytes() && text.bytes().hasArray()) {
  68. generator.writeUTF8String(text.bytes().array(), text.bytes().arrayOffset(), text.bytes().length());
  69. } else if (text.hasString()) {
  70. generator.writeString(text.string());
  71. } else {
  72. BytesArray bytesArray = text.bytes().toBytesArray();
  73. generator.writeUTF8String(bytesArray.array(), bytesArray.arrayOffset(), bytesArray.length());
  74. }
  75. } else if (value instanceof ToXContent) {
  76. ((ToXContent) value).toXContent(this, ToXContent.EMPTY_PARAMS);
  77. } else if (value instanceof double[]) {
  78. generator.writeStartArray();
  79. for (double v : (double[]) value) {
  80. generator.writeNumber(v);
  81. }
  82. generator.writeEndArray();
  83. } else if (value instanceof long[]) {
  84. generator.writeStartArray();
  85. for (long v : (long[]) value) {
  86. generator.writeNumber(v);
  87. }
  88. generator.writeEndArray();
  89. } else if (value instanceof int[]) {
  90. generator.writeStartArray();
  91. for (int v : (int[]) value) {
  92. generator.writeNumber(v);
  93. }
  94. generator.writeEndArray();
  95. } else if (value instanceof float[]) {
  96. generator.writeStartArray();
  97. for (float v : (float[]) value) {
  98. generator.writeNumber(v);
  99. }
  100. generator.writeEndArray();
  101. } else if (value instanceof short[]) {
  102. generator.writeStartArray();
  103. for (short v : (short[]) value) {
  104. generator.writeNumber(v);
  105. }
  106. generator.writeEndArray();
  107. } else {
  108. // if this is a "value" object, like enum, DistanceUnit, ..., just toString it
  109. // yea, it can be misleading when toString a Java class, but really, jackson should be used in that case
  110. generator.writeString(value.toString());
  111. //throw new ElasticsearchIllegalArgumentException("type not supported for generic value conversion: " + type);
  112. }
  113. }

我们看下这部分：XContentBuilder.defaultDatePrinter.print(((Date) value).getTime()) 进去后。看到如下：


 
  1. /**
  2. * Prints a millisecond instant to a String.
  3. * <p>
  4. * This method will use the override zone and the override chronology if
  5. * they are set. Otherwise it will use the ISO chronology and default zone.
  6. *
  7. * @param instant millis since 1970-01-01T00:00:00Z
  8. * @return the printed result
  9. */
  10. public String print(long instant) {
  11. StringBuilder buf = new StringBuilder(requirePrinter().estimatePrintedLength());
  12. try {
  13. printTo((Appendable) buf, instant);
  14. } catch (IOException ex) {
  15. // StringBuilder does not throw IOException
  16. }
  17. return buf.toString();
  18. }

 

看到这里就明白了吧。他最终的输出方式都是以字符串输出，只是默认的格式是：1970-01-01T00:00:00Z ，也就是默认的 UTC 格式。我的时间转换结果成：2016-07-04T03:03:12.616Z 这里并且有时区的概念，东八区，这里输出的时间少了8 个小时。这个得注意。

总结了下。最终输出都是String 类型。感觉不友好。我本想的是，我不管存入是怎么样，我取出来得是Date 对象就可以了。

官网时间（Date）格式说明

关于时间类型说明：https://www.elastic.co/guide/en/elasticsearch/reference/current/date.html

关于时间类型格式化：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html#strict-date-time

JSON doesn’t have a date datatype, so dates in Elasticsearch can either be:

  • strings containing formatted dates, e.g. "2015-01-01" or "2015/01/01 12:10:30".
  • a long number representing milliseconds-since-the-epoch.
  • an integer representing seconds-since-the-epoch.

Internally, dates are converted to UTC (if the time-zone is specified) and stored as a long number representing milliseconds-since-the-epoch.

Date formats can be customised, but if no format is specified then it uses the default:


 
  1. "strict_date_optional_time||epoch_millis"

This means that it will accept dates with optional timestamps, which conform to the formats supported by strict_date_optional_time or milliseconds-since-the-epoch.

解决方法及问题：

1.时间输出格式，如果是默认 UTC  格式，时间不是我们常用的格式，而且时区问题，少了8个小时。

    解决方案：

  • 直接用毫秒值，缺点为不直观。

  • 直接设置format为你想要的格式，比如“yyyy-MM-dd HH:mm:ss” 然后存储的时候，指定格式，并且 Mapping  也是指定相同的format 。

2.存储Date，和取出来也是Dete？

    解决方案：

好了上面观点纯属个人观点。可能存在错误和参杂个人色彩。请勿作为直接参考。错误的地方，请在下面留言。

Elasticsearch的数据类型
JustinMars的博客
11-08 1453
Elasticsearch的数据类型
es日期format_es中的date类型
weixin_35509395的博客
12-24 9077
JSON中没有date类型，es中的date可以由下面3种方式表示：①格式化的date字符串，例如"2018-01-01"或者"2018-01-01 12:00:00"②一个long型的数字，代表从1970年1月1号0点到现在的毫秒数③一个integer型的数字，代表从1970年1月1号0点到现在的秒数在es内部，date被转为UTC，并被存储为一个长整型数字，代表从1970年1月1号0点到现在的...
Elasticsearch-Date字段类型
qq_37107851的博客
08-21 1605
JSON没有日期数据类型，因此Elasticsearch中的日期可以是： 包含格式化日期的字符串，例如“2015-01-01”或“2015/01/01 12:10:30”。 表示自历元以来的毫秒数。 表示自历元（配置）起的秒数。 注意：自历元起的毫秒值必须为非负。使用格式化日期表示1970年之前的日期。 在内部，日期转换为UTC（如果指定了时区），并存储为表示自历元起毫秒数的长数字。 日期查询在内部转换为此长表示形式的范围查询，聚合和存储字段的结果根据与字段关联的日期格式转换回字符串。 注意：日
Elasticsearch Date类型，时间存储相关说明
weixin_34234829的博客
07-04 1010
2019独角兽企业重金招聘Python工程师标准>>> ...
ElasticSearch中的date类型
热门推荐
不见其长，日有所长
09-06 2万+
1. 概述 1.1 Date 数据类型 Elasticsearch 数据是以 json格式存储的，而 json中是并没有 date 数据类型，因此 Elasticsearch 中虽然有 date 类型，但在展示时却要转化成另外的格式。 date 类型在 Elasticsearch 展示的格式有下面几种： 将日期时间格式化后的字符串，如 "2015-01-01" 或者 "2015/01/01 12...
elasticsearch中保存时间格式
天下攘攘，皆为利往
06-16 2598
利用logstash从文档中导入数据到es中，若未事先设定数据格式，有可能存储时间并未保存为date格式而是text格式。 时间若保存为text，则在会以字符串数组格式存储在es中，是乱序，不好查询。 若保存为date格式，则会以统一的字符串进行存储 实际操作中，最常用的时间格式"yyyy-MM-dd HH:mm:ss"，不会自动识别保存为date格式，而"yyyy-MM-dd"、“yyyyMMdd”、“yyyyMMddHHmmss”、“yyyy-MM-ddTHH:mm:ss”、“yyyy-MM-d
ElasticSearch里面关于日期的存储方式
三劫散仙
04-01 1万+
在ElasticSearch里面最常用的就是时间字段了，经常会在群里看到一些小伙伴提出有关时间的问题，为什么es查询的时间跟我实际看到的时间差8个小时呢。如果我们了解了ElasticSearch底层的时间存储方式就会比较容易的理解这个问题。 下面散仙先普及下时区的知识，想必大家也不陌生学过地理的同学都知道全球有24个时区每个时区的跨度是经度15度， 相较于两地时间表，可以显示世界各时区
es查询时间long转date_Elasticsearch 5.x 源码分析（13）探讨ES的long_range,date_range类型，可能不仅只是语法糖...
weixin_36015177的博客
01-14 1275
好久没看书了，最近闲来无事，针对ES的range查询的一些毛刺问题，想办法如何去降低(避免是避免不了了)。无意中在ES的官网看到一篇博客，光看标题肯定就觉的吊炸天了吧。话说Elasticsearch 5.2 开始就引入了integer_range,float_range, long_range,double_range和date_range，好吧，老实说，之前从来没有关心过它。直到有一天突然想到...
【Elasticsearch】date range聚合
risc123456的博客
02-05 908
假设你有一个日志索引`logs`，其中的`timestamp`字段记录了日志的时间戳（以 UTC 存储）。例如，如果你的数据存储在 UTC，但需要按用户所在时区进行分析，可以使用`time_zone`参数。确保`from`和`to`的日期格式与`format`参数一致。虽然`date_range`聚合在 Elasticsearch 中是高效的，但在处理大量数据时，仍需注意性能影响。`date_range`聚合非常适合按时间段分析数据，例如按月、按季度或按年分析销售数据、用户活动等。
时间处理核心原理与Easy-ES实战避坑指南
最新发布
lucky_love816的博客
03-31 1016
由于我们项目中引入了es组件，针对es中存储了很多关于日期的问题，由于我们项目需要实现国际化所以肯定需要考虑时区问题，所以es中日期相关的字段都采用了时间戳，那如何优雅的将业务中不同类型的日期值在写入到es中转换成时间戳的问题进行了延伸，包括前期一篇博客也发布了关于时区问题的处理给出的代码是Java语言，涉及到一个类的字段定义和设置方法。具体来说，用户有一个result对象，调用了setClientTime方法，传入的参数是data.getClientTime()。
Elasticsearch: date时间数据格式踩过的坑
qq_39198749的博客
10-26 1051
elasticsearch date类型数据
Elasticsearch中的date查询
qq_24487005的博客
04-06 3140
1、date的默认格式 date格式可以在put mapping的时候用 format 参数指定，如果不指定的话，则启用默认格式，是"strict_date_optional_time||epoch_millis"。这表明只接合"strict_date_optional_time"格式的字符串值，或者long型数字。 实测，仅支持如下格式： “yyyy-MM-dd” “yyyyMMdd” “yyyyMMddHHmmss” “yyyy-MM-ddTHH:mm:ss” “yyyy-MM-ddTHH
springboot集成elasticsearch注意事项
aabbyyz的博客
11-05 2364
分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 一、elasticse
Elasticsearch中的date与时区问题
不见其长，日有所长
06-23 1万+
1 前言 本文主要讲解Elasticsearch中date类型数据的底层存储原理，以及对带时区日期字符串和不带时区的日期字符串如何在ES底层存储进行验证。对于直接存储Long类型时间戳，不作过多描述。 1.1 Date类型数据的存储 UTC(Universal Time Coordinated) 叫做世界统一时间，中国大陆所用的时间是东8区时间，比UTC时间超前8小时。即与 UTC 的时差是 +8 ,也就是 UTC+8。 在Elasticsearch内部，不论 date 是什么展示格式，所有date类型数据
elasticsearch解决JAVA日期型数据的导入
FV8023的博客
07-24 5909
前几天练习使用JAVA向es导入数据，想到了日期型数据是怎么处理的。然后在网上查询了解到es日期型如果使用JAVA导入会出现8小时的时差，具体出现的原因请转到https://blog.csdn.net/linkedin_38160998/article/details/68951075或者自己百度。 网上不少的解决方式，我觉得需要自己来写一下。 第一种：使用时间戳记录时间。 存入数据时，使用...
Elasticsearch date 类型详解
拜占庭GeekMake的博客
05-18 991
elasticsearch 数据是以 JSON 格式存储的，而JSON中是并没有date数据类型，因此 Elasticsearch 中虽然有date类型，但在展示时却要转化成另外的格式。 date类型在 Elasticsearch 展示的格式有下面几种： 将日期时间格式化后的字符串，如 "2015-01-01" 或者 "2015/01/01 12:10:30" long 型的整数，意义是milliseconds-since-the-epoch，翻译一下就是自1970-01-01 00:...
Elasticsearch 介绍及java集成
yuechuzhixing的博客
07-18 1万+
Elasticsearch 介绍及java集成
elasticsearch Date数据类型和时区的常见问题及解决方案
qq_50790981的博客
07-07 3576
由于es内部date类型默认时区为UTC且不可修改，在实际使用时可能会出现一些时区转换相关的问题。包含1：查看时发现es写入后的时间值比实际时间相差8小时；2：使用date histogram做聚合查询涉及时区问题；3：使用now函数进行时间范围过滤出现错误
elasticsearch中date类型的字段如何映射到java实体
12-31
### 将Elasticsearch中的日期类型字段映射到Java实体类 为了将Elasticsearch中的日期类型字段正确映射至Java实体类，需遵循特定的配置方法。通过使用`@Field`注解可以指定文档属性及其对应的类型，在此情况下为日期类型。 ```java import org.springframework.data.annotation.Id; import org.springframework.data.elasticsearch.annotations.Document; import org.springframework.data.elasticsearch.annotations.Field; import org.springframework.data.elasticsearch.annotations.FieldType; import java.util.Date; @Document(indexName = "example-index") public class ExampleEntity { @Id private String id; @Field(type = FieldType.Date) private Date createdDate; // Getters and Setters } ``` 上述代码展示了如何创建一个简单的Java实体类来表示存储于Elasticsearch索引内的文档，并指定了名为`createdDate`的字段作为日期类型的实例[^1]。 对于更复杂的场景，可能还需要调整应用程序或Elasticsearch服务端的相关设置以确保时间戳能够被正确定义和解析。这通常涉及到修改`config/elasticsearch.yml`配置文件中的参数，例如设定默认的时间格式等[^3]。 当处理自定义转换逻辑时，可以通过扩展`ElasticsearchEntityMapper`并覆盖其行为来支持额外的数据类型映射需求： ```java @Bean @Override public EntityMapper entityMapper() { ElasticsearchEntityMapper entityMapper = new ElasticsearchEntityMapper( elasticsearchMappingContext(), new DefaultConversionService() ); entityMapper.setConversions(elasticsearchCustomConversions()); return entityMapper; } ``` 这段配置允许开发者注册自己的转换规则以便更好地控制数据之间的相互转化过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值