专注收集记录技术开发学习笔记、技术难点、解决方案
网站信息搜索 >> 请输入关键词:
您当前的位置: 首页 > 行业应用

ElasticSearch 文档治理

发布时间:2010-06-06 17:32:39 文章来源:www.iduyao.cn 采编人员:星星草
ElasticSearch 文档管理
es里的文档是不可改变的,我们不能改变它们。
如果你想更新一个已经存在的文档,我们重新索引或者替换它,可以使用同样的API。
 
PUT /website/blog/123
{
  "title": "My first blog entry",
  "text":  "I am starting to get the hang of this...",
  "date":  "2014/01/02"
}
 
响应如下:可以看到已经修改了_version字段。
{
  "_index" :   "website",
  "_type" :    "blog",
  "_id" :      "123",
  "_version" : 2,
  "created":   false
}
 
created标识为false,表明已经有这么一个index,type,ID的组合存在过。
 
es已经标记了老的文档为删除,并且增加了一个全新的文档。
老版本的文档不会立刻消失,尽管你已经不能再访问它。
es会后台删除标记为删除的文档。
 
后面将讨论更新API,可以部分更新文档。看起来像是更新部分文档,实际上仍然是执行了一样的操作。
1 从老的文档中检索JSON
2 改变它。
3 删除老文档
4 索引新的文档。
 
也就是说依靠老的文档来获得新的文档,然后删除老文档,索引新文档。
唯一的不同在于:更新API在一次请求内完成。而不需要用户get一次加上index一次。
http://my.oschina.net/qiangzigege/blog/264292
 
 
 
 
 
 
 
 
 
 
我们怎么能够保证,当索引一个文档,我们创建了一个全新的新文档而不是覆盖一个已经存在的文档。
 
记得组合(_index,_type,_id)唯一标示了一个文档,最容易的方式来检验我们的文档是新的,
就是让es自己增加一个id.使用post.
 
POST /website/blog/
{ ... }
 
尽管如此,如果我们已经有了一个_id想使用,我们需要告诉es:它应该接受我们的请求当这个    ID没有被使用时,
有两种方法,自己视方便而定。
1)
PUT /website/blog/123?op_type=create
{ ... }
2)
PUT /website/blog/123/_create
{ ... }
 
如果请求成功的创建了新的文档,es将会返回之前一样的信息,http返回码为201 Created.
 
另外一方面,如果一个文档已经用了这个ID,es返回409码表明冲突。
可能的错误信息如下:
{
  "error" : "DocumentAlreadyExistsException[[website][4] [blog][123]:
             document already exists]",
  "status" : 409
}

 

http://my.oschina.net/qiangzigege/blog/264299
 
 
 
 
 
删除文档:
DELETE /website/blog/123
 
如果文档找到了,es返回一个200 OK码,如下:注意,_version数字已经改变。
{
  "found" :    true,
  "_index" :   "website",
  "_type" :    "blog",
  "_id" :      "123",
  "_version" : 3
}
如果文档没找到,返回404.
 
{
  "found" :    false,
  "_index" :   "website",
  "_type" :    "blog",
  "_id" :      "123",
  "_version" : 4
}
尽管文档不存在,没有找到它,_version仍然增加。
这是内部机制,保证多节点的变动按照顺序执行。
 
如更新文档时所说,删除一个文档不会立刻从磁盘删除文档,仅仅标记为删除。
es将在你索引别的文档时后台删除标记为删除的文档。
http://my.oschina.net/qiangzigege/blog/264305
 
 
 
 
 
 
 
当使用index API来更新文档时,我们读取原始文档,做出修改,重新索引整个文档,一口气完成。
 
最后一次的索引请求胜出,如果某人之前做出了文档改变,它的改变将会丢失。
 
通常,这不是一个问题,也许我们的主数据存储时一个关系型数据库,我们只是把数据复制到了ES来让它可以搜索,
也许基本不可能有两个人同一时间改变了同一个文档,或者文档改变的丢失对业务来说无关紧要。
 
但是,有的时候,丢失改变非常关键,想象一下,我们正在使用es来存储在线商店里的库存的物品数量,
每次我们卖出了一个,我们减少数量。
 
有一天,管理者决定卖,突然,我们每秒钟卖出一些物品,想象两个web进程,同时运行,都在处理同一个物品。
图7:没有并发控制的结果。
 
web_1做出的数量改变已经丢失,因为web_2不知道它的数据失效了,
结果就是:我认为我们有更多的物品,实际上不然,这会让客户失望。
操作越频繁,或者读和更新操作之间的时长越大,丢失越会发生。
 
有两种方法来保证并发的正确性。
 
悲观并发控制策略:
作为已经被关系型数据库广泛使用的策略,假设冲突很容易发生,
锁住相关资源来预防竞争,典型的例子就是:在读数据之前,锁住一行,保证当前线程可以做出改变。
 
乐观并发控制策略
这是es使用的策略,假设冲突不太可能发生,不阻止操作。
尽管如此,如果在读和写之间,数据已经改变,更新将会失败。
这得由应用自己决定如何解决这个问题,比如:
可以使用新的数据重新更新,或者报告失败给用户。
http://my.oschina.net/qiangzigege/blog/264322
 
 
 
 
 
 
es是一个分布式的系统,当文档创建,更新或者删除,新版本的文档必须复制到其它节点,
es同时也是异步和并发的,这意味着这些备份请求同时发送,并且可能乱序到达目的地,
这就需要一种策略来保证旧版本的文档不会覆盖新版本的文档。
 
当我们讨论索引,get/delete请求,我们指出:每个文档有一个_version字段,当文档改变时
这个字段自增,es使用这个数字来保证改变的应用按照正确的顺序来做,
如果一个旧的文档在新文档之后来到,简单的被丢弃。
 
我们可以通过_version字段来受益,保证冲突不会导致数据丢失。
我们通过指定文档的版本号。如果版本号不是最新的,请求将会失败。
 
先创建一个文档。
PUT /website/blog/1/_create
{
  "title": "My first blog entry",
  "text""Just trying this out..."
}
 
响应体告诉我们这是一个新创建的文档,版本号为1
现在想象一下,我们需要编辑这个文档,我们下载这个文档,改变,保存。
 
先检索这个文档。
GET /website/blog/1
 
响应体如下:
{
  "_index" :   "website",
  "_type" :    "blog",
  "_id" :      "1",
  "_version" : 1,
  "found" :    true,
  "_source" :  {
      "title": "My first blog entry",
      "text""Just trying this out..."
  }
}
当我们尝试修改保存改变,我们指定了版本号。
 
PUT /website/blog/1?version=1
{
  "title": "My first blog entry",
  "text""Starting to get the hang of this..."
}
 
请求成功,响应体告诉我们版本号变为2.
{
  "_index":   "website",
  "_type":    "blog",
  "_id":      "1",
  "_version": 2
  "created"false
}
 
尽管如此,如果我们再去发同样的请求,也就是version=1,
es将返回一个409冲突。
响应体如下:
{
  "error" : "VersionConflictEngineException[[website][2] [blog][1]:
             version conflict, current [2], provided [1]]",
  "status" : 409
}
告诉我们,目前的版本号是2,但是我们想要更新版本号1的文档。
 
我们可以告诉用户某人已经改变了文档,然后应该在重新尝试前看一下改变。
我们也可以重新检索最新文档再改变。
 
所有的API(update/delete)接收一个版本号参数,容许我们应用乐观并发控制。
 
使用外部系统的版本号
 
一个常用的设置是:使用其它数据库作为主数据存储,es让数据可搜索,
也就是说,所有对主数据库的改变需要复制到es.如果有多个进程涉及到数据同步,你将会碰到并发问题。
 
如果你的主数据库已经有一个版本号,或者时间戳之类,你可以使用这些值,通过添加
version_type=external.
版本号必须是整数,大于0,小于9.2e+18 。
 
这种方式跟内部的版本号有点区别:
之前是判断es里的版本号和用户提交的参数是否一致,现在是比较目前的版本号是否比参数小,
如果请求成功,外部的版本号就成功存储。
 
外部的版本号不仅可以在索引和删除一个文档时指定,创建新文档时也可以指定。
 
比如说,创建一个新的blog文档,带有一个版本号5
 
 
PUT /website/blog/2?version=5&version_type=external
{
  "title": "My first external blog entry",
  "text""Starting to get the hang of this..."
}
 
响应体:
{
  "_index":   "website",
  "_type":    "blog",
  "_id":      "2",
  "_version": 5,
  "created"true
}
 
更新
 
PUT /website/blog/2?version=10&version_type=external
{
  "title": "My first external blog entry",
  "text""This is a piece of cake..."
}
 
 
响应体:
{
  "_index":   "website",
  "_type":    "blog",
  "_id":      "2",
  "_version": 10,
  "created"false
}
如果你重新执行,会失败,因为版本号不够大。
http://my.oschina.net/qiangzigege/blog/264346
 
 
 
 
 
 
 
 
 之前的更新整个文档时,我们说了:
更新文档的方法是检索,修改,然后重新索引。这是对的。
 
 
尽管如下,使用更新API,我们可以做部分更新操作,比如增加一个计数器的值。
 
我们同时也说,文档不可改变,它们不能被改变,仅仅是替换,更新API必须遵循这个规则。
对外显示的是:我们是部分更新文档,内部来说,更新API执行同样的 检索-更新-重新索引 的过程,
 
不同之处在于,这个过程在一个分片内部发生,避免多个请求造成的负载。
通过减少检索和重新索引的间隔,也可以减少冲突的可能性。
 
 
举个例子,
 
POST /website/blog/1/_update
{
   "doc" : {
      "tags" : [ "testing" ],
      "views": 0
   }
}
 
响应如下:
{
   "_index" :   "website",
   "_id" :      "1",
   "_type" :    "blog",
   "_version" : 3
}
 
检索结果:
 
{
   "_index":    "website",
   "_type":     "blog",
   "_id":       "1",
   "_version":  3,
   "found":     true,
   "_source": {
      "title""My first blog entry",
      "text":   "Starting to get the hang of this...",
      "tags": [ "testing" ],
      "views":  0
   }
}
新的字段已经被添加。
 http://my.oschina.net/qiangzigege/blog/264361
 
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。

其他相似内容:

  • 《松本行弘的程序全世界》之面向对象

    《松本行弘的程序世界》之面向对象 最近读《SICP》把脑细胞搞死大半,还没看完2章,而且看得也是一知半解,实在是受不了了,...

  • GroovyHelp 3.2.7 GA公布

    GroovyHelp 3.2.7 GA发布 GroovyHelp简介   GroovyHelp是一款Javadoc及Groovydoc搜索查阅软件,它能够帮助Java开发人员以...

  • Velocity在Roller中的使用

    Velocity在Roller中的应用 Velocity是java世界中出现比较早,也比较成熟的、性能比较好的、应用也比较广泛的模板框架。   所...

  • Rpc远程调用框架的设计与兑现(2)

    Rpc远程调用框架的设计与实现(2) 接上: 3   基于Json的前后端数据交互 3.1   轻量级的数据交换形式 3.1.1    什么是Jso...

  • excel 单元格的锁定 以及 JXL的兑现方式

    excel 单元格的锁定 以及 JXL的实现方式 在使用excel表格时,有些列是不希望用户可以修改的,诸如审计日志里面确定的部分,而审计...

  • 仓秤跟散料秤:java连接opc Server

    仓秤和散料秤:java连接opc Server 这三篇都是之前写好的,一直没发。 这次一起发出来吧。   java连接硬件很痛苦,特别是对我这...

  • Rpc远程调用框架的设计与兑现(1)

    Rpc远程调用框架的设计与实现(1) Rpc远程调用框架的设计与实现 1     Rpc远程调用框架设计概述 1.1   研究背景 1.1.1...

  • 集合中的线程安全有关问题

    集合中的线程安全问题 一、why? Java中常用的集合框架推荐使用的三个实现:HashSet\ArrayList\HashMap都是线程不安全的.如...

  • Java定时任务的兑现

    Java定时任务的实现 本例依据Java自身提供的接口实现,通过监听器(Listener)和定时器(Timer)定时执行某个任务(Task)。 MyListener: ...

  • java中log日记的使用

    java中log日志的使用 一、介绍  Log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控...

热门推荐: