专注收集记录技术开发学习笔记、技术难点、解决方案
网站信息搜索 >> 请输入关键词:
您当前的位置: 首页 > Go

论mongo-connector怎么将MongoDB中的json数组和嵌套对象更新至Solr引擎

发布时间:2011-06-29 18:15:57 文章来源:www.iduyao.cn 采编人员:星星草
论mongo-connector如何将MongoDB中的json数组和嵌套对象更新至Solr引擎

有一些东西记录下来,不久之后就会再次用到。

1. 使复杂的嵌套对象从MongoDB更新到Solr


最近使用mongo-connector将MongoDB与Solr打通,对于简单的json,更新是没问题了。这次我们遇到的问题是,如果json中某一个field的值是数组类型,或者有嵌套了一个对象,那该怎么整。比如,我们在MongoDB中插入这么个货:
{
    "_id": "555df36ec6cd08ea807a4324", 
    "name": "小米手机", 
    "comments": [
        {
            "text": "手机是正品", 
        }, 
        {
            "text": "物流真他妈快", 
        }
    ]
}

这东西能同步到Solr吗,我手心真是一把汗一把汗啊。经过多次尝试,非常不幸,轰轰烈烈的失败了。
无奈,去我们伟大的官方说明看一看吧,https://github.com/10gen-labs/mongo-connector/wiki/Usage%20with%20Solr ,其中有一段:Key Names and Document Flattening,尼玛前几天还没有这段说明好不,真是坑爹啊。算了,不管怎样,看起来这东西针对上面那种json还是有办法的,按照说明,上面那段json应该转换成以下形式:
{
    "_id": "555df36ec6cd08ea807a4324", 
    "name": "小米手机", 
    "comments.0.text":"手机是正品",
    "comments.1.text":"物流真他妈快"
}

然后提交给Solr。并且,我们从官方文档中看不出来任何需要配置的地方,难道,默认安装好,这些东西就能行?Oh,No~~~~
这是为什么呢,我们看看官方对schema.xml的说明,原来关键点在这,大概意思就是mongo-connector会读取这个配置文件,在将数据提交给Solr之前,会将数据中没有在schema.xml中声明的field去掉。
哦,原来如此,应该是形如"comments.0.text"这样的field没有被schemal.xml声明,所以被去掉了,在Solr中见不到。那么我们对症下药,既然没有声明这个域,我们声明不就好了,在schema.xml中加入:
<field name="comments.0.text" type="text_mmseg4j_complex" indexed="true" stored="true"/>

schema.xml的路径参考上一篇文章。重启Solr,保持mongo-connector开启,重新往MongoDB中插入上面那段json,哇,ok,我们可以在Solr前端看到"comments.0.text"了,伟大的革命征程终于迈出了第一步!
成功之后,你可能还想显示"comments.1.text",如法炮制。那么,问题来了,如果我数组中有多个对象,无限多,难道我要把所有的可能field都声明一遍?
这个问题问的真是极好的!我们不得不说schema.xml是个非常重要的东西!
这个时候,我们要用到在schemal.xml中的另外一种东西,dynamicField。这东西看起来可以通配多个名称,按照已有的示例。那么,按照我们的需求,我们这样添加:
<dynamicField name="comments*" type="text_mmseg4j_complex" indexed="true" stored="true"/>

这个意思很明显了,就是声明了所有通配comments*的域,这样我们就可以把所有的comments*一网打尽了。
如果想进一步探究mongo-connector怎样做到上面这些的,可以参考python文件:
/usr/local/lib/python2.7/dist-packages/mongo_connector/doc_managers/solr_doc_manager.py

到这,我们就完成了更新这一伟大使命。

2. 在Solr中对嵌套对象及数组进行Query


按照1中所述,我们目前可以在Solr前端看到更新的字段,并且,这些字段已经被Solr建立索引,那么我们该如何查询他们呢,比如我们想用关键字“正品”在所有的形如"comments.*.text"的字段中命中到“手机是正品”这个值。令人遗憾的是,Solr提供给我们值的各种查询手段,却不给我们指定目标field的各种手段,我们只是形如"comments.*.text",但事实上,我们并不能在Solr中这样指定要搜索的域。
这时,不得不再次说一句,schema.xml真特么太重要了,我们用到了里面又一个东西copyField。这个东西可以看看schema.xml中的注释,大概意思就是建立索引时source的值可以加入到dest,反过来查询dest也就同时能对source进行查询,关键是多个source可以copy到一个dest啊,这不就正合我意嘛。说了这么多,只需要我们在schema.xml中加入一句:
<copyField source="comments*" dest="text"/>

这个dest的field "text"一定要设置成multiValue="true"哦,不然mongo-connector会报错的,想来应该也是吧,这么多source到一个dest,别问我是怎么知道的,这个确实是我试出来的,中间过程就不多说了。
按照上面所说,这个时候我们对text域进行查找,就会去coments*域查找,设置Solr的df为text,q为关键字,猛击吧,骚年,你会得到想要的东西。
好了,码了这么多,关键点就是这么多了,坑太多,小心小心呐~~
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。

其他相似内容:

  • ModernUI课程:定义一个Logo

    ModernUI教程:定义一个Logo ModernWindow的标题栏包含了一块区域用来显示自定义的窗体Logo: 这个窗体logo通过ModernWindow.LogoD...

  • Django忘记管理员账号和密码的解决方法

    Django忘记管理员账号和密码的解决办法 看着Django的教程学习搭建网站,结果忘记第一次创建的账号和密码了。结果搭建成功以后,一直...

  • GO语言小结(1)——基本知识

    GO语言总结(1)——基本知识 1、注释(与C++一样)   行注释://  块注释:/*   ...  */ 2、标识符   可以这么说,除了数字开头...

  • golang 惯用的文件读取方式

    golang 常用的文件读取方式 Golang 的文件读取方法很多,刚上手时不知道怎么选择,所以贴在此处便后速查。 一次性读取 小文件推荐一...

  • 查询深圳市通相关信息

    查询深圳通相关信息 用 HTTP.GET 从开放 API 中查询深圳通信息,然后将 JSON 数据存入结构体中,再格式化输出。 注意:获取的并不是实...

  • Go语言设计模式实践:结合(Composite)

    Go语言设计模式实践:组合(Composite) 关于本系列 这个系列首先是关于Go语言实践的。在项目中实际使用Go语言也有段时间了,一个体会就...

  • 列出索引和遍历目录

    列出目录和遍历目录 获取目录列表用 ioutil.ReadDir(),遍历目录用 filepath.Walk(),使用方法请参考文章示例。 示例代码: package ma...

  • io 包的惯用接口速记

    io 包的常用接口速记 我没有 C/C++ 基础,没有接口的概念,且从 Python 投奔而来,Python 的极简主义(一个结果往往只提供一个方法),让我在...

  • 代理服务扩充

    代理服务扩展 之前自己实现了一个代理服务,当时考虑的是只要支持SOCKS5就好了,因为我经常用CHROME,配合着SwitchySharp,体验还是很棒...

  • 文件的创造与打开

    文件的创建与打开 文件操作是个很重要的话题,使用也非常频繁,熟悉如何操作文件是必不可少的。Golang 对文件的支持是在 os package ...

热门推荐: