查询与计算分离的data api架构

广告位招租
扫码页面底部二维码联系

在Morningstar的架构里,dat【作者:唐霜】本文版权归作者所有,未经授权不得转载。a api起着越来越重要的作用,5年前开【版权所有,侵权必究】【原创内容,转载请注明出处】发的版本虽然非常稳定,但已经不能满足我们原创内容,盗版必究。【本文首发于唐霜的博客】现在业务发展的需要,因此新的data a著作权归作者所有,禁止商业用途转载。原创内容,盗版必究。pi被设计为一个统一接口,也就是所有的产【本文受版权保护】【访问 www.tangshuang.net 获取更多精彩内容】品都通过data api获得数据,只有d【本文首发于唐霜的博客】【未经授权禁止转载】ata api与后端的数据库进行交互。

转载请注明出处:www.tangshuang.net原创内容,盗版必究。

我所工作的领域全部是前端,因此对于我们而【原创内容,转载请注明出处】【原创不易,请尊重版权】言,大部分情况下,都只需要通过ajax向【本文受版权保护】【版权所有】唐霜 www.tangshuang.netdata api发出请求,或者通过一个本【转载请注明来源】【原创内容,转载请注明出处】地的代理,用node构建数据请求代理层,【版权所有】唐霜 www.tangshuang.net转载请注明出处:www.tangshuang.net实现请求转发,实际上是data api的【原创不易,请尊重版权】【关注微信公众号:wwwtangshuangnet】前端处理而已。

【访问 www.tangshuang.net 获取更多精彩内容】【本文受版权保护】【版权所有,侵权必究】本文版权归作者所有,未经授权不得转载。

但是今天在接触的过程里面,我发现我们的d【关注微信公众号:wwwtangshuangnet】原创内容,盗版必究。ata api还分为SqlMart和Na未经授权,禁止复制转载。【关注微信公众号:wwwtangshuangnet】tisa,一直搞不明白怎么data ap【本文首发于唐霜的博客】【关注微信公众号:wwwtangshuangnet】i还分。经过一番了解之后,原来这两个只是著作权归作者所有,禁止商业用途转载。本文作者:唐霜,转载请注明出处。data api的两个服务,其中SqlM转载请注明出处:www.tangshuang.net【未经授权禁止转载】art负责获取轻量级的数据,直接向前端返【未经授权禁止转载】【版权所有,侵权必究】回数据,而如果需要进行数据运算,则会将服【未经授权禁止转载】【版权所有,侵权必究】务转向Natisa,通过Natisa运算转载请注明出处:www.tangshuang.net未经授权,禁止复制转载。后,将结果返回给前端。

【作者:唐霜】【未经授权禁止转载】

不过由于历史的原因,这两个服务之间并不能【版权所有】唐霜 www.tangshuang.net本文版权归作者所有,未经授权不得转载。很好的兼容,特别是一些datapoint【版权所有,侵权必究】转载请注明出处:www.tangshuang.net,在名称上也不一样,这导致如果前端要从N【原创不易,请尊重版权】本文版权归作者所有,未经授权不得转载。atisa切换到SQLMart服务,不得【转载请注明来源】【访问 www.tangshuang.net 获取更多精彩内容】不修改一些字段名称。

【原创不易,请尊重版权】【本文首发于唐霜的博客】

data-api-service

本文作者:唐霜,转载请注明出处。【关注微信公众号:wwwtangshuangnet】转载请注明出处:www.tangshuang.net

但如果我们忽略这个问题,从理想的状态来考本文作者:唐霜,转载请注明出处。【本文首发于唐霜的博客】虑,这样的设计有什么样的好处,应该怎么来著作权归作者所有,禁止商业用途转载。未经授权,禁止复制转载。运行呢?

【版权所有,侵权必究】转载请注明出处:www.tangshuang.net【作者:唐霜】【关注微信公众号:wwwtangshuangnet】

查询与计算分离的好处

一般大型的公司后面都有海量的数据,而且由原创内容,盗版必究。著作权归作者所有,禁止商业用途转载。于业务涉及面广,数据格式基本上都是杂乱的未经授权,禁止复制转载。本文版权归作者所有,未经授权不得转载。,虽然大数据系统已经被广泛运用,但是在d著作权归作者所有,禁止商业用途转载。【版权所有】唐霜 www.tangshuang.netata api这一层,仍然尚未做到这么智【未经授权禁止转载】【原创内容,转载请注明出处】能,仍然需要开发者完成查询与计算两个其实转载请注明出处:www.tangshuang.net本文作者:唐霜,转载请注明出处。可以完全分开的业务。

【本文首发于唐霜的博客】转载请注明出处:www.tangshuang.net

SQLMart和Natisa属于服务级别著作权归作者所有,禁止商业用途转载。本文作者:唐霜,转载请注明出处。的应用,服务级别也就是service,负【版权所有】唐霜 www.tangshuang.net转载请注明出处:www.tangshuang.net责不同的具体任务,对于只是查询而言,比如未经授权,禁止复制转载。【版权所有,侵权必究】立即查询出当前某只股票的价格,或者上月结原创内容,盗版必究。未经授权,禁止复制转载。束某只基金的流出等等具体的数据(这些数据【未经授权禁止转载】著作权归作者所有,禁止商业用途转载。以非常明确的值保存在数据库中),则直接通本文版权归作者所有,未经授权不得转载。【版权所有】唐霜 www.tangshuang.net过SQLMart进行查询取出。

未经授权,禁止复制转载。著作权归作者所有,禁止商业用途转载。原创内容,盗版必究。【关注微信公众号:wwwtangshuangnet】

但是对于一些需要统计后运算的数据,就需要【转载请注明来源】【本文受版权保护】有一个强大的计算服务来完成。举一个例子,本文作者:唐霜,转载请注明出处。原创内容,盗版必究。我希望获得某只基金的回报率在过去十年在具著作权归作者所有,禁止商业用途转载。【未经授权禁止转载】体分类中的百分位排名,并且按季度返回最近【本文首发于唐霜的博客】【版权所有,侵权必究】一期之前的所有数据,那么这个具体场景中就【访问 www.tangshuang.net 获取更多精彩内容】原创内容,盗版必究。需要进行计算。需要查询出过去十年每一年的本文作者:唐霜,转载请注明出处。【版权所有,侵权必究】回报率以及当年的每月回报率,然后再进行时原创内容,盗版必究。本文作者:唐霜,转载请注明出处。间区间内的累加,得到一个total值,再【版权所有】唐霜 www.tangshuang.net【本文首发于唐霜的博客】在这个时间区间内进行降序排序,再进行百分【原创内容,转载请注明出处】未经授权,禁止复制转载。位排名运算,最后将这个结果返回。由于这个【版权所有】唐霜 www.tangshuang.net【未经授权禁止转载】过程里面可能涉及几万条甚至几十万条数据,原创内容,盗版必究。本文作者:唐霜,转载请注明出处。而且由于这个需求并不固定,比如时间区间、本文作者:唐霜,转载请注明出处。【关注微信公众号:wwwtangshuangnet】步幅等等都可以让用户自己选择,而且当前数【作者:唐霜】本文作者:唐霜,转载请注明出处。据还在变化,所以根本没法缓存一个数据下来【原创不易,请尊重版权】【原创内容,转载请注明出处】(一些历史确定数据可以变相缓存),只能即本文作者:唐霜,转载请注明出处。转载请注明出处:www.tangshuang.net时进行运算,这时就需要Natisa进行运【原创不易,请尊重版权】【版权所有,侵权必究】算。

本文版权归作者所有,未经授权不得转载。【版权所有】唐霜 www.tangshuang.net

可以想象,这两个service肯定由不同【原创不易,请尊重版权】著作权归作者所有,禁止商业用途转载。的服务器来完成,这样就算其中一个挂掉或出本文作者:唐霜,转载请注明出处。【转载请注明来源】现bug,也不会影响另外一个服务。
本文作者:唐霜,转载请注明出处。 无论是在性能上,还是在业务专注度上,这【版权所有,侵权必究】【本文首发于唐霜的博客】种区分都对整体的维护有好处。

【未经授权禁止转载】本文版权归作者所有,未经授权不得转载。【作者:唐霜】著作权归作者所有,禁止商业用途转载。

架构的想象空间

前端请求数据时,可以事先作出预判,决定采【版权所有,侵权必究】本文作者:唐霜,转载请注明出处。用哪一个服务来返回数据。有些可以更快获得本文作者:唐霜,转载请注明出处。著作权归作者所有,禁止商业用途转载。的数据,可以提前加载出来,从而更快渲染界【原创不易,请尊重版权】【访问 www.tangshuang.net 获取更多精彩内容】面,而需要长时间运算的数据,就放到后面再本文版权归作者所有,未经授权不得转载。【本文受版权保护】渲染。

本文版权归作者所有,未经授权不得转载。【转载请注明来源】

而对于服务端而言,也有了自己的一些空间,【作者:唐霜】【本文受版权保护】如果把所有的运算都放在Natisa,那么未经授权,禁止复制转载。本文版权归作者所有,未经授权不得转载。整个公司那么多产品都从Natisa去运算【转载请注明来源】原创内容,盗版必究。,再牛逼的服务器,也可能承受不住压力而宕【访问 www.tangshuang.net 获取更多精彩内容】原创内容,盗版必究。机,对于每个产品自己的server,可以【本文受版权保护】【转载请注明来源】根据自己的情况,从SQLMart获取细粒【转载请注明来源】著作权归作者所有,禁止商业用途转载。度很小的数据后进行小型的运算,返回给前端【原创内容,转载请注明出处】【本文受版权保护】,这样不走Natisa,可能也能给前端速【未经授权禁止转载】【访问 www.tangshuang.net 获取更多精彩内容】度带来一些优化。

【访问 www.tangshuang.net 获取更多精彩内容】未经授权,禁止复制转载。转载请注明出处:www.tangshuang.net【访问 www.tangshuang.net 获取更多精彩内容】

而对于SQLMart而言,由于它的任务非【未经授权禁止转载】【原创不易,请尊重版权】常轻量,所以甚至可以起到代理的作用,当来【原创不易,请尊重版权】【版权所有,侵权必究】自前端的请求的数据并不能直接从SQLMa未经授权,禁止复制转载。转载请注明出处:www.tangshuang.netrt得到时,它甚至可以将请求转发给Nat【作者:唐霜】本文版权归作者所有,未经授权不得转载。isa,这样相当于做了一个Mapping转载请注明出处:www.tangshuang.net【本文首发于唐霜的博客】,对于前端而言,完全无需区分到底是哪一个【关注微信公众号:wwwtangshuangnet】未经授权,禁止复制转载。服务在为自己提供数据,甚至真的可以把da【转载请注明来源】【版权所有】唐霜 www.tangshuang.netta api当做黑箱,请求数据,拿到数据【未经授权禁止转载】本文版权归作者所有,未经授权不得转载。

著作权归作者所有,禁止商业用途转载。【关注微信公众号:wwwtangshuangnet】著作权归作者所有,禁止商业用途转载。

在Morningstar,虽然工作的都是未经授权,禁止复制转载。【原创不易,请尊重版权】前端的内容,但是由于公司是以数据为支撑的未经授权,禁止复制转载。【作者:唐霜】技术架构,所以在整体的技术框架上,还是比【版权所有】唐霜 www.tangshuang.net【原创内容,转载请注明出处】较保守一些,使用的技术都是需要等到它在市【作者:唐霜】【关注微信公众号:wwwtangshuangnet】场上表现的非常稳定之后才敢用,这无疑阻碍【转载请注明来源】【版权所有,侵权必究】了我们快速学习和掌握新技术的实践途径。但本文版权归作者所有,未经授权不得转载。【未经授权禁止转载】是,也正因为这样,Morningstar【原创不易,请尊重版权】未经授权,禁止复制转载。的架构非常成熟,在数据端的沉淀也很有深入【访问 www.tangshuang.net 获取更多精彩内容】【原创内容,转载请注明出处】学习的空间,一旦掌握了,我相信在任何一家【本文受版权保护】本文作者:唐霜,转载请注明出处。以数据见长的公司,都可以非常容易上手。

【版权所有】唐霜 www.tangshuang.net【原创不易,请尊重版权】著作权归作者所有,禁止商业用途转载。【原创内容,转载请注明出处】

2016-10-24 6609

为价值买单,打赏一杯咖啡

本文价值66.09RMB