查询与计算分离的data api架构

广告位招租
扫码页面底部二维码联系

在Morningstar的架构里,dat本文作者:唐霜,转载请注明出处。转载请注明出处:www.tangshuang.neta api起着越来越重要的作用,5年前开著作权归作者所有,禁止商业用途转载。【版权所有,侵权必究】发的版本虽然非常稳定,但已经不能满足我们未经授权,禁止复制转载。【版权所有】唐霜 www.tangshuang.net现在业务发展的需要,因此新的data a著作权归作者所有,禁止商业用途转载。本文版权归作者所有,未经授权不得转载。pi被设计为一个统一接口,也就是所有的产本文作者:唐霜,转载请注明出处。【本文首发于唐霜的博客】品都通过data api获得数据,只有d未经授权,禁止复制转载。本文作者:唐霜,转载请注明出处。ata api与后端的数据库进行交互。

【本文首发于唐霜的博客】原创内容,盗版必究。【版权所有】唐霜 www.tangshuang.net【未经授权禁止转载】

我所工作的领域全部是前端,因此对于我们而原创内容,盗版必究。著作权归作者所有,禁止商业用途转载。言,大部分情况下,都只需要通过ajax向本文版权归作者所有,未经授权不得转载。【原创不易,请尊重版权】data api发出请求,或者通过一个本【关注微信公众号:wwwtangshuangnet】【作者:唐霜】地的代理,用node构建数据请求代理层,【版权所有,侵权必究】未经授权,禁止复制转载。实现请求转发,实际上是data api的未经授权,禁止复制转载。【本文受版权保护】前端处理而已。

未经授权,禁止复制转载。【版权所有】唐霜 www.tangshuang.net【转载请注明来源】【本文首发于唐霜的博客】

但是今天在接触的过程里面,我发现我们的d【本文首发于唐霜的博客】未经授权,禁止复制转载。ata api还分为SqlMart和Na转载请注明出处:www.tangshuang.net未经授权,禁止复制转载。tisa,一直搞不明白怎么data ap转载请注明出处:www.tangshuang.net著作权归作者所有,禁止商业用途转载。i还分。经过一番了解之后,原来这两个只是【原创不易,请尊重版权】本文版权归作者所有,未经授权不得转载。data api的两个服务,其中SqlM原创内容,盗版必究。著作权归作者所有,禁止商业用途转载。art负责获取轻量级的数据,直接向前端返转载请注明出处:www.tangshuang.net【作者:唐霜】回数据,而如果需要进行数据运算,则会将服【未经授权禁止转载】【访问 www.tangshuang.net 获取更多精彩内容】务转向Natisa,通过Natisa运算转载请注明出处:www.tangshuang.net本文作者:唐霜,转载请注明出处。后,将结果返回给前端。

未经授权,禁止复制转载。【未经授权禁止转载】【访问 www.tangshuang.net 获取更多精彩内容】【未经授权禁止转载】

不过由于历史的原因,这两个服务之间并不能本文版权归作者所有,未经授权不得转载。本文版权归作者所有,未经授权不得转载。很好的兼容,特别是一些datapoint【未经授权禁止转载】【未经授权禁止转载】,在名称上也不一样,这导致如果前端要从N【版权所有】唐霜 www.tangshuang.net【本文首发于唐霜的博客】atisa切换到SQLMart服务,不得本文作者:唐霜,转载请注明出处。【版权所有】唐霜 www.tangshuang.net不修改一些字段名称。

【本文受版权保护】本文版权归作者所有,未经授权不得转载。原创内容,盗版必究。

data-api-service

【本文受版权保护】著作权归作者所有,禁止商业用途转载。

但如果我们忽略这个问题,从理想的状态来考未经授权,禁止复制转载。本文作者:唐霜,转载请注明出处。虑,这样的设计有什么样的好处,应该怎么来原创内容,盗版必究。本文作者:唐霜,转载请注明出处。运行呢?

【转载请注明来源】【原创内容,转载请注明出处】

查询与计算分离的好处

一般大型的公司后面都有海量的数据,而且由【关注微信公众号:wwwtangshuangnet】【访问 www.tangshuang.net 获取更多精彩内容】于业务涉及面广,数据格式基本上都是杂乱的本文作者:唐霜,转载请注明出处。转载请注明出处:www.tangshuang.net,虽然大数据系统已经被广泛运用,但是在d【关注微信公众号:wwwtangshuangnet】【关注微信公众号:wwwtangshuangnet】ata api这一层,仍然尚未做到这么智转载请注明出处:www.tangshuang.net【版权所有,侵权必究】能,仍然需要开发者完成查询与计算两个其实未经授权,禁止复制转载。未经授权,禁止复制转载。可以完全分开的业务。

【访问 www.tangshuang.net 获取更多精彩内容】原创内容,盗版必究。【转载请注明来源】【转载请注明来源】

SQLMart和Natisa属于服务级别【作者:唐霜】【转载请注明来源】的应用,服务级别也就是service,负【版权所有】唐霜 www.tangshuang.net【原创内容,转载请注明出处】责不同的具体任务,对于只是查询而言,比如转载请注明出处:www.tangshuang.net本文作者:唐霜,转载请注明出处。立即查询出当前某只股票的价格,或者上月结【版权所有】唐霜 www.tangshuang.net【本文首发于唐霜的博客】束某只基金的流出等等具体的数据(这些数据【版权所有】唐霜 www.tangshuang.net转载请注明出处:www.tangshuang.net以非常明确的值保存在数据库中),则直接通【访问 www.tangshuang.net 获取更多精彩内容】【原创内容,转载请注明出处】过SQLMart进行查询取出。

【转载请注明来源】转载请注明出处:www.tangshuang.net本文版权归作者所有,未经授权不得转载。原创内容,盗版必究。

但是对于一些需要统计后运算的数据,就需要原创内容,盗版必究。原创内容,盗版必究。有一个强大的计算服务来完成。举一个例子,著作权归作者所有,禁止商业用途转载。【关注微信公众号:wwwtangshuangnet】我希望获得某只基金的回报率在过去十年在具【版权所有,侵权必究】【关注微信公众号:wwwtangshuangnet】体分类中的百分位排名,并且按季度返回最近【关注微信公众号:wwwtangshuangnet】【本文首发于唐霜的博客】一期之前的所有数据,那么这个具体场景中就转载请注明出处:www.tangshuang.net【访问 www.tangshuang.net 获取更多精彩内容】需要进行计算。需要查询出过去十年每一年的本文版权归作者所有,未经授权不得转载。【本文受版权保护】回报率以及当年的每月回报率,然后再进行时【本文首发于唐霜的博客】【转载请注明来源】间区间内的累加,得到一个total值,再【未经授权禁止转载】【转载请注明来源】在这个时间区间内进行降序排序,再进行百分本文作者:唐霜,转载请注明出处。【关注微信公众号:wwwtangshuangnet】位排名运算,最后将这个结果返回。由于这个未经授权,禁止复制转载。未经授权,禁止复制转载。过程里面可能涉及几万条甚至几十万条数据,【版权所有,侵权必究】【访问 www.tangshuang.net 获取更多精彩内容】而且由于这个需求并不固定,比如时间区间、【转载请注明来源】原创内容,盗版必究。步幅等等都可以让用户自己选择,而且当前数【访问 www.tangshuang.net 获取更多精彩内容】【原创不易,请尊重版权】据还在变化,所以根本没法缓存一个数据下来原创内容,盗版必究。【本文首发于唐霜的博客】(一些历史确定数据可以变相缓存),只能即【版权所有】唐霜 www.tangshuang.net【原创不易,请尊重版权】时进行运算,这时就需要Natisa进行运本文作者:唐霜,转载请注明出处。【访问 www.tangshuang.net 获取更多精彩内容】算。

【关注微信公众号:wwwtangshuangnet】本文版权归作者所有,未经授权不得转载。本文版权归作者所有,未经授权不得转载。

可以想象,这两个service肯定由不同原创内容,盗版必究。【未经授权禁止转载】的服务器来完成,这样就算其中一个挂掉或出【本文首发于唐霜的博客】【本文首发于唐霜的博客】现bug,也不会影响另外一个服务。
著作权归作者所有,禁止商业用途转载。 无论是在性能上,还是在业务专注度上,这转载请注明出处:www.tangshuang.net著作权归作者所有,禁止商业用途转载。种区分都对整体的维护有好处。

本文版权归作者所有,未经授权不得转载。【版权所有】唐霜 www.tangshuang.net著作权归作者所有,禁止商业用途转载。【原创内容,转载请注明出处】

架构的想象空间

前端请求数据时,可以事先作出预判,决定采【本文受版权保护】【未经授权禁止转载】用哪一个服务来返回数据。有些可以更快获得【转载请注明来源】原创内容,盗版必究。的数据,可以提前加载出来,从而更快渲染界著作权归作者所有,禁止商业用途转载。【未经授权禁止转载】面,而需要长时间运算的数据,就放到后面再本文版权归作者所有,未经授权不得转载。【版权所有】唐霜 www.tangshuang.net渲染。

【原创不易,请尊重版权】本文作者:唐霜,转载请注明出处。

而对于服务端而言,也有了自己的一些空间,转载请注明出处:www.tangshuang.net原创内容,盗版必究。如果把所有的运算都放在Natisa,那么本文作者:唐霜,转载请注明出处。【访问 www.tangshuang.net 获取更多精彩内容】整个公司那么多产品都从Natisa去运算【本文首发于唐霜的博客】【原创不易,请尊重版权】,再牛逼的服务器,也可能承受不住压力而宕【作者:唐霜】著作权归作者所有,禁止商业用途转载。机,对于每个产品自己的server,可以【本文首发于唐霜的博客】转载请注明出处:www.tangshuang.net根据自己的情况,从SQLMart获取细粒本文版权归作者所有,未经授权不得转载。【本文受版权保护】度很小的数据后进行小型的运算,返回给前端未经授权,禁止复制转载。【本文受版权保护】,这样不走Natisa,可能也能给前端速【本文首发于唐霜的博客】未经授权,禁止复制转载。度带来一些优化。

【转载请注明来源】本文作者:唐霜,转载请注明出处。著作权归作者所有,禁止商业用途转载。转载请注明出处:www.tangshuang.net

而对于SQLMart而言,由于它的任务非原创内容,盗版必究。【本文受版权保护】常轻量,所以甚至可以起到代理的作用,当来原创内容,盗版必究。【作者:唐霜】自前端的请求的数据并不能直接从SQLMa【原创内容,转载请注明出处】【关注微信公众号:wwwtangshuangnet】rt得到时,它甚至可以将请求转发给Nat【关注微信公众号:wwwtangshuangnet】【作者:唐霜】isa,这样相当于做了一个Mapping【原创内容,转载请注明出处】本文版权归作者所有,未经授权不得转载。,对于前端而言,完全无需区分到底是哪一个【版权所有,侵权必究】转载请注明出处:www.tangshuang.net服务在为自己提供数据,甚至真的可以把da著作权归作者所有,禁止商业用途转载。【本文受版权保护】ta api当做黑箱,请求数据,拿到数据【访问 www.tangshuang.net 获取更多精彩内容】【转载请注明来源】

【版权所有】唐霜 www.tangshuang.net本文作者:唐霜,转载请注明出处。未经授权,禁止复制转载。转载请注明出处:www.tangshuang.net

在Morningstar,虽然工作的都是【版权所有】唐霜 www.tangshuang.net转载请注明出处:www.tangshuang.net前端的内容,但是由于公司是以数据为支撑的【原创不易,请尊重版权】【版权所有】唐霜 www.tangshuang.net技术架构,所以在整体的技术框架上,还是比【转载请注明来源】【版权所有,侵权必究】较保守一些,使用的技术都是需要等到它在市【访问 www.tangshuang.net 获取更多精彩内容】【版权所有,侵权必究】场上表现的非常稳定之后才敢用,这无疑阻碍本文版权归作者所有,未经授权不得转载。【关注微信公众号:wwwtangshuangnet】了我们快速学习和掌握新技术的实践途径。但【版权所有】唐霜 www.tangshuang.net未经授权,禁止复制转载。是,也正因为这样,Morningstar未经授权,禁止复制转载。【版权所有,侵权必究】的架构非常成熟,在数据端的沉淀也很有深入【未经授权禁止转载】原创内容,盗版必究。学习的空间,一旦掌握了,我相信在任何一家【本文受版权保护】本文作者:唐霜,转载请注明出处。以数据见长的公司,都可以非常容易上手。

【未经授权禁止转载】转载请注明出处:www.tangshuang.net【本文首发于唐霜的博客】

2016-10-24 6612

为价值买单,打赏一杯咖啡

本文价值66.12RMB