如何利用大数据hadoop等技术设计12306的网站架构

佳艺手工阁?收学徒 2024-12-01 08:26:19
最佳回答
1. 大数据分析大分类hadoop**对业务的针对性较强,为了让你明确它是否符合你的业务,现粗略地从几个角度将大数据分析的业务需求分类,针对不同的具体需求,应采用不同的数据分析架构。按照数据分析的实时性,分为实时数据分析和离线数据分析两种。实时数据分析一般用于金融、移动和互联网b2c等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算**,或者采用hdd的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有emc的greenplum、sap的hana等。对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析**。但面对海量数据,传统的etl工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有**开源的scribe、linkedin开源的kafka、淘宝开源的timetunnel、hadoop的chukwa等,均可以满足每秒数百mb的日志数据采集和传输需求,并将这些数据上载到hadoop中央系统上。按照大数据的数据量,分为内存级别、bi级别、海量级别三种。这里的内存级别指的是数据量不超过集群的内存最大值。不要小看今天内存的容量,**缓存在内存的memcached中的数据高达320tb,而目前的pc服务器,内存也可以超过百gb。因此可以采用一些内存数据库,将热点数据常驻内存之中,从而取得非常快速的分析能力,非常适合实时分析业务。图1是一种实际可行的mongodb分析架构。 20210311
汇率兑换计算器

类似问答
  • 光大银行的卡片如何在12306网站购票?
    • 2024-12-01 10:10:26
    • 提问者: 未知
    使用光大银行在12306网站购票有3个步骤 1、网站提交订单,“**银联”渠道付款 2、在银联在线支付界面,选择“网银支付”页签,银行列表中选择“**光大银行”; 3、猛戳“到网上银行支付”,跳转至我行付款界面完成支付。
  • 电商如何利用大数据变现?
    • 2024-12-01 08:57:50
    • 提问者: 未知
    评分和评级结果用于京东金融(京东数科)上销售京东白条...京东将**上的数据统一集合做成了数据交易与服务**—京东万象数据商城,封装成很多api接口对外提供服务,京东...
  • hadoop和大数据的关系?和spark的关系?
    • 2024-12-01 17:04:28
    • 提问者: 未知
    hadoop的应用非常广泛,包括:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等,都可以使用它进行部署。目前,包括yahoo、ibm、**、亚马逊、阿里巴巴...
  • 大数据时代,如何做数据存储技术选型?
    • 2024-12-01 02:03:43
    • 提问者: 未知
    对于数据库的选型,acid是重要的考虑指标,如果对acid要求很高,应该选择关系型数据库。其次部分对一致性要求...对于海量数据的宽表,面向列式存储,无schema,可任意扩展列。...
  • 如何判定二等标准铂电阻温度计 技术参数
    • 2024-12-01 13:05:57
    • 提问者: 未知
    二等标准铂电阻温度计按照《jjg 160-1992 标准铂电阻温度计检定规程》进行检定。检定二等标准铂电阻温度计需要的检定条件如下:1、数量不少于3支的一等标准铂电阻温度计一组2、精密测温电桥  精密测温电桥技术要求:电桥引用修正值后的相对误差不应大于2×10-5,电桥的最小步值不应大于1×10-4ω,允许使用技术指标不低于上述要求的其他电测仪器。3、光电放大检流计4、电阻温度计专用四端低电势转换...
  • 初创互联网公司该如何进行网站架构?
    • 2024-12-01 20:02:16
    • 提问者: 未知
    建议先搞清楚具体的性能指标是多少?php的开源测试过可以达到要求的性能指标吗,如果不能达到,那去做自…
  • 如何应用大数据技术进行客户关系管理
    • 2024-12-01 02:29:46
    • 提问者: 未知
    1客服中心是运营商和客户接触 较为频繁的通道,因此客服中心拥有大量的客户呼叫行为和需求数据。2我们可以利用大数据技术可以深入分析**呼入客户的行为特征、选择路径、等候时长,并关联客户历史接触信息、客户套餐消费情况、客户人口统计学特征、客户机型等数据。3建立**智能路径模型,预测下次客户呼入的需求、投诉风险以及相应的路径和节点,这样便可缩短客服呼入处理时间,识别投诉风险,有助于提升客服满意度。4另外...
  • c/s 还是b/s ,ehr系统技术架构如何选择?
    • 2024-12-01 23:14:44
    • 提问者: 未知
    但当b/s结构的ehr系统陆续面市后,用户才痛苦的意识到:原来b/s结构的ehr系统并没有想象的那么美好,甚至很多方面与传统的c/s比较起来相差甚远。那么究竟ehr系统应该采用什么技术架构开发,用户选择ehr系统应该选择c/s还是b/s?似乎成了困扰人力资源软件开发者和选型者共同的难题。 早期的财务、人事等应用大多数是c/s结构的程序,传统的gui技术,开发工具大多数是vb、delphi、pb等,...
  • 如何利用大数据进行预测?
    • 2024-12-01 14:51:48
    • 提问者: 未知
    大数据开启了一个重大的时代转型。就像是望远镜让我们看到了宇宙的...大数据的“4v”特征表明大数据不仅仅是数据海量,对于大数据的分析将更加复杂、更追求速度、更注重实效。...
  • 如何利用百度大数据去预测和统计足球~~~~~~~~~
    • 2024-12-01 16:32:30
    • 提问者: 未知
    说白了就是利用多次的数据统计进行分析,类似于统计学的原理,然后根据大概率事件去预测结果 微软、百度以及高盛参与了小组赛阶段48场比赛的预测。结果,准确率达58.33%的百度排在第一,紧随其后的是准确率为56.25%的微软,然后是37.5%的高盛。在淘汰赛阶段,谷歌参与了进来,高盛则没有继续...
汇率兑换计算器

热门推荐
热门问答
最新问答
推荐问答
新手帮助
常见问题
房贷计算器-九子财经 | 备案号: 桂ICP备19010581号-1 商务联系 企鹅:2790-680461

特别声明:本网为公益网站,人人都可发布,所有内容为会员自行上传发布",本站不承担任何法律责任,如内容有该作者著作权或违规内容,请联系我们清空删除。