美国大数据工程师面试攻略

余生，做个好样子 2024-12-22 18:31:05

最佳回答

1先做一个自我介绍，本科南开后，加入了一个创业公司kuxun，做实时信息检索，后来进入百度基础架构组，搭建了baidu app engine的早期版本，随后去duke大学留学，在攻读硕士期间，做跟hadoop大数据相关的研究项目starf**h，之后在amazon ec2部门实习，了解它们的内部架构，毕业后加入linkedin，做广告组的架构，涉及hadoop调优，data pipeline, offline/online, 实时系统。最新是在coursera从事数据工程师工作。在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网百度，阿里巴巴，奇虎，人人，到美国一线公司**，google，linkedin，twitter，amazon，到热门startup，uber，pinterest，airbnb，box，dropbox，snapchat，houzz，拿到10+ offer，并且在linkedin期间也面试过100+候选人，参与面试题制定，乐于分享并帮助很多人成功求职，实现目标。2我们看一下这张硅谷地图，它坐落于美国加州，从圣何塞到旧金山的狭长地带，中间是san franc**co bay，简称湾区。它的由来是这边有计算机核心处理器中离不开的硅，30年来，硅谷就发展成为无数技术性创业公司的摇篮。在20多年前，就有很多硬件公司的辉煌intel，oracle，apple，c**co成功上市，10年前，互联网的兴起，造就了yahoo，google，ebay的神奇，而如今tesla，**，twitter，linkedin正扶摇直上，成为美股高科技股的领头羊。这些公司的市值从几十billion到几百billion，pe从负数到上千。疯狂的估值背后也改变了世界。3如果说硅谷成功是有原因的，我觉得有两点。地理位置是得天独厚吸引大量人才，这里有stanford和加州州立高校提供智力库的支持，在硅谷可以看到来自全世界的最聪明的人，**人，印度人，犹太人构成这些engineer的主力。虽然国内做技术自嘲为码农，但在硅谷成为一个优秀工程师还是收获颇丰。另一方面创业是一个永恒的话题，在stanford有个说法空气中都飘扬中创业的味道，一些早期员工通过上市**又积累经验成了天使投资，y combinator，各种技术forum，meetup，创业导师，都很活跃。资本的力量功不可没，早年vc通过投资，收购，上市放大形成一个雪球效应。大家总喜欢问什么是next big thing，哪一个是下一个**，下一个musk，根据统计10年能成就一个千亿以上的公司，目前这个进程正在缩短。4我就拿linkedin作为例子，介绍高科技公司（**）是什么样子。它是成立2003年的职业社交网站。在10年的发展中，也不是一下子爆发的，目前有3亿的全球用户，虽然跟**，google 10亿＋用户没法比，但是它有很好的护城河，用户定位高端精准，单位价值高。这张照片中左边这位是创始人reid hoffman，是paypal黑帮成员，在硅谷也是呼风唤雨的大佬，目前是董事和投资人。中间这位是ceo jeff，2013年被glassdoor评为最佳ceo，作为职业经理人，成功帮助linkedin高速成长，他最喜欢提到transformation，希望我们每个员工能挑战自我，在各自岗位上进化。linkedin提供了员工很好的福利，有号称湾区最佳的免费食堂，每个月一次的in day，hack day, 帮助员工内部创业的incumbator计划。它特点是数据驱动的开发产品，比如 people you may know, job you may be interested, 我做过sponroed ads 都是需要很强数据背景和data scient**t的支持。它的biz model也很独特，有3个line，面向公司的招聘服务，面向广告商的市场服务，面向个人的订阅服务，还有最新sales solution，因为这么多可能性，成为华尔街的宠儿。5说硅谷，除了那些已经成功的大公司，不得不说现在最新的创业动向，这些代表了未来下一个**。我总结了一些领域和代表公司：云计算(box, dropbox)，大数据(cloudera)，消费互联网(pinterest)，健康(fitbit)，通讯(snapchat)，支付(square)，生活(uber)。这里是华尔街网站更新的最新融资规模，比如uber就达到18billion的估值，我当时拿到offer没去，还是觉得很疯狂，如果细看这张表，大家可以看到硅谷（蓝色）尤其是旧金山它们的融资规模远远大于其他地区，还是地理决定论。而在国内的两家xiaomi，jingdong都是在北京，而最近大家看到一些泡沫论，说什么阿里巴巴上市是否美股到顶，经纬vc创始人也提醒我们泡沫的风险，我无法判断。如果能参与到下一波浪潮里面去是很过瘾的。我推荐大家去看看 <浪潮之巅>，<奇点临近>，我还是很期待未来20年的技术**。6我个人热爱大数据，在硅谷这也是大家津津乐道的，有个笑话，big data ** like **age talking about sex, nobody know how to do it. 其实大家还是兴趣驱动就好，不要那么功利，大数据技术涉及太多，平常工作中也是慢慢积累，有无数的坑和技术细节需要克服。并不是说那个技术最热就要用哪个，如果你用不好，你的压力很大的，举个例子，你用某个开源数据库，发现它偶尔有数据丢失怎么办，如果这是线上服务，你不断收到报警，这时候你当时选用它的优点 scalable，容错性都没意义了。接着说大数据，这里面hadoop作为行业标准，我面过的除了google，微软不用，几乎所有的公司都在用，建议大家利用这个机会。这里面有三巨头，cloudera是老牌hadoop咨询公司，hadoop的创始人做cto，hortonworks也是很多hadoop的committee，mapr是提出hdfs的erasure 编码方式高效而著名，它们都是融了巨资，模式也很像，先推出社区免费版，但有个商业版提供更好的管理。而今年出现一匹黑马，spark，简单说就是内存级别的计算，比hadoop框架里能节约io，利用缓存，能适应批处理，迭代，流式计算。7这里看一下它的生态系统，如何学hadoop是个循序渐进过程，先要理解学习它的core系统，hdfs, mapreduce, common，在外围有无数的系统工具方便开发，我个人用过的是 **ro作为数据格式，zookeeper作为选主的高可靠性的组件，solr作为搜索接口，pig搭建工作流，hive 数据仓库查询，oozie管理工作流，hbase 作为kv 分布式存储，mahout数据挖掘的库，cassandra nosql 数据库。我建议初学的考虑chinahadoop的课程。8而hadoop本身也是个进化过程，几年前0.19版本，到0.20, 0.23分流成yarn架构最后进化成hadoop2.0, hadoop1.0 和 2.0 它们的接口和组件是完全不同的，但总体上hadoop 2.0 是趋势，因为它有yarn这样分离的资源管理**，可以以插件的方式开发上面的application，解放了生产力，而像spark，storm这些新型处理器也是支持hadoop 2.0的。这里是hortonworks它们提出来的社区版本架构，可以说标准的制定者，一流的公司制定标准，其他的公司一般用只能用它们提供的稳定版，没有多少话语权。但从事大数据，并不见得是要去这些制定标准的公司，大量的应用也是非常考验架构的灵活性。并且能看到实际的产品，很有成就感。9说到今年火的，还是要看spark。从去年至今，已经开了2届spark大会，上千人的规模，无数人对比hadoop 100倍的性能提升而兴奋。这里说它的背景是诞生于berkeley的amplab，它们有个很有名的bdas(berkeley data analytics stack)，目前spark已经成为apache的顶级项目。去年这个实验室的教授跟学生出去成立databricks公司，拉到两轮上千万的风投，有人成spark是hadoop的终结者吗？我看今年spark大会上，所有的hadoop大佬公司都是鼎力支持，像cloudrea甚至放弃impala的一线支持而转变成spark。如果这么发展下去，星星之火可以燎原啊。它里面用到scala是一种函数式语言。里面的组件也很多，有shark支持sql类似hive，有spark streaming，mllib，graphx，sparkr，blinkdb。它的核心数据结构是rdd，可以跑在各种分布式系统上。总体上是个包容性＋侵略性的系统。我个人也很看好它们的发展。end9相关内容未经许可获取自百度经验 20210311

汇率兑换计算器

兑换金额：

持有货币：

兑换货币：

兑换结果：

类似问答

美国投资**流程攻略
- 2024-12-22 05:13:07
- 提问者: 未知
1做一个投资项目计划书首先需要投资人找的项目方策划一个餐厅经营的项目计划书，这个餐厅计划书是几年前计划的项目，已经翻译成了中文，原版是英文版本，是要给美国**局审阅审核的，要有资质的公司和会计审计公司进行监管，才会被**局批准。2提交i-526表格由具有美国投资**资质的注册律师（一般都是美国当地本土律师）提交i-526表格，费用是1500美元，这个费用可以申请全家**，由美国**局收取。律师费用...
美国非农数据大科普?
- 2024-12-22 01:37:50
- 提问者: 未知
非农数据，是指美国非农就业率，非农业就业人数与失业率这三个数值。顾名思义，就是反映美国非农业人口的就业状况的数据指标。首先，就业形势报告非常及时，所观察的那个月刚过去一周就会公布。其次，这份报告在就业市场和家庭收入方面内容丰富具体，这些信息对预测经济有用。就业形势报告能如此控制金融市场还有一个原因：就业数字经常出乎人们意料之外。如果该月别的信息很少，就会给专家们预测失业人数带来了难度。就业数据可以...
如何准备数据分析师的面试？
- 2024-12-22 10:03:19
- 提问者: 未知
作为一名数据分析师需要掌握的知识有什么？数据分析领域的职业机会有哪些？简历该怎么写？面试时如何回答…
美国投资**的5大攻略是哪些？
- 2024-12-22 20:28:45
- 提问者: 未知
第三，追本溯源，选择传统的劳动密集型行业，这样更容易...“美国**项目”未必可靠在众多的eb-5投资**项目中，笔者发现很多项目都打出**牌，号称“美国**项目”，这...
超级挖坑**攻略
- 2024-12-22 00:50:56
- 提问者: 未知
1进入关卡1，向下划至到指定的终点处，如图所示2进入关卡2，先划向至右边，再划向左，最后再划向右至指定终点的位置，如图所示3进入关卡3，像弧形的画法，将两个小球划至指定的位置，如图所示4进入关卡4，先将路线划好，再将石头滑到小球，小球就能滑到指定的位置，如图所示5进入关卡5，先将木板左边向下倾斜，然后将小球划至靠木板的左边，最后再将小球划至终点的位置，如图所示6进入关卡6，先将小球弄下来，保持木板...
大数据工程师好做吗？
- 2024-12-22 08:38:02
- 提问者: 未知
而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。...因为根据万宝瑞华管理合伙人颜莉萍的观察，这是一个很大的...
数据分析师考试介绍
- 2024-12-22 15:00:58
- 提问者: 未知
项目数据分析师于注册项目数据分析师是实质上是一样的，只是有的叫法不一。　　项目数据分析师（certified projects data analyst）简称：cpda ，是专业从事投资项目财务数据分析的高级决策人通过掌握的大量行业数据以及科学的计算工具，为投资机构做出正确的项目投资决策。　　cpda 由**商业联合会数据分析专业委员会，**工信部颁发的项目数据分析师职业技术证书。　　【主要工作领...
bi工程师、数据仓库工程师、etl工程师、数据开发工程师（大数据开发工程师）有什么区别？
- 2024-12-22 23:12:11
- 提问者: 未知
一味的解释数据仓库概念可能没意思，我们从不同角色出发吧老板：我是一家手机公司的老板，今天要向去董…
如何面试前端工程师?
- 2024-12-22 05:41:21
- 提问者: 未知
从前端开发要掌握的技术来讲，前面已经说得差不多了。我主要想从面试者的角度谈一谈看法。如果是我面试，就给应聘者一个开放的项目，可以提供服务器端api或数据服务，限定一周时间，这叫试做。然后，根据评审确定入围的人，再面试。面试可以围绕项目展开，首先让面试者围绕html、css和...
软件开发工程师职责和面试试题
- 2024-12-22 14:02:52
- 提问者: 未知
软件开发工程师职责到“面试119”看吧，做软件开发工程师的人写的，很清楚。软件开发工程师面试问题百度一下“面试119”，各行各业各软件开发工程师的都有。

美国大数据工程师面试攻略

房贷计算器-九子财经 | 备案号： 桂ICP备19010581号-1 商务联系 企鹅：2790-680461

房贷计算器-九子财经 | 备案号：桂ICP备19010581号-1 商务联系企鹅：2790-680461