Welcome to Triffic Site

大数据Hive之入门必备

在「聊聊大数据平台的典型应用场景」这篇文章中介绍了团队目前搭建大数据平台的实践,以及如何在实际生产环境中应用我们的大数据平台也就是寻找典型的应用场景。至于Hadoop生态系统中的Hive工具则是点到为止,并没有展开详细讨论,在这边文章中我们来入门Hive,了解Hive工具的作用,执行原理,数据类型以及数据模型。

引用官网的一段说明

The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.

Hive本质上是一个数据仓库,但不存储数据(只存储元数据),用户可以借助Hive使用sql对存储在分布式文件系统中的大数据集进行读写。

(更多…)

聊聊大数据平台的典型应用场景

说起大数据总是感觉听得多,实践的少,所以谈不上有什么认识,很是遗憾。然前一段时间刚好接手团队内部「数据服务线」的工作,筹划搭建大数据平台,埋藏在心底的那股劲儿又被唤起,提枪上马开干。

整个大数据集群大概有十几台虚拟机,安装Hadoop生态系统的开源工具,具体工具如下:

(更多…)

由「Uber中国有意与滴滴合作」引发的思考

昨天在微信公号以及朋友圈中看到一则消息「Uber中国有意与滴滴合作」,引起一阵不小的骚动,对于普通用户来说最直接的利益是打车的费用可能是要越来越高了,相互竞争导致的价格补贴可能也已是昨日黄花。但事情真相却是南辕北辙,两家官微都辟谣绝无此事,滴滴官方更是发布官方申明正式辟谣这条新闻,同时提及以下数据:

今年4月10号滴滴第一次突破1000万单一天,而到目前日订单已突破1600万单,一个季度增长60%速度迅猛。同时,目前滴滴四百余个城市中已有近三百个盈利,很快将整体盈利。在几乎中国所有城市,滴滴都领先竞争对手,在出行行业中,滴滴一定会成为唯一胜出者

以上就是截止到目前整个事情的态势,再来说说作为普通用户对这两家出行公司的些许感想。Uber和滴滴作为互联网出行平台公司的代表闯进传统出租车行业是时代的进步,是弄潮儿在摇醒沉睡的巨人,然这两位显然是具备颠覆的实力,绝不是石沉大海,杳无音信,君不见越来越多的出行用户开始拿出手机,打开App,在陌生的街头等待「师傅」的到来,这已然已成为一种习惯,习惯了就难改了。

(更多…)

理解「Http结构」中的代理

HTTP代理处于用户客户端与Web服务器之间,充当中间人的角色,代理客户端向服务器发起访问请求。

1、代理与网关的简单对比
从部署方式上来说,两者都是部署在客户端和服务器这两种网络实体之间的应用程序。从本质上来说:代理连接的两端网络实体使用的是相同的网络协议;而网关起到的却是「网络协议转换器」的角色(如客户端向网关发起HTTP请求,请求访问邮件信息,而网关与邮件服务器之间的通信协议却是POP,邮件服务器在POP协议的支持下把邮件信息返回给网关,网关最终把邮件内容通过HTTP协议返回给客户端)。两者之间的简单对比如下图所示:

(更多…)

何谓一个好的Developer

关于如何才称得上是一名好的developer的定义,我想仁者见仁,智者见智。曾经在工作之初,我的定义非常简单:能快速找到解决技术难题的开发者便是一个好的developer,但到现在我才意识到,除非在某个特定的领域,不然对于日复一日的开发工作,仅仅只具备快速解决问题的能力不见得是最重要的。那么一个优秀的developer应该具备哪些方面的能力?

(更多…)

Ulysses关于插入大段代码的使用体验

从16年四月中旬开始入手这款工具,Ulysses一直在坊间盛传,绝逼写作神器,心向往之,终于入手之后,开始好好体验,我的打算是它当成个人的知识库管理工具,结合自己的本职工作,作为一名程序员,很好的写代码,积累优秀的代码是必不可少的工作,所以尝试了下在Ulysses中插入代码的功能。

(更多…)

Druid|Oracle: 防火墙对连接的影响

这篇文章是继上一篇文章Eclipse|Maven: 查看3rd jar源码提到了应用无响应的问题,现在这篇文章对该问题进行一个回顾。

现象:虚拟账户产品投产之后,观察到这么一个现象:在无人访问应用一段时间之后(应该是两小时左右),再次访问应用时,后台db日志显示一直在opening jdbc connection...,程序卡死,过16分钟之后,程序正常执行,后台db日志显示已经获取到了新的数据库有效连接;

(更多…)