注册 登录
  • 欢迎访问"运维那点事",推荐使用Google浏览器访问,可以扫码关注本站的"微信公众号"。
  • 如果您觉得本站对你有帮助,那么可以扫码捐助以帮助本站更好地发展。

标签:Hadoop

Hadoop

Hadoop实战:Sqoop 1.99把MySQL导数据到HDFS

Sqoop客户端 sqoop2客户端提供各种命令行交互接口,供用户使用。sqoop2客户端先连接Sqoop Server,将参数传递过去,再调用mapreduce进行数据导入到出作业。以下是sqoop2中比较重要的几个对象。 1)connector:sqoop2中预定一了各种里链接,这些链接是一些配置模板,比如最基本的generic-jdbc-connect……继续阅读 »

彭东稳 4个月前 (06-21) 1245浏览 0评论 1个赞

Hadoop

大数据生态到底是一个什么概念?

大数据这个概念本身就太大而且太宽,如果一定要严格定义是非常困难的一件事,不过Hadoop生态圈或者由其延伸的泛生态系统,基本上都是为了处理大量数据诞生的——一般而言,这种数据依赖单机很难完成。 这个圈子里的工具,就像是我们厨房里的各种厨具——各自都有不同的用处,但也有一部分功能重合,比如盆和豌都可以用来喝汤,削皮刀和菜刀都可以用来去皮。 但是,盆用来喝汤未免……继续阅读 »

彭东稳 5个月前 (05-24) 645浏览 0评论 0个赞

Hadoop

大数据概念

数据类型 结构化数据(structured data):RDBMS 传统的关系型数据库中的表通常由一个或多个字段组成,每个字段都预先定义了其可存储数据的格式及约束等,这类的数据就是结构化数据(structured data)一个设计良好的数据库在其schema中定义这些格式或约束,并由相应的RDBMS为这些提供实现保证相应地。 半结构化数据(semi-……继续阅读 »

彭东稳 6个月前 (04-25) 851浏览 0评论 0个赞