Hadoop
携程Hadoop跨机房架构实践
老马 发表了文章 • 0 个评论 • 1669 次浏览 • 2020-03-10 21:34
【编者的话】本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。
Hadoop在携程的落地及发展情况
携程Hadoop是...
基于Docker快速搭建多节点Hadoop集群
阿娇 发表了文章 • 0 个评论 • 2291 次浏览 • 2019-05-22 22:52
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
基于Docker快速搭建多节点Hadoop集群
JetLee 发表了文章 • 0 个评论 • 3478 次浏览 • 2019-05-20 21:55
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
在Kubernetes平台上运行Hadoop的实践
Andy_Lee 发表了文章 • 1 个评论 • 11662 次浏览 • 2018-04-08 22:20
Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。Hadoop与Kubernetes之间有很深的渊源，因为都出自IT豪门——Googl...
在Hadoop上运行Docker容器的六大陷阱
精灵云 发表了文章 • 0 个评论 • 7556 次浏览 • 2017-06-01 17:01
关于译者Ghostcloud：
Ghostcloud（中文名：精灵云）是成都精灵云科技有限公司旗下的基于Docker的PaaS/CaaS平台品牌。公司成立于2015年，核心团队由来自EMC、Veritas、华为、IBM、Microsoft的核心技术主...
容器和微服务在Hadoop生态系统中找到一席之地
夕口夕 发表了文章 • 0 个评论 • 9489 次浏览 • 2016-11-09 20:38
【编者的话】容器和微服务凭借构架上的灵活优势，已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。
最近关于大数据的实践多是基于裸机的，这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来...
基于Docker编译Hadoop
KiwenLau 发表了文章 • 0 个评论 • 4094 次浏览 • 2016-06-07 22:31
【编者的话】将编译Hadoop所需要的依赖软件安装到Docker镜像中，然后在Docker容器中编译Hadoop，可以提高编译效率，同时避免污染主机。编译其他软件时，也可以参考这篇博客的方法。
GitHub地址:
- [kiwenlau/com...
在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群
方圆小生 发表了文章 • 1 个评论 • 8036 次浏览 • 2016-02-24 12:42
功能和环境说明
实际环境是开发使用的两台服务器，每个服务器上是三个集群容器节点，总共六个节点，使用weave实现跨主机的通信，并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。
目前网...
将 HDFS 搬上数人云：轻松实现集群的扩展收缩
Dataman数人科技 发表了文章 • 0 个评论 • 5463 次浏览 • 2016-02-02 16:58
HDFS 是 Hadoop Distributed File System 的简称，作为 Apache Hadoop Core 项目的一部分，提供了一个高度容错性的分布式文件系统，适合部署在廉价的机器上。HDFS 可以提供高吞吐量的数据访问，非常适合大规模数据...
携程Hadoop跨机房架构实践
老马 发表了文章 • 0 个评论 • 1669 次浏览 • 2020-03-10 21:34
【编者的话】本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。
Hadoop在携程的落地及发展情况
携程Hadoop是...基于Docker快速搭建多节点Hadoop集群
阿娇 发表了文章 • 0 个评论 • 2291 次浏览 • 2019-05-22 22:52
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
基于Docker快速搭建多节点Hadoop集群
JetLee 发表了文章 • 0 个评论 • 3478 次浏览 • 2019-05-20 21:55
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
在Kubernetes平台上运行Hadoop的实践
Andy_Lee 发表了文章 • 1 个评论 • 11662 次浏览 • 2018-04-08 22:20
Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。Hadoop与Kubernetes之间有很深的渊源，因为都出自IT豪门——Googl...
容器和微服务在Hadoop生态系统中找到一席之地
夕口夕 发表了文章 • 0 个评论 • 9489 次浏览 • 2016-11-09 20:38
【编者的话】容器和微服务凭借构架上的灵活优势，已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。
最近关于大数据的实践多是基于裸机的，这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来...
为什么我们选择Docker来构建Crayon的数据处理平台
qinlu1988 发表了文章 • 0 个评论 • 7516 次浏览 • 2016-01-31 15:30
【编者的话】随着Hadoop成为大数据的事实标准，Hadoop的生态也在不断完善，环境搭建的复杂性，给开发和测试带来了不便。如何用Docker来降低Hadoop开发中的复杂性，本文中Crayon带来了他们的方案。
之前，企业软件厂商都会尽可能多的控制客户的基...
使用Docker在本地搭建hadoop，spark集群
方圆小生 发表了文章 • 0 个评论 • 25127 次浏览 • 2016-01-06 16:57
简介和环境说明
本环境使用的单个宿主主机，而不是跨主机集群，本spark集群环境存在的意义可能在于便于本地开发测试使用，非常轻量级和便捷。这个部署过程，最好在之前有过一定的hadoop，spark集群部署经验的基础，本文重点在于doc...反思 | 分布式框架是必须的吗？
xiaoyh 发表了文章 • 1 个评论 • 7623 次浏览 • 2015-09-23 09:50
【编者的话】本文主要讲述了通过规范化处理流程，可以使用相同的处理流程来处理流式或者批量处理任务，例如Hadoop和Storm，从而提高重用性。
当有人问起该如何处理大数据问题时，他们总是被指引到现存的产品中，例如Hadoop或者Storm。虽然这些产品非常棒...
Docker将会改变Hadoop，变的更快更容易
hokingyang 发表了文章 • 3 个评论 • 10104 次浏览 • 2015-06-22 11:55
【编者的话】 最近在San Jose，Clif开幕的hadoop峰会上会有关于Docker和Hadoop的话题讨论，越来越多的创业公司致力于使用Docker技术来简化hadoop应用开发部署的速度。目前有两个方向：1）使用Docker容纳Hadoop stac...
基于Docker快速搭建多节点Hadoop集群
KiwenLau 发表了文章 • 27 个评论 • 117764 次浏览 • 2015-05-24 16:28
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
Docker Compose多个依赖链链接到同一个节点，如何启动？
回复wonderflow 回复了问题 • 4 人关注 • 5 个回复 • 10666 次浏览 • 2015-05-06 14:48
携程Hadoop跨机房架构实践
老马 发表了文章 • 0 个评论 • 1669 次浏览 • 2020-03-10 21:34
【编者的话】本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。
Hadoop在携程的落地及发展情况
携程Hadoop是...基于Docker快速搭建多节点Hadoop集群
阿娇 发表了文章 • 0 个评论 • 2291 次浏览 • 2019-05-22 22:52
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
基于Docker快速搭建多节点Hadoop集群
JetLee 发表了文章 • 0 个评论 • 3478 次浏览 • 2019-05-20 21:55
【编者的话】Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接...
在Kubernetes平台上运行Hadoop的实践
Andy_Lee 发表了文章 • 1 个评论 • 11662 次浏览 • 2018-04-08 22:20
Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。Hadoop与Kubernetes之间有很深的渊源，因为都出自IT豪门——Googl...
在Hadoop上运行Docker容器的六大陷阱
精灵云 发表了文章 • 0 个评论 • 7556 次浏览 • 2017-06-01 17:01
关于译者Ghostcloud：
Ghostcloud（中文名：精灵云）是成都精灵云科技有限公司旗下的基于Docker的PaaS/CaaS平台品牌。公司成立于2015年，核心团队由来自EMC、Veritas、华为、IBM、Microsoft的核心技术主...
容器和微服务在Hadoop生态系统中找到一席之地
夕口夕 发表了文章 • 0 个评论 • 9489 次浏览 • 2016-11-09 20:38
【编者的话】容器和微服务凭借构架上的灵活优势，已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。
最近关于大数据的实践多是基于裸机的，这意味着Hadoop已经在非虚拟服务器上被广为实现。随着容器和微服务在应用服务界越来...
基于Docker编译Hadoop
KiwenLau 发表了文章 • 0 个评论 • 4094 次浏览 • 2016-06-07 22:31
【编者的话】将编译Hadoop所需要的依赖软件安装到Docker镜像中，然后在Docker容器中编译Hadoop，可以提高编译效率，同时避免污染主机。编译其他软件时，也可以参考这篇博客的方法。
GitHub地址:
- [kiwenlau/com...
在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群
方圆小生 发表了文章 • 1 个评论 • 8036 次浏览 • 2016-02-24 12:42
功能和环境说明
实际环境是开发使用的两台服务器，每个服务器上是三个集群容器节点，总共六个节点，使用weave实现跨主机的通信，并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。
目前网...
将 HDFS 搬上数人云：轻松实现集群的扩展收缩
Dataman数人科技 发表了文章 • 0 个评论 • 5463 次浏览 • 2016-02-02 16:58
HDFS 是 Hadoop Distributed File System 的简称，作为 Apache Hadoop Core 项目的一部分，提供了一个高度容错性的分布式文件系统，适合部署在廉价的机器上。HDFS 可以提供高吞吐量的数据访问，非常适合大规模数据...
