北海亭

linux下hadoop配置过程

电脑办公  2025-11-03 02:03:29  热度:7℃
1,安装linux

复制代码代码如下:

然后是jdk:

复制代码代码如下:

复制代码代码如下:

这个命令之后需要多按几次回车,知道再次出现命令提示符。当然,这个做法也不是很安全,里面有个输入key的地方,官方的建议是,输入一首歌的歌词,呵呵,这个建议很搞笑。当然在我的步骤中,这个key就是空值了。

复制代码代码如下:

然后把整个.ssh文件夹考到所有对节点上,具体方法可以使用scp命令,具体命令由于和具体环境有关,下面不写。

这样网络就设置对差不多了。

当然具体的值,也要根据具体情况进行更改。

复制代码代码如下:

这个例子很直白,不解释。

masters里面是jobtracker和namenode所在节点的主机名或者ip地址,我的masters文件里只有一行,当然假如你想要设置多个节点作为主节点,也可以。

复制代码代码如下:

不出意外的话,现在hadoop就可以使用了。

Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

最近更新

  • ApeCoinDAO提案在泰国曼谷开设无聊猿主题饭店!APE支付房费、赋能BAYC

    ApeCoinDAO提案在泰国曼谷开设无聊猿主题饭店!APE支付房费、赋能BAYC

    2025-10-29345阅读

  • NFT回温?Mocaverse地板价突破2.9ETH 24小时涨幅高达79%

    NFT回温?Mocaverse地板价突破2.9ETH 24小时涨幅高达79%

    2025-10-29307阅读

  • 公链Hyperliquid上首个AI代理Liquina将空投NFT!发放给$LQNA持有者

    公链Hyperliquid上首个AI代理Liquina将空投NFT!发放给$LQNA持有者

    2025-10-29332阅读

  • 首支NFT概念ETF在美上市!由Defiance推出 追踪NFT相关公司

    首支NFT概念ETF在美上市!由Defiance推出 追踪NFT相关公司

    2025-10-29323阅读

  • 虚拟货币交易平台有哪些?2025最新加密货币交易所排名与推荐

    虚拟货币交易平台有哪些?2025最新加密货币交易所排名与推荐

    2025-10-29305阅读

  • Polymarket暗示发币,一文盘点10个生态项目

    Polymarket暗示发币,一文盘点10个生态项目

    2025-10-29329阅读

  • Dexscreener 是什么?有什么功能? 一文介绍

    Dexscreener 是什么?有什么功能? 一文介绍

    2025-10-29318阅读

  • 什么是Solana失败交易?Solana交易失败的修复策略

    什么是Solana失败交易?Solana交易失败的修复策略

    2025-10-29300阅读

  • 什么是加密货币空投?如何运作?加密货币空投安全吗?

    什么是加密货币空投?如何运作?加密货币空投安全吗?

    2025-10-29310阅读

  • 什么是代币?如何运作?为什么代币很重要?

    什么是代币?如何运作?为什么代币很重要?

    2025-10-29245阅读

  • 精选专题