
平臺(tái) 論壇博客文庫(kù)

› 論壇 › IT運(yùn)維 › 虛擬化與云服務(wù) › 網(wǎng)絡(luò)工程--吳鳴悅組第二次報(bào)告

最近訪問(wèn)板塊

查看: 1095 | 回復(fù): 0

網(wǎng)絡(luò)工程--吳鳴悅組第二次報(bào)告 [復(fù)制鏈接]

xuyuanchao_cnu

白手起家

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報(bào)告]

發(fā)表于 2011-12-23 02:39 |只看該作者 |倒序?yàn)g覽

第二次報(bào)告
組長(zhǎng)：吳鳴悅
組員：郭宇，趙新蕾，吳宇航，顧思嘉
HBase的安裝、配置、管理與編程 

<table style="WIDTH: 100%; mso-cellspacing: 1.5pt" class="MsoNormalTable" border="0" cellpadding="0" width="100%">
<tbody>
<tr style="mso-yfti-irow: 0; mso-yfti-firstrow: yes; mso-yfti-lastrow: yes">
<td style="BORDER-BOTTOM: #ece9d8; BORDER-LEFT: #ece9d8; PADDING-BOTTOM: 0.75pt; BACKGROUND-COLOR: transparent; PADDING-LEFT: 0.75pt; PADDING-RIGHT: 0.75pt; BORDER-TOP: #ece9d8; BORDER-RIGHT: #ece9d8; PADDING-TOP: 0.75pt">
需要環(huán)境： PC-1  Suse Linux 9             10.192.1.1 PC-2  Suse Linux 9             10.192.1.2 PC-3  Suse Linux 9             10.192.1.3 PC-4  Suse Linux 9             10.192.1.4 其中，PC-1做namenode節(jié)點(diǎn)，PC-2、PC-3和PC-4做datanode節(jié)點(diǎn)。 并且已經(jīng)安裝成功Hadoop-0.20.1及以上版本。 安裝包準(zhǔn)備 需要安裝包： zookeeper-3.2.1.tar.gz（stable版本） hbase-0.20.1.tar.gz（stable版本） 安裝步驟 安裝和配置ZooKeeper HBase從0.20.0開(kāi)始，需要首先安裝ZooKeeper。從apache上下載zookeeper-3.2.1.tar.gz（Stable版本），解壓到/home/hdfs/目錄下。 （1），在namenode節(jié)點(diǎn)新建zookeeper目錄，在該目錄下新建myid文件。 （2），在zookeeper-3.2.1/conf目錄下，拷貝zoo_sample.cfg為zoo.cfg。在zoo.cfg中將dataDir改為/home/hdfs/zookeeper，在文件末位添加所有的主機(jī)： server.1=10.192.1.1:2888:3888 server.2=10.192.1.2:2888:3888 server.3=10.192.1.3:2888:3888 server.4=10.192.1.4:2888:3888 server.5=10.192.1.5:2888:3888 server.6=10.192.1.62888:3888 （3）用scp命令將namenode節(jié)點(diǎn)的的/home/hdfs/ zookeeper-3.2.1和/home/hdfs/ zookeeper拷貝到其余所有主機(jī)的/home/hdfs目錄下。 （4）參照zoo.cfg中的配置，在各主機(jī)myid文件中寫(xiě)入各自的編號(hào)。如：10.192.1.1入1,10.192.1.2寫(xiě)入2 （5）在所有節(jié)點(diǎn)上執(zhí)行bin/zkServer.sh start，分別啟動(dòng)。 執(zhí)行bin/zkCli.sh -server xxx.xxx.xxx.xxx:2181，檢查指定服務(wù)器是否成功啟動(dòng)。 安裝和配置HBase 下載HBase0.20.1版本，解壓到namenode節(jié)點(diǎn)的/home/hdfs目錄下。 配置說(shuō)明 （1）系統(tǒng)所有配置項(xiàng)的默認(rèn)設(shè)置在hbase-default.xml中查看，如果需要修改配置項(xiàng)的值，在hbase-site.xml中添加配置項(xiàng)。 在分布式模式下安裝HBase，需要添加的最基本的配置項(xiàng)如下： <property> <name>hbase.rootdir</name> <value>hdfs://namenode.hdfs:54310/hbase</value> <description>The directory shared by region servers.</description> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> <description>The mode the cluster will be in. Possible values are false: standalone and pseudo-distributed setups with managed Zookeeper true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh) </description> </property> （2）在conf/hbase-env.sh中修改添加配置項(xiàng)： export JAVA_HOME=/usr/java/jdk1.6.0_16 export HBASE_MANAGES_ZK=false export HBASE_CLASSPATH=/home/hdfs/hadoop-0.20.1/conf 并把~/hadoop-0.20.1/conf/hdfs-site.xml拷貝至~/hbase-3.2.1/conf/目錄下。 （3）將ZooKeeper的配置文件zoo.cfg添加到HBase所有主機(jī)的CLASSPATH中。 （4）在conf/regionservers中添加hadoop-0.20.1/conf/slaves中所有的datanode節(jié)點(diǎn)。 啟動(dòng) Hadoop、ZooKeeper和HBase之間應(yīng)該按照順序啟動(dòng)和關(guān)閉：?jiǎn)?dòng)Hadoop—>啟動(dòng)ZooKeeper集群—>啟動(dòng)HBase—>停止HBase—>停止ZooKeeper集群—>停止Hadoop。 在namenode節(jié)點(diǎn)執(zhí)行bin/hbase-daemon.sh，啟動(dòng)master。執(zhí)行bin/start-hbase.sh和bin/stop-hbase.sh 腳本啟動(dòng)和停止HBase服務(wù)。 接口說(shuō)明 HBase按列存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，支持建表、插入記錄、查詢記錄、刪除記錄和索引操作等等，不支持連接和更新操作。 開(kāi)發(fā)步驟 引入JAR包 在Windows客戶端編寫(xiě)JAVA程序操作HBase，需要引入一些JAR包。需要引入的JAR如下：hadoop-0.20.1-core.jar，commons-logging-1.0.4.jar，commons-logging-api-1.0.4.jar，zookeeper-3.2.1.jar，hbase-0.20.1.jar，log4j-1.2.15.jar。 開(kāi)發(fā)模式 在分布式模式下開(kāi)發(fā)，在程序中配置與HDFS和ZooKeeper的連接，即可對(duì)數(shù)據(jù)進(jìn)行操作。 view plaincopy to clipboardprint? import java.util.Date; import java.text.SimpleDateFormat; import java.io.IOException; import java.awt.List; import java.util.Map; import java.util.NavigableMap; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.util.Bytes; public class HBaseManager { public static void main(String[] args) throws Exception{ HBaseManager manager = new HBaseManager(); manager.testGet(); } public void testQueryRS()throws Exception{ HBaseConfiguration config = new HBaseConfiguration(); config.set("hbase.master", "10.192.1.1:60000"); config.set("hbase.zookeeper.quorum", "10.192.1.1"); HTable table = new HTable(config, "commodity"); System.out.println("Get Spin's commodity info"); Scan scanner = new Scan(); scanner.addColumn(Bytes.toBytes("description")); scanner.setMaxVersions();  ResultScanner rsScanner = table.getScanner(scanner); System.out.println(rsScanner.toString()); Result rs = rsScanner.next(); while(null != rs){ System.out.println(rs.size()); NavigableMap<byte[],NavigableMap<byte[],NavigableMap<Long,byte[]>>> nMap = rs.getMap();  NavigableMap<byte[],NavigableMap<Long,byte[]>> columnMap = nMap.get(Bytes.toBytes("description"));  NavigableMap<Long,byte[]> qualMap = columnMap.get(new byte[]{});  if(qualMap.entrySet().size() > 0){ System.out.println("---------------------------"); for(Map.Entry<Long, byte[]> m :qualMap.entrySet())  {    System.out.println("Value:"+ new String(m.getValue())); } } rs = rsScanner.next(); } } public void testQueryCommodity()throws Exception{ HBaseConfiguration config = new HBaseConfiguration(); config.set("hbase.master", "10.192.1.1:60000"); config.set("hbase.zookeeper.quorum", "10.192.1.1.203"); HTable table = new HTable(config, "commodity"); System.out.println("Get Spin's commodity info"); Get mathGet = new Get(new String("Spin").getBytes()); mathGet.addColumn(Bytes.toBytes("widgetname")); mathGet.setMaxVersions();  Result rs = table.get(mathGet);  NavigableMap<byte[],NavigableMap<byte[],NavigableMap<Long,byte[]>>> nMap = rs.getMap();  NavigableMap<byte[],NavigableMap<Long,byte[]>> columnMap = nMap.get(Bytes.toBytes("widgetname"));  NavigableMap<Long,byte[]> qualMap = columnMap.get(new byte[]{});  if(qualMap.entrySet().size() > 0){ for(Map.Entry<Long, byte[]> m :qualMap.entrySet())  {    System.out.println("Value:"+ new String(m.getValue()));  break; } } } public void test()throws Exception{ HBaseConfiguration config = new HBaseConfiguration(); config.set("hbase.master", "10.192.1.1:60000"); config.set("hbase.zookeeper.quorum", "10.192.1.1"); HBaseAdmin admin = new HBaseAdmin(config); HTable table = new HTable(config, "scores"); if (admin.tableExists("scores")){ System.out.println("drop table"); admin.disableTable("scores"); admin.deleteTable("scores"); } System.out.println("create table"); HTableDescriptor tableDescripter = new HTableDescriptor("scores".getBytes()); tableDescripter.addFamily(new HColumnDescriptor("grade")); tableDescripter.addFamily(new HColumnDescriptor("course")); admin.createTable(tableDescripter); System.out.println("add Tom's data"); Put tomPut = new Put(new String("Tom").getBytes()); tomPut.add(new String("grade").getBytes(), new byte[]{}, new String("1").getBytes()); tomPut.add(new String("grade").getBytes(), new String("math").getBytes(), new String("87").getBytes()); tomPut.add(new String("course").getBytes(), new String("math").getBytes(), new String("97").getBytes()); table.put(tomPut); System.out.println("add Jerry's data"); Put jerryPut = new Put(new String("Jerry").getBytes()); jerryPut.add(new String("grade").getBytes(), new byte[]{}, new String("2").getBytes()); jerryPut.add(new String("grade").getBytes(), new String("math").getBytes(), new String("77").getBytes()); jerryPut.add(new String("course").getBytes(), new String("math").getBytes(), new String("92").getBytes()); table.put(jerryPut); System.out.println("Get Tom's data"); Get tomGet = new Get(new String("Tom").getBytes()); Result tomResult = table.get(tomGet); System.out.println(tomResult.toString()); System.out.println("Get Tom's Math grade"); Get mathGet = new Get(new String("Tom").getBytes()); mathGet.addColumn(Bytes.toBytes("grade")); mathGet.setMaxVersions();  Result rs = table.get(mathGet);  NavigableMap<byte[],NavigableMap<byte[],NavigableMap<Long,byte[]>>> nMap = rs.getMap();  NavigableMap<byte[],NavigableMap<Long,byte[]>> columnMap = nMap.get(Bytes.toBytes("grade"));  NavigableMap<Long,byte[]> qualMap = columnMap.get(Bytes.toBytes("math"));  for(Map.Entry<Long, byte[]> m :qualMap.entrySet())  {  System.out.println("TimeStamp:"+m.getKey());  System.out.println("Value:"+ new String(m.getValue()));  } System.out.println("Delete a column"); Delete deleteArt = new Delete(Bytes.toBytes("Tom")); deleteArt.deleteColumn(Bytes.toBytes("grade"), Bytes.toBytes("math")); table.delete(deleteArt); } public void testScanner() throws IOException{ HBaseConfiguration config = new HBaseConfiguration(); config.set("hbase.master", "10.192.1.1:60000"); config.set("hbase.zookeeper.quorum", "10.192.1.1"); HTable table = new HTable(config, "commodity"); System.out.println("Scan commodity info"); Scan scanner = new Scan(); scanner.addColumn(Bytes.toBytes("widgetname")); scanner.addColumn(Bytes.toBytes("filename")); scanner.addColumn(Bytes.toBytes("description")); scanner.addColumn(Bytes.toBytes("createtime")); //scanner.setMaxVersions(); //scanner.setMaxVersions(4); ResultScanner rsScanner = table.getScanner(scanner); Result rs = rsScanner.next(); for(;null != rs; rs = rsScanner.next()){ System.out.println("rs.getRow()[" + new String(rs.getRow()) + "]"); System.out.println("[" + new String(rs.getValue(Bytes.toBytes("widgetname"))) + "]"); System.out.println("[" + new String(rs.getValue(Bytes.toBytes("filename"))) + "]"); System.out.println("[" + new String(rs.getValue(Bytes.toBytes("description"))) + "]"); String timeStr = new String(rs.getValue(Bytes.toBytes("createtime"))); System.out.println("[" + timeStr + "]"); SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); try{ Date after = dateFormat.parse(timeStr); System.out.println(after); } catch(Exception exp){ exp.printStackTrace(); } } } public void testGet()throws IOException{ HBaseConfiguration config = new HBaseConfiguration(); config.set("hbase.master", "10.192.1.1:60000"); config.set("hbase.zookeeper.quorum", "10.192.1.1"); HTable table = new HTable(config, "commodity"); Get get = new Get(new String("xxxx.wgt").getBytes()); get.addColumn(Bytes.toBytes("widgetname")); get.addColumn(Bytes.toBytes("filename")); get.addColumn(Bytes.toBytes("description")); get.addColumn(Bytes.toBytes("createtime")); get.setMaxVersions(2); System.out.println("00000000000000"); Result dbResult = table.get(get); System.out.println("11111111111111"); System.out.println(dbResult.size()); System.out.println("2222222222222222"); System.out.println(new String(dbResult.value())); System.out.println("3333333333333333"); System.out.println(dbResult.containsColumn(Bytes.toBytes("description"), new byte[]{})); System.out.println("44444444444444444"); System.out.println(dbResult.isEmpty()); System.out.println("55555555555555555"); System.out.println(dbResult.list()); System.out.println("66666666666666666"); System.out.println(dbResult.raw()); System.out.println("77777777777777777"); System.out.println(dbResult.toString()); System.out.println("88888888888888888"); System.out.println(dbResult.raw().clone()); System.out.println("99999999999999999"); } }</td></tr></tbody></table>

文庫(kù)|博客

超融合在銀行的應(yīng)用場(chǎng)景.pdf
基于物聯(lián)網(wǎng)技術(shù)的智能家居硬件系統(tǒng)設(shè)計(jì).docx
kafka刪除topic
大白話了解哈希洪荒攻擊
cratedb導(dǎo)入json數(shù)據(jù)
REdis一致性方案探討

返回列表

Chinaunix › 論壇 › IT運(yùn)維 › 虛擬化與云服務(wù) › 網(wǎng)絡(luò)工程--吳鳴悅組第二次報(bào)告

積分 0, 距離下一級(jí)還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

網(wǎng)絡(luò)工程--吳鳴悅組 第二次報(bào)告 [復(fù)制鏈接]

網(wǎng)絡(luò)工程--吳鳴悅組第二次報(bào)告 [復(fù)制鏈接]