xjward
- 浏览: 34713 次
-
最新评论
文章列表
项目需要 SVN 来管理,以前都只是在用,正好有时间,学习下怎么安装。
以下是安装步骤 留做笔记：
环境: 使用 cat /etc/redhat-release 查看 虚拟机 ：Red Hat Enterprise Linux Server release 6.0 (Santiago)
跟据百度文库http://wenku.ba ...
下载rpm包;
rpm -qa | grep -i mysql //查看当前系统是否装过mysql
rpm -e MySQL-server //卸载MySQL 服务端
rpm -ivh MySQL-service.xx.xx.rpm //安装MySQL
一、mysql登录错误
mysqladmin: connect to server at 'localhost' failed error: 'Access denied for user 'root'@'localhost' (using password: YES)'
...
Rehat 6.0 server 版本配置memcahed 主从关系
据说: memcached配置主从关系,必须得用repcached 版本或repcached插件 !
下载地址: http://sourceforge.net/projects/repcached/files/repcached/
下载memcache 2.21-1.2.8-replication2.2.1.tar.gz 带插件的版本
安装此版本的memcached 必须有libevent支持
下载libevent-1.4.10-stable.tar.gz 切勿最新版本(可能会有repl ...
使用redhat 系统在线安装时提示This system is not registered with RHN.如下：
[root@localhost ~]# yum install httpdLoaded plugins: rhnplugin, securityThis system is not registered with RHN.RHN support will be disabled.Setting up Install ProcessNo package httpd available.Nothing to do解决方案：
1.卸载redhat自带的yum组件
[r ...
利用Spring 集成的Mail类发送邮件
下面贴出 其中的主要代码
public static void sendEmail(String toName, String subject, String context, boolean isHtml) throws Exception {
try {
org.springframework.mail.javamail.JavaMailSenderImpl senderImpl = new JavaMailSenderImpl();
// 设定mail server
...
hadoop API 读/写数据库
- 博客分类：
- hadoop
利用Hadoop API 从数据库中读出数据 简单处理 并写入数据库中
package dbio;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import org.apache.hadoop.conf.Configuration;
import org.apache.h ...
hadoop API 读数据库到HDFS
- 博客分类：
- hadoop
用hadoop的API从数据库读取数据到HDFS
package com.avgdate;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Date;
import org.apache.hadoop.conf.Configur ...
hadoop 二次排序 插入数据库
- 博客分类：
- hadoop
二次排序:根据自定义对象的compareTo 方法排序
由下面的代码实现可以看出 二次排序的实质是 先根据第一个字段排完序后再排第二个字段
若还有第三个字段参与进来是否可以叫作三次排序呢 (？_ ？)
另：根据程序断点初步判断
设置job的sort 会在mapper 至combiner阶段执行
设置job的group会在combiner至reduce 阶段执行
不过在从combiner到reduce的时候若传递的key为自定义的对象即使重写了hashcode 和equals 方法也不会当成相同的key来处理 不得已在本程序中传输key为 ...
hadoop 求平均时间
- 博客分类：
- hadoop
sqoop 求订单完成是平均时间精确到0.1天
package hdfs.demo3;
import hdfs.constants.DemoLineInputFormat;
import hdfs.constants.Utils;
import java.io.IOException;
import java.math.BigDecimal;
import java.sql.Timestamp;
import java.util.Date;
import java.util.Vector;
import org.apache.commons.lang. ...
正则表达式之 获取匹配与非获取匹配
- 博客分类：
- JS
最近公司没什么任务,所以学习了一下JS的正则表达式,收获颇多。
举出其中的几个典型表达式分享下。
正向预查 ： (?=pattern)
正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如， 'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发 ...
Hadoop的基础配置
- 博客分类：
- hadoop
1. 下载hadoop安装包
可以到这个网站上下载http://www.apache.org/dist//hadoop/core/如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。
2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。下面逐一说明：
3.hadoo
Eclipse集成hadoop插件
- 博客分类：
- hadoop
将jar文件放在$eclipse_home\plugins下 重启eclipse 即可
1.打开Map/Redue 视图 默认在控制台旁边
2.切换到Map/Reduce 模式
3.配置并连接Map/Reduce
点击 小象 图标 创建hadoop 连接
在弹出的窗口中 输入nodename 的IP 和监听端口
Map/Reduce 和DFS 的监听端口都是9000 (在conf/core-sire.xml配置)
1.先在http://cygwin.com/install.html上下载安装文件
打开后双击setup.exe安装。如下图：
2. 直接点击下一步后如下图：
图中有三个选项，意思一看就懂啊。这里直选择下一步
3.直接点击下一步后如下图:
Hadoop 分布式安装
- 博客分类：
- hadoop
1.安装检查 jdk的安装 略过
2.安装ssh (牛哥 提供脚本 未检测)
#!/bin/sh
cd /home/admin
rm -rfv .ssh
mk .ssh
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod go-rwx ~/.ssh/authorized_keys
3.
hadoop 常见错误
- 博客分类：
- hadoop
hadoop常见错误:
1. 一直连接不上
原因： 可能是hadoop 没有启动!
2. org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=EXECUTE...
原因：因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho 身份去将作业写入