此博客经常从事非法的交易。
xjward · 共 36 篇文章
SVN 安装
项目需要 SVN 来管理,以前都只是在用,正好有时间,学习下怎么安装。 以下是安装步骤 留做笔记: 环境: 使用 cat /etc/redhat-release 查看 虚拟机 :Red Hat Enterprise Linux Server release 6.0 (Santiago) 跟据百度文库 http://wenku.baidu.com/view/8817db146edb6f1aff001f29.html 需要依赖:apr-1.3 、sqlite-amalgamation-3.6、httpd-2.2 本机安装包: rpm -qa |grep sqlite sqlite-3.6.20-…
mysql
下载rpm包; rpm -qa | grep -i mysql //查看当前系统是否装过mysql rpm -e MySQL-server //卸载MySQL 服务端 rpm -ivh MySQL-service.xx.xx.rpm //安装MySQL 一、mysql登录错误 mysqladmin: connect to server at 'localhost' failed error: 'Access denied for user 'root'@'localhost' (using password: YES)' 解决办法:破解mysql密码 #> service mysqld st…
2013-04-08 12:12 · 软件安装 · 评论(0)
memcache 主从配置
Rehat 6.0 server 版本配置memcahed 主从关系 据说: memcached配置主从关系,必须得用repcached 版本或repcached插件 ! 下载地址: http://sourceforge.net/projects/repcached/files/repcached/ 下载memcache 2.21-1.2.8-replication2.2.1.tar.gz 带插件的版本 安装此版本的memcached 必须有libevent支持 下载libevent-1.4.10-stable.tar.gz 切勿最新版本(可能会有replicarion-service错误!…
redhat 6 yum 安装
使用redhat 系统在线安装时提示This system is not registered with RHN.如下: [root@localhost ~]# yum install httpd Loaded plugins: rhnplugin, security This system is not registered with RHN. RHN support will be disabled. Setting up Install Process No package httpd available. Nothing to do 解决方案: 1.卸载redhat自带的yum组件 …
java 发送邮件
利用Spring 集成的Mail类发送邮件 下面贴出 其中的主要代码 public static void sendEmail(String toName, String subject, String context, boolean isHtml) throws Exception { try { org.springframework.mail.javamail.JavaMailSenderImpl senderImpl = new JavaMailSenderImpl(); // 设定mail server senderImpl.setHost("stmp.163.com"); //…
2013-02-28 12:30 · java · 评论(0)
hadoop API 读/写数据库
利用Hadoop API 从数据库中读出数据 简单处理 并写入数据库中 package dbio; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.C…
2013-02-28 11:14 · hadoop · 评论(0)
hadoop API 读数据库到HDFS
用hadoop的API从数据库读取数据到HDFS package com.avgdate; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.a…
2013-02-28 10:22 · hadoop · 评论(0)
hadoop 二次排序 插入数据库
二次排序:根据自定义对象的compareTo 方法排序 由下面的代码实现可以看出 二次排序的实质是 先根据第一个字段排完序后再排第二个字段 若还有第三个字段参与进来是否可以叫作三次排序呢 (?_ ?) 另:根据程序断点初步判断 设置job的sort 会在mapper 至combiner阶段执行 设置job的group会在combiner至reduce 阶段执行 不过在从combiner到reduce的时候若传递的key为自定义的对象即使重写了hashcode 和equals 方法也不会当成相同的key来处理 不得已在本程序中传输key为一个空Text() 不知是否有别的方法可以实现 ? 插入…
2013-02-27 18:06 · hadoop · 评论(0)
hadoop 求平均时间
sqoop 求订单完成是平均时间精确到0.1天 package hdfs.demo3; import hdfs.constants.DemoLineInputFormat; import hdfs.constants.Utils; import java.io.IOException; import java.math.BigDecimal; import java.sql.Timestamp; import java.util.Date; import java.util.Vector; import org.apache.commons.lang.StringUtils; import …
2013-02-27 17:11 · hadoop · 评论(0)
正则表达式之 获取匹配与非获取匹配
最近公司没什么任务,所以学习了一下JS的正则表达式,收获颇多。 举出其中的几个典型表达式分享下。 正向预查 : (?= pattern ) 正向预查,在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如, 'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ,但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。 下面是win7…
2013-02-27 11:55 · JS · 评论(0)
Hadoop的基础配置
1. 下载hadoop安装包 可以到这个网站上下载 http://www.apache.org/dist//hadoop/core/ 如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。 2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为:hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。下面逐一说明: 3.hadoop-env.sh 这个文件中主要配置JAVA_HOME路径。需要注意的是:1.j…
2013-02-27 11:40 · hadoop · 评论(0)
Eclipse集成hadoop插件
将jar文件放在$eclipse_home\plugins下 重启eclipse 即可 1.打开Map/Redue 视图 默认在控制台旁边 2.切换到Map/Reduce 模式 3.配置并连接Map/Reduce 点击 小象 图标 创建hadoop 连接 在弹出的窗口中 输入nodename 的IP 和监听端口 Map/Reduce 和DFS 的监听端口都是9000 (在conf/core-sire.xml配置) 修改dfs.replication 值为1 (默认为3 单机测试时需要修改)
2013-02-26 09:32 · hadoop · 评论(0)
cygwin安装
1.先在 http://cygwin.com/install.html 上下载安装文件 打开后双击setup.exe安装。如下图: 2. 直接点击下一步后如下图: 图中有三个选项,意思一看就懂啊。这里直选择下一步 3.直接点击下一步后如下图: 这里是要选择安装路径,设置在哪里都可以。没有特殊要求。 4. 设置好路径后下一步进入下图: 这是设置Cygwin安装文件的目录。先安装的exe只是个引导它需要自己下载安装文件。设置这个目录就是存储这些文件的。 5.设置好后下一步进入下图: 这里是你网络的链接方式,第一个是直接链接,第二个是使用IE代理,第三个使用你指定的HTTP/FTP代理。你要根据你…
2013-02-26 09:31 · 软件安装 · 评论(0)
Hadoop 分布式安装
1.安装检查 jdk的安装 略过 2.安装ssh (牛哥 提供脚本 未检测) #!/bin/sh cd /home/admin rm -rfv .ssh mk .ssh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod go-rwx ~/.ssh/authorized_keys 3.配置ssh 通讯 4.在windowns 平台修改conf目录下的配置文件 hadoop-env.xml 配置jdk 原文件已经有此属性 放开注释即可 export JAVA…
2013-02-26 09:24 · hadoop · 评论(0)
hadoop 常见错误
hadoop常见错误: 1. 一直连接不上 原因: 可能是hadoop 没有启动! 2. org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=EXECUTE... 原因:因为Eclipse使用hadoop插件提交作业时,会默认以 DrWho 身份去将作业写入hdfs文件系统中,对应的也就是 HDFS 上的/user/xxx , 我的为/user/hadoop , 由于 DrWho 用户对hadoop目录并没有写入权限,所以导致异常的发生 a、如果是测试…
2013-02-26 09:17 · hadoop · 评论(0)