转载
Hadoop 安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了 官方安装教程 ,步骤详细,辅以适当说明, 相信按照步骤来,都能顺利安装并运行 Hadoop 。另外有 Hadoop安装配置简略版 方便有基础的读者快速完成安装。此外…

阅读全文

梨子
编译安装配置 haproxy 笔记

因为浑南校区 v6 不稳定,最近尝试在树莓派上搭建一条 tunnel 来方便浑南的同学连上 v6 的梯子。之前试过用 haproxy 中转代理 ss 加速,所以这次试验的环境就是在 Raspbian (Debian Jessie) 上配置 haproxy。 haproxy 是个很好的负载均衡软件,它可以实现对若干目标服务器的转发,可以定义各种复杂的逻辑。咱这次就是为了让 haproxy 将树莓派的一些端口直接映射到日本等服务器上的远程端口上,这样就可以通过 v4 走树莓派代理再通过 v6 走境外 ss 节点的代理上网了。 首先我们要安装 haproxy。这里千万不要从源上装,官方已经出了 1…

阅读全文

转载
Linux 命令行烧录树莓派镜像至 SD 卡

首先下载镜像压缩包 http://shumeipai.nxez.com/download 验证压缩包的未被串改 对此命令的输出结果和官网给出的SHA-1 Checksum进行比对,如果一致,则说明数据未被串改或损坏,否则需要重新下载。 解压缩镜像。 查找SD卡 运行 df -h 命令查看当前哪些设备已经挂载,结果如下图第一次显示。只执行 df 命令也是可以的,但是 -h 选项给出的分区大小更加直观易读,h 是 human 的缩写。插入 SD 卡后,再次运行 df -h,找出两次运行区别。如下图:我们插入的 SD 卡设备名称就是 /dev/sdb 它包含两个分区,分别是 /dev/sdb1…

阅读全文

转载
Linux chmod 递归设置目录 755 和文件 644 权限

最初用 Linux 的时候不懂,一有问题就 777,现在看着一片心塞,怎么办呢 经常要用到的命令,记录一下。

阅读全文

转载
Debian 下 cron 的使用方法和常见问题

一、常用的 cron 命令: 启动 service cron start 关闭 service cron stop 重启 service cron restart 判断 cron 是否在运行:pgrep cron ,如果有在运行则返回进程号。 杀掉 cron 进程:pkill cron ,此法可用在关闭或重启不了 cron 的时候。 配置 cron 定时任务:crontab -e 这个是 root 用户的配置文件,其它用户是对应的用户名命名的文件,所以配置定时任务也可以 vim /var/spool/cron/crontabs/root 后面会讲如何添加定时任务。 配置指定用户的配置文件:c…

阅读全文

梨子
教你如何使用 ipv6 代理免费上校园网

首先呢我们使用的工具是 Shadowsocks,不知道 Shadowsocks 是什么的同学, 传送门 因为校园网的 ipv6 是免费的,所以可以通过一台能连接 ipv6 的服务器代理,来实现免费上网。这里要注意几个问题,代理的过程中你的电脑和服务器都是会产生流量的(虽然校园网 ipv6 免费),服务器通常是有流量限制的,也许是 500G/月(或者更多乃至无限,具体看 vps 服务商的说明),反正一个人用足够了。 第二个问题是你需要能够连接上 ipv6,通常来讲,连上校园网就能访问 ipv6。但是如果你在寝室,有些路由器/交换机可能会不支持 ipv6。要测试是否已经接入 ipv6,打开终端/…

阅读全文

梨子
使用 iptables 来防止 ss 服务器被用于发送垃圾邮件

昨天,笔者像往常一样用 ss 上网时,发现代理服务器挂了。笔者随即打开了 vps 管理界面,发现了服务器被 VPS 服务商封号了,说是服务器向外发送了大量垃圾邮件,如图 然后笔者不假思索的点击了这个按钮 然后不到 2 分钟之后又被封了……gg 这次仔细研究了上面那张图里的信息,发现原因是服务器上运行的 ss mu,好在用户也不多,一查发现,有人在 Windows 客户端打开了“允许来自局域网的连接”,这样一来如果接入的是广域网,就会出现一大批来自各种 ip 的 1080 端口请求,这其中就不乏有发送垃圾邮件的。为了解决这些问题,决定在服务器上开启 iptables 防火墙。 将其中与邮件相关…

阅读全文

梨子
CentOS 下自定义开机启动服务和 chkconfig 使用总结

一、 对于支持 chkconfig 的程序,只要把它扔到 /etc/init.d/ 目录下,然后添加服务,然后用让它开机自动启动就可以了。 比如笔者今天试图让服务器开机自动运行 XAMPP 二、 如果我们想自己写一些脚本,也可以用下面的方法把它注册为服务 主程序 main 里,在开头加入语句。 编写service脚本 /etc/init.d/myservice 提升脚本文件权限 最后将service 加入到服务和自启动列表; 这里如果 #!/bin/bash 后没有下面这两句的话,就会出现 service myservice does not support chkconfig 问题 其中 …

阅读全文

转载
持续集成(CI)是什么

持续集成是什么? 互联网软件的开发和发布,已经形成了一套标准流程,最重要的组成部分就是持续集成(Continuous integration,简称 CI)。 本文简要介绍持续集成的概念和做法。 一、概念 持续集成指的是,频繁地(一天多次)将代码集成到主干。 它的好处主要有两个。 (1)快速发现错误。 每完成一点更新,就集成到主干,可以快速发现错误,定位错误也比较容易。 (2)防止分支大幅偏离主干。 如果不是经常集成,主干又在不断更新,会导致以后集成的难度变大,甚至难以集成。 持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。 它的核心措施是,代码集成到主干之前,必须通过自动化测试。…

阅读全文

梨子
让阿里云 ECS 获得 ipv6 tunnel 地址

其实按照网上的教程,给服务器配置 ipv6 还是很简单的,这里主要总结一下遇到的坑。 首先注册 tunnel broker 的账号, 传送门 然后点左侧的 Create Regular Tunnel,输入服务器的地址,选择节点,就可以创建了 然后点一下 Example Configurations,按照提示配置,就好啦 配置完了在服务器里 ping6 neu6.edu.cn,如果通了就是配好了 nginx 和 apache 的配置方法这里就不赘述了,咱服务器从源上下的 nginx 编译的时候就自带 withipv6,不用重新编译的 现在来说说坑: 1、阿里云默认为 ECS 禁用了 ipv6 …

阅读全文