时间shell
#!/bin/sh
source /etc/profile
source ~/.bashrc
if [ $# == 1 ]; then
day=$1
day=`date --date="${day}" +%Y%m%d`
s_day=`date --date="${day}" +%Y-%m-%d`
else
day=`date --date='yesterday' "+%Y%m%d"`
s_day=`date --date='yesterday' "+%Y-%m-%d"`
fi
yesterday=`date --date="${day} - 1 day" +%Y%m%d`
s_yesterday=`date --date="${day} - 1 day" +%Y-%m-%d`
tongbi_day=`date --date="${day} - 7 day" +%Y%m%d`
s_tongbi_day=`date --date="${day} - 7 day" +%Y-%m-%d`
week_start=`date --date="${day} - 6 day" +%Y%m%d`
week_end=${day}
pre_week_start=`date --date="${day} - 13 day" +%Y%m%d`
pre_week_end=`date --date="${day} - 1 week" +%Y%m%d`
pre_week_start_y=`date --date="${day} - 14 day" +%Y%m%d`
p_pre_week_start=`date --date="${day} - 20 day" +%Y%m%d`
p_pre_week_end=`date --date="${day} - 2 week" +%Y%m%d`
forward_30day=`date --date="${day} - 30 day" +%Y%m%d`
forward_37day=`date --date="${day} - 37 day" +%Y%m%d`

multask
#!/bin/sh
source /etc/profile
source ~/.bashrc
if [ $# == 2 ]; then
run_file=$1
run_day=$2
echo $run_file
echo $run_day
start_day=`echo ${run_day}|cut -d '-' -f 1|xargs -i date -d {} +%s`
echo $start_day
end_day=`echo ${run_day}|cut -d '-' -f 2|xargs -i date -d {} +%s`
echo $end_day
for((i=$start_day;i<= $end_day;i+=86400))
do
echo "nohup sh $run_file" `date -d @${i} +%Y%m%d` "> mul.log 2>&1 &"
echo "nohup sh $run_file" `date -d @${i} +%Y%m%d` "> mul.log 2>&1 &"|bash
done
fi

if [ $driver_rownum -gt 100 -a $order_rownum -gt 100 ]
then
echo '---->send mess'
rm ./scp.log -rf
./scp_data.sh ${today_day} >> ./scp.log
gnum=`grep 100 scp.log|wc -l|awk '{print $1}'`
num=0
while [ $num -lt 200 -a $gnum -lt 1 ]
do
sleep 5m
echo 'sleep 5m'
let num++
echo `date` >> ./scp.log
./scp_data.sh ${today_day} >> ./scp.log
gnum=`grep 100 scp.log|wc -l|awk '{print $1}'`
done
echo '----> send success'
else
echo '---->data is not enough'
fi
检测文件是否达标 是否存在 然后发送

自动发送邮件
MIMEMultipart类型有三种：multipart/mixed, multipart/related和multipart/alternative。

自动发送邮件
MIMEMultipart类型有三种：multipart/mixed, multipart/related和multipart/alternative。
multipart/alternative纯文本
multipart/related内嵌资源，手机上看不到
multipart/mixed可以带附件，并且手机可以看
默认就是mixed

select province,city,people
rank() over (order by people desc) rank,
dense_rank() over (order by people desc) dense_rank,
row_number() over(order by people desc) row_number
from pcp
group by province,city,people;
浙江 杭州 300 1 1 1
江苏 苏州 299 2 2 2
江苏 南京 270 3 3 3
江苏 某市 200 4 4 4
浙江 温州 200 4 4 5
浙江 宁波 150 6 5 6
江苏 某某市 100 7 6 7
浙江 嘉兴 100 7 6 8
row_number顺序下来,
rank:在遇到数据相同项时,会留下空位,第四列第三行开始，446，少了一个5
dense_rank:在遇到数据相同项时,不会留下空位,第五列第三行开始，445，不会留下空位

index = 1
for k in range(120,123):
for i in range(97,123):
for ii in range(97,123):
print "cat head_%s >> %s.txt" % (chr(k) + chr(i) + chr(ii) ,str(index))
index += 1

set yarn.app.mapreduce.am.resource.mb=2000;
set mapreduce.map.memory.mb=3000;
set mapreduce.reduce.memory.mb=3000;
set hive.exec.reducers.bytes.per.reducer=50000000;

sed 's/.*mycluster-tj\([^\,]*\).*/\1/g' 匹配集群表路径

http://www.cnblogs.com/xwdreamer/p/3823463.html
shell 截取字符串

str='this is a tree! and that is a car.'
//如果包含this
[[ $str =~ "this" ]] && echo "\$str contains this"
//如果不包含that
[[ $str =~ "that" ]] || echo "\$str does NOT contain that"

http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201608/t20160809_1386477.html
身份证号前6位对应城市 官方数据

流失预测，根据当前业务，特征值可包括用户行为，比如打开了什么页面，用了什么功能，以及次数，还有登陆次数，金融方面的话，还可加入余额。细分的话可分为工作日，周末，早上晚上，近一周，近两周以此类推，所以还是有的做的。