liutielei-CSDN博客

原创 spark-2.20 集成hive spark

1、下载spark2.2.0包 2、解压 3、计入配置目录 conf 4、copy cdh中hive-site.xml hdfs-site.xml yarn-site.xml core-site.xml 到conf 目录下 5、修改spark-env.sh,设置各变量及引入jar包 export SPARK_HOME=/home/cdh/software/spa...

2018-08-15 21:04:44 718

原创 hive根据身份证号判断性别

select no_cer,case when (case when LENGTH(no_cer)=15 then substr(NO_CER,14,1) when LENGTH(no_cer)=18 then substr(NO_CER,17,1) end)%2=0 then '女' else '男' end from bdl_dsc_eac01_blc limit 10;

2016-05-26 15:29:51 3814

原创 python将mysql表中数据抽取到另一个mysql库中，持续更新抽取到oracle中

import MySQLdb import ConfigParser class Mysql2Mysql(object): def getConn(self,filename,dbname): cf = ConfigParser.ConfigParser() cf.read(filename) db_host=cf.get(dbn

2016-04-07 12:40:13 3191

原创 python计算词频

网上看到一个面试题，描述如下：有一个文件file1，文件内容如下： Hello world Hello perl hello world Goodmorning good news 123 请用perl，python或者java写一个程序，计算file1中首字母大写的单词出现的次数。 python实现代码如下： f=open('test','r+') l

2016-03-31 11:28:03 1210

# # FILTERINGDATA.py # # Code file for the book Programmer's Guide to Data Mining # http://guidetodatamining.com # Ron Zacharski # # -*- coding:utf8 -* from math import sqrt users = {

2016-03-11 11:15:39 447

原创数据挖掘之曼哈顿距离、欧几里距离、明氏距离、皮尔逊相关系数、余弦相似度Python实现代码

# -*- coding:utf8 -*- from math import sqrt users = {"Angelica": {"Blues Traveler": 3.5, "Broken Bells": 2.0, "Norah Jones": 4.5, "Phoenix": 5.0, "Slightly Stoopid": 1.5, "The Strokes": 2.5, "Va

2016-03-08 22:15:07 4605

原创 Python批量将excel文件转化为txt

# -*- coding: utf-8 -*- import urllib,os import xdrlib ,sys import xlrd reload(sys) sys.setdefaultencoding('utf-8') file_dir=r'E:\test\data\data\11' def open_excel(filename): try:

2016-01-19 18:49:57 4986

原创 oracle 查询哪些进程耗费资源以及拼接杀进程语句

SELECT x.SQL_TEXT, 'ALTER SYSTEM KILL SESSION ''' || S.SID || ',' || S.SERIAL# || ''';','kill -9 '||SPID, S.SID, S.SERIAL#, S.USERNAME, S.MACHINE,

2016-01-19 14:33:21 812

原创 shell脚本监控集群FTP是否正常，可上传下载文件

#!/bin/sh ######################################## #尝试登录集群各个节点，检查FTP是否可正常登录 #登录失败或者上传文件失败则发邮件通知 ####################################### if [ -s err.log ];then rm -f err.log fi function login_f

2015-04-28 21:47:51 1217

转载 String 内存的介绍

一、两种实例化方式： String str = “abc”； String str = new String("abc"); 一个字符串就是String的匿名对象。 "hello".equals(str) 一个字符串能够调用一个函数，可以看出，一个字符串是String的匿名对象。二、比较（1）直接赋值 String str = “abc”；表示一

2012-05-08 10:27:54 435