LZX的博客

【代码】python将dataframe指定列更新至Mysql。

mysql一个字段内文本较长超过4m导致dataframe存入mysql报错

一. 安装oracle client并配置环境下载oracle客户端并解压到本地文件夹https://www.oracle.com/cn/database/technologies/instant-client/winx64-64-downloads.html配置path环境变量将客户端解压地址增加到path种e.g. 本人客户端解压地址为 D:\develop\oracleClient\instantclient_21_3将oracle客户端目录下.dll文件复制到pyth

问题描述：爬虫随机生成UA导最新包，包版本已为最新0.1.11pip install fake-useragent执行如下代码并报错from fake_useragent import UserAgentua = UserAgent(cache=False)print(ua.chrome)报错信息Error occurred during loading data. Trying to use cache server https://fake-useragent.herokuapp

requests添加cookies时，从chrome复制过来的cookie value中包含中文，格式utf8.自己手动更改即可例如：cookie_str = '_uab_collina=161476093362863313765294; UM_distinctid=179d46d3214a95-033d711404c137-f7f1939-1fa400-179d46d321510b2; zg_de1d1a35bfa24ce29bbf2c7eb17e6c4f={"sid": 162512654933

问题描述：sqoop导入历史数据至hive，落地部分日期数据较mysql数据少几条。mysql -> sqoop -> hdfs -> ods问题分析写了jar 逐天比对mysql对应日期和hive对应日期数据量，count(1) 不同的日期保存下来。然后拉对应日期的mysql 和 hive数据查出缺少的数据。我是用navicat 和dbeaver分别将缺少数据日期的mysql数据和hive数据保存成CSV格式。import pandas as pdhive_path =

import os# 更改合并文件路径fw = open(r'1.txt', 'w+', encoding='utf8')# 更改文件夹地址即可for root, dirs, files in os.walk(r"C:\Users\Administrator\Desktop\date"): for file in files: filename = os.path.join(root, file) for line in open(filename.rstri

问题描述：gunicorn -w 2 -b 10.70.12.102:5000 app:app& 部署完flask代码后，退出xshell 请求发送不过去，报500错误，xshell连接状态下正常请求。解决办法：添加参数gunicorn -w 2 -b 10.70.12.102:5000 app:app -D使用supervisor管理gunicorn...

问题描述：目前有以下dataframe，想根据‘b’列 以‘*… *’结构保存dataframe行data = pd.DataFrame([['aaa', '*ac*', 'aad'], ['aae', 'ddd', 'fff'], ['aae', '*dddddd*', 'fff']], columns=['a', 'b', 'c']) a b c0 aaa *ac* aad1 aae ddd fff2 aae *dddddd*

问题描述：以下字典想转成如下格式Dataframedict1 = {'a': [1, 2, 3], 'b': [3, '2'], 'c': [1, 5, 6, 7, 8]}Out[4]: A B0 a [1, 2, 3]1 b [3, 2]2 c [1, 5, 6, 7, 8]dict1 = {'a': [1, 2, 3], 'b': [3, '2'], 'c': [1, 5, 6, 7, 8]}df1 =

问题描述list = [[1, 2, 3], [3, 4], [1, 2, 3, 4, 5]]想转成dataframe格式如下 tag0 [1, 2, 3]1 [3, 4]2 [1, 2, 3, 4, 5]错误：使用pd.DataFrame(data=list,columns=[‘a’])报错AssertionError: 1 columns passed, passed data had 5 columns原因：使用

data:dataframe rate _c2 0 0.00 1030111000000000000 1 0.00 1070302150000000000 2 0.06 3040801000000000000 3 0.06 70218 4 0.09 1010115012700000000 5 0.09 1010115039900000000 6 0.10 10302100

python查es数据的dataframe,原来某一列为规律的字典，第一列为id,现想把id对应插入字典生成新dataframe。反过来将字典值提取出来生成新dataframeimport pandas as pddata1 = { "a": [1, 2, 3], "b": [{'X': 10, 'Y': 20}, {'X': 50, 'Y': 100}, {'X': 33, 'Y': 44}], "c": [7, 8, 9]}df = pd.DataFrame(data

记一个python原始sql建表文件.sql，经过用notepad++标记 +正则处理后文件test.txt为以下格式#CREATE TABLE `sajt_auth` `ID` `ROLE_ID` `PAGE_ID` `BUTTON_ID`#CREATE TABLE `sajt_auth_dc` `ID` `ROLE_ID` `PAGE_ID` `BUTTON_ID`#CREATE TABLE `sajt_button` `ID` `PAGE_ID`

错误原因，多列用’ [ ] '括起来错误示范：print(CNC_Production.loc[:, 'StartTime', 'EndTime', 'dataTime', 'UpdateTime'])正确示范：print(CNC_Production.loc[:, ['StartTime', 'EndTime', 'dataTime', 'UpdateTime']])

代码中这样导入import redis 使用anaconda 下载 conda install redis还是点不出redis正确应该下载pyredis包conda install pyredis

导包 import pd as pandas创建pandas对象（Series | DataFrame | Index）创建Series pd.Series(data,index = index)创建DataFrame pd.DataFrame(Series,columns=['population']) pd.DataFrame({'A':Series1,'B':Series2}) pd.DataFrame([{'a':1,'b':2},{'c':1,'d':2}])

错误原因 pd.read_sql()误把sql语句识别为表名使用jupter可以正常操作查看版本后发现jupter suoyong python3 的pandas 版本为0.24.2，而linux上是0.24将linux上pandas版本升级就可以解决问题

通过mysql ->show databases 命令获取所有非默认数据库存入列表中返回修改 host user passwd即可import pymysqlnow_time = datetime.now().date()yes_time = now_time + timedelta(days=-3)yes_time = yes_time.strftime('%F %X')class Mysql(object): # mysql 端口号,注意：必须是int类型 def

import datetimethreeMonthsAgo =datetime.date(datetime.date.today().year,datetime.date.today().month-3,datetime.date.today().day).strftime('%Y%m%d %H:%M:%S')oneYearAgo =datetime.date(datetime.date.today().year-1,datetime.date.today().month,datetime.date.t

问题描述：重装python环境后，pip3查看版本报错 [root@siger-master Python-3.6.2]# pip3 -V Traceback (most recent call last): File "/usr/bin/pip3", line 7, in <module> from pip import main ImportError: c...