标注
qt
华为机试
hbase
.md预览
两数之和
端口转发
运维实战
CSDN
C++11
httpClient
内存管理
个人博客
Eolink
企业应用
docker 搭建es
模拟量应用
Parent
乌鸦安全
孤立森林
数据清洗
2024/4/12 2:22:27
运用ETLCloud快速实现数据清洗、转换
一、数据清洗和转换的重要性及传统方式的痛点
1.数据清洗的重要性
数据清洗、转换作为数据ETL流程中的转换步骤，是指在数据收集、处理、存储和使用的整个过程中，对数据进行检查、处理和修复的过程，是数据分析中必不可少的环节，对…
python笔记 之 手机号有效性简单判断
需求
在用户数据清洗中需要简单地判断手机号的有效性，于是从网上查找到运营商的号段，通过简单判断手机号的前三位是不是在号段内和剩余的8位是不是全为数字来简单判断用户手机是否有效。
号段
移动
移动号段包含139,138,137,136,135,134,147,150,151…
【PowerQuery】Excel 一分钟以内刷新PowerQuery数据
当需要进行刷新的周期如果小于一分钟，采用数据自动刷新就无法实现自动刷新的目标。那就没有办法了吗？当然不是，这里就是使用VBA来实现自动刷新。这里实现VBA刷新的第一步就是将当前的Excel 保存为带有宏的Excel 文件，如果不带宏则无法运行带有宏代码的Excel文件，保存过程如…
99% 用户都不知道的 Power BI / Power Query 隐藏功能
Power Query 有一个被糟糕的翻译耽误了的宝藏功能，我估计绝大多数的用户都没发现。 在 Power Query —— 视图 —— 数据预览 下，有几个奇怪的选项 “列分发”、“列配置文件”、“列质量”，从名字根本看不出来是做什么的！
看英文…
数据分析系列 之python中数据探索与预处理
1 概述 1.1 数据探索 检查数据错误，了解数据分布特征和内在规律 1.2 数据预处理 数据清洗 Data cleaning 数据集成 Data integration 数据变换 Data transformation 数据规约 Data reduction
2 数据清洗 2.1 缺失值处理 删除 填充：固定值、均值、中位数…
数据分析师的就业前景看好
IT行业哪个方向比较好就业?
目前IT行业的发展速度非常的快，很多领域都已经开始和IT技术进行紧密的结合，这也带来了很多岗位的空缺。那么就一起来说说，IT行业里，哪些方向会更好就业。 大数据时代，呼唤数据分析师。 …
R语言Meta分析核心技术：回归诊断与模型验证
R语言作为一种强大的统计分析和绘图语言，在科研领域发挥着日益重要的作用。其中，Meta分析作为一种整合多个独立研究结果的统计方法，在R语言中得到了广泛的应用。通过R语言进行Meta分析，研究者能够更为准确、全面地评估某一研究问题…
R语言Meta分析核心技术：从入门到精通
R语言作为一种强大的统计分析和绘图语言，在科研领域发挥着日益重要的作用。其中，Meta分析作为一种整合多个独立研究结果的统计方法，在R语言中得到了广泛的应用。通过R语言进行Meta分析，研究者能够更为准确、全面地评估某一研究问题…
BI神器Power Query（26）-- 使用PQ实现表格多列转换（2/3）
实例需求：原始表格包含多列属性数据,现在需要将不同属性分列展示在不同的行中，att1、att3、att5为一组，att2、att3、att6为另一组，数据如下所示。
更新表格数据
原始数据表：
Col1Col2Att1Att2Att3Att4Att5Att6AAADD…
(大)数据处理：从txt到MySql的数据预处理迁徙
Python 2.7 IDE Pycharm 5.0.3 MySQL 5.7 MySQL Workbench 6.3 前言
学长毕业刚好在整大数据，从数据堂花了大价钱买的一个月的北京出租车GPS数据，一天大概11G，一个月就是350G左右，而且数据全部存在txt中，根本无法进…
用户权限数据转换为用户组列表(2/3) - Power Query
实例需求：如下是AD用户的列表,每个用户拥有该应用程序的只读或读写权限，现在需要创建新的AD用户组,并根据用户当前的权限,将这些用户添加到相应的组中。
当前数据集：
SafeUserNameRead permissionsRW permissionsSafe1User1YesYesSafe1User…
BI神器Power Query（25）-- 使用PQ实现表格多列转换（1/3）
实例需求：原始表格包含多列属性数据,现在需要将不同属性分列展示在不同的行中，att1、att3、att5为一组，att2、att3、att6为另一组，数据如下所示。
更新表格数据
原始数据表：
Col1Col2Att1Att2Att3Att4Att5Att6AAADD…
BI神器Power Query（27）-- 使用PQ实现表格多列转换（3/3）
实例需求：原始表格包含多列属性数据,现在需要将不同属性分列展示在不同的行中，att1、att3、att5为一组，att2、att3、att6为另一组，数据如下所示。
更新表格数据
原始数据表：
Col1Col2Att1Att2Att3Att4Att5Att6AAADD…
使用VBA实现快速模糊查询数据
实例需求：基础数据保存在Database工作表中，如下图所示。 基础数据有37个字段，上图仅展示部分字段内容，下图中黄色字段为需要提取的数据字段。
在Search工作表B1单元格输入查询关键字Title和Genre字段中搜索关键字，包…
机器学习样本数据划分的典型Python方法
机器学习样本数据划分的典型Python方法
DateAuthorVersionNote2023.08.16Dog TaoV1.0完成文档撰写。 文章目录 机器学习样本数据划分的典型Python方法样本数据的分类Training DataValidation DataTest Data numpy.ndarray类型数据直接划分交叉验证基于KFold基于RepeatedKFold基…
R语言系列2——R语言数据处理技巧
目录 写在开头1. 数据导入与导出1.1 基础操作详解1.1.1 导入数据1.1.2 导出数据 1.2 高级技巧详解1.2.1 自定义导入1.2.2 自定义导出 1.3 常见问题 2. 数据清洗基础2.1 缺失值处理2.1.1 删除含缺失值的行或列2.1.2 填充缺失值2.1.3 预测模型填充2.1.4 使用特定值填充 2.2 数据类…
Python数据科学应用从入门到精通--Python读取、合并SPSS数据文件
在很多情况下，我们需要调用SPSS软件产生的数据，下面通过示例来进行讲解。首先需要将本书提供的数据文件存储在安装spyder-py3的默认路径位置（C:/Users/Administrator/.spyder-py3/，注意具体的安装路径可能与此不同）&am…
企企通“码上顺”清洗工具 | 让数据更有价值，让业务更出色
数据清理工作是企业数据管理、数据治理中的最基础的工作之一，不仅是一项苦活、累活，也是一个既考验业务又检验技术的活。
物料主数据作为企业核心的数据资产，在智慧供应链、业财一体化等数字化建设中发挥着重要作用。在当今高速发展的商业环…
数仓中数据清洗的方法
在数据采集的过程中，需要从不同渠道获取数据并汇集在数仓中，采集的原始数据首先需要进行解析，然后对不准确、不完整、不合理、格式、字符等不规范数据进行过滤清洗，清洗过的数据才能更加符合需求，从而使后续的数据分析…
PCA（主成分分析）数据降维技术代码详解
引言
随着大数据时代的到来，我们经常会面临处理高维数据的问题。高维数据不仅增加了计算复杂度，还可能引发“维度灾难”。为了解决这一问题，我们需要对数据进行降维处理，即在不损失太多信息的前提下，将数据从高维空间…
快速多列查找匹配关键字
实例需求：根据第一列专业名称，在“专业分类指导目录”中，针对三个学历层次（研究生、本科生、专科生）分别查找对应专业类别，填写在对应位置，即截图中的黄色区域。 需要注意如下两点： …
Linux 中用grep命令 辅助excle筛查数据
问题：因为要对多个年度的多个工作的相关于人员进行匹配，以形成人员信息详细表，要从总表中根据项目人员名单进行筛出。最常用是excle 中的VULOOUP 函数，但是由于人员信息详表中有格式、内容方面的问题，无法实现…
【小沐学NLP】Python使用NLTK库的入门教程
文章目录 1、简介2、安装2.1 安装nltk库2.2 安装nltk语料库 3、测试3.1 分句分词3.2 停用词过滤3.3 词干提取3.4 词形/词干还原3.5 同义词与反义词3.6 语义相关性3.7 词性标注3.8 命名实体识别3.9 Text对象3.10 文本分类3.11 其他分类器3.12 数据清洗 结语 1、简介
NLTK - 自然…
Pandas-如何用pandas批量删除含有某些特征数据的行
前言 本文是该专栏的第30篇，后面会持续分享python数据分析的干货知识，记得关注。
在工作上处理数据需求的时候，会通常需要你将某张数据表里面的多条特征数据进行删除，最后再保存清洗完成的数据。换言之，假设有某张csv数据表(几十万条数据)，而在这张表里面需要将几万条不…
R语言Meta分析核心技术：科研论文写作与数据可视化技巧
R语言作为一种强大的统计分析和绘图语言，在科研领域发挥着日益重要的作用。其中，Meta分析作为一种整合多个独立研究结果的统计方法，在R语言中得到了广泛的应用。通过R语言进行Meta分析，研究者能够更为准确、全面地评估某一研究问题…
【自然语言处理（NLP）实战】LSTM网络实现中文文本情感分析（手把手与教学超详细）
目录
引言：
1.所有文件展示：
1.中文停用词数据（hit_stopwords.txt)来源于：
2.其中data数据集为chinese_text_cnn-master.zip提取出的文件。点击链接进入github，点击Code、Download ZIP即可下载。
2.安装依赖库&am…
VBA之正则表达式（44）-- 拆分商品和规格
实例需求：商品组清单保存在A列中，现需要将其拆分为商品名称，保存在从B列开始的后续单元格中，部分商品包含规格，并且多种规格属性使用了逗号分隔，因此无法直接使用Excel分列功能完成数据拆分。 示例代码如下…
pandas数据分析教程-数据清洗-缺失值处理
pandas-02-数据清洗&预处理 A.缺失值处理1. Pandas缺失值判断2. 缺失值过滤2.1 Series.dropna()2.2 DataFrame.dropna()3. 缺失值填充3.1 值填充3.2 向前/向后填充文中用S代指Series，用Df代指DataFrame 数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清…
专利学习—— 一种基于聚类的水文降雨一致区分析方法
文章目录1 所属领域：属于水文水资源和数据挖掘交叉领域2 步骤分析2.1 根据单场降雨分割规则进行分割，获得单场降雨时间序列2.2 统计单场降雨时间序列的特征量，将每场降雨用一个n维特征向量表示2.3 使用主成分变换，保留特征值贡献率…
自己用的停用词(2955个)
停用词多就是好啊，先记下来，以后增加的话再增 、
老
有时
以前
。
一下
要不然
──
者
dont
〈
等到
反过来说
〉
一一
《
》
古来
your
准备
往往
而
「
」
怎
挨个
without
『
』
【
these
‐
】
逐渐
再者
–
—
would
〔
就是
怕
―
〕
‖
〖
甚至
…
Hive中高频常用的函数和语法梳理及业务场景示例
Hive中高频常用的函数和语法梳理及业务场景示例
聚合函数
collect_list - 收集列值到一个数组
collect_list函数用于将指定列的值收集到一个数组中，并返回该数组作为结果。它通常在GROUP BY子句中使用，以将相同键的值收集到一个数组中进行聚合操作
以…
数据分析-Pandas如何选择数据子集
数据分析-Pandas如何选择数据子集
Dataframe的数据中，选择某一列，某一行，或者某个子区域，该怎么办呢？
python数据分析-数据表读写到pandas
经典算法-遗传算法的python实现
经典算法-遗传算法的一个简单例子
大模型…
用户权限数据转换为用户组列表(3/3) - Excel PY公式
最近Excel圈里的大事情就是微软把PY塞进了Excel单元格，可以作为公式使用，轻松用PY做数据分析。系好安全带，老司机带你玩一把。 实例需求：如下是AD用户的列表,每个用户拥有该应用程序的只读或读写权限，现在需要创建新的…
我分析了55W歌词，就是想听听中国民谣在唱什么
1. 歌词获取
首先我需要一个民谣歌曲集合，选歌单的原则是尽力为选择能代表中国民谣的作品，事实上，现在民谣制作的门槛是真的低。有的民谣里面通篇就几个词翻来覆去。比如底下这种歌单很快就舍弃掉了。
（野鸡民谣）
最…
Python数据科学视频讲解：特征决策树分箱
5.3 特征决策树分箱 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解5.3节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括数据科学应…
大数据预处理之数据清洗
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。
遗漏数据处理
假设在分析一个商场销售数据时，发现有多个记录中的属性值为空&#…
深度学习与计算机视觉系列(7)_神经网络数据预处理，正则化与损失函数
作者：寒小阳 && 龙心尘 时间：2016年1月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/50451460 http://blog.csdn.net/longxinchen_ml/article/details/50451493 声明：版权所有，转载请联系…
Power Query 中常用的数据清洗、转换操作
（一）数据筛选、保留、删除、去重 1、数据筛选 操作步骤 选中列——点击列名右侧箭头——进行筛选 可选操作 勾选文本筛选器：等于/不等于、开头是/开头不是、结尾是/结尾不是、包含/不包含数字筛选器：等于/不等于、大于/大于等于…
一文讲透SPSS判断两组数据是否有显著性差异？
可使用SPSS中的独立样本T检验，独立样本T检验用于比较两组独立样本中某一变量的均值是否显著相同。该检验方法输出的结果是每组样本的描述统计量和莱文方差相等性检验，以及按相等方差和不等方差分组列示的T值、均值差分的95%置信区间。
打开数据8.3&…
【生态经济学】利用R语言进行经济学研究技术——从数据的收集与清洗、综合建模评价、数据的分析与可视化、因果推断等方面入手
查看原文>>>如何快速掌握利用R语言进行经济学研究技术——从数据的收集与清洗、综合建模评价、数据的分析与可视化、因果推断等方面入手
近年来，人工智能领域已经取得突破性进展，对经济社会各个领域都产生了重大影响，结合了统计学、…
【PowerQuery】Excel 的自动刷新功能-最低一分钟刷新
在Excel集成了PowerQuery之后，它提供了数据的手动刷新功能之外，也提供了数据的自动刷新功能。需要注意的是，PowerQuery提供的自动刷新功能是针对连接的，也就是说在PowerQuery自动刷新功能不是全局刷新功能，而是针对连接本身提供。接下来我们来看一下如何实现PowerQuery连接…
Pandas数据分析系列8-数据分组与聚合
Pandas 数据分组 在处理数据时，经常会需要对某一列或多列进行分组，分组后再对数据进行计算累加、最大值、最小值等。类似于Excel里的分类汇总，
在Pandas中，我们可以使用groupby 来完成这系列的分组统计。
语法结构:
dataframe.groupby(by=None, axis=0, level=None, …
Python3数据分析与挖掘建模（14）特征工程、数据清洗、特征预处理
1. 特征工程概念
1.1 特征工程概述
特征工程是机器学习中至关重要的步骤，它涉及到特征的选择、获取、处理和监控。下面是对每个方面的详细解释：
（1）特征使用： - 数据选择：在特征工程中，需…
Pandas数据处理分析系列4-数据如何清洗
Pandas-数据清洗
①缺失值处理
使用fillna()函数将缺失值替换为指定的值或使用插值方法填充缺失值 示例：df.fillna(0) #将缺失值替换为0
import pandas as pddf1=pd.read_excel("销售表.xlsx")
# 检查每列是否缺失
print(df1.isna) 效果如下： import pandas as …
总结：数据清洗的一些总结
##前言 在整理项目的时候发现清洗过程是一个非常细节的过程，几乎贯穿始终，也是后续步骤特征提取等的前置条件，所以整理如下,因为展开较大，所以我已近上传mindnode脑图和原始照片尺寸，请在这里下载数据清洗脑图原版 致谢…
通过去重进行数据清洗
通过去重进行数据清洗
数据初始 Seqno列去重
查看Seqno列都有哪些值
df[Seqno].unique() # 查看唯一的值duplicated方法 duplicated用于从上到下比较指定某一列的值，当这个值第一次出现时，返回False，当这个值和上一个比一样时，…