自从入行以来，从来没有重视过内存管理这块的东西，但这次真的是该遭的罪一点没落下的全体验了一遍。试问苍天饶过谁。由于预测时的全量用户为 1.5 亿，数据量实在太大，而且服务器上没有 GPU 资源，所以只能通过开启多进程的方式来进行预测。在 python 中开启多进程无果后，只能想办法曲线救国，最终通过 shell 脚本将数据拆分然后循环调用 python 脚本，这个过程中可以将拆分后的数据的起始行数和数据量通过参数传递给python，最终以这样的方式成功开启了多进程。但随后遇到了另外一个问题：内存溢出导致的部分进程被 kill。

Transformer 是由谷歌于 2017 年在 Attention Is All You Need 中首次提出。Transformer的提出在很大程度上改变了自然语言处理领域的局面，取代了传统的循环神经网络和卷积神经网络在语言模型、机器翻译等任务中的地位。

在学习的过程中，本站整理记录了一些机器学习相关的内容和文章，但看起来稍显杂乱，故此专门以机器学习的基本流程为主线，制作了本站机器学习相关的内容进行导航跳转。（持续更新）

样本不平衡问题是在生产过程中普遍存在的问题，在很多场景中样本的比例极度失衡，如果不进行处理，那么模型最终的效果可能不尽如人意。本篇收集整理了常用的样本平衡手段和方法。

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。所以机器学习的大部分时间都是在处理数据的过程中，掌握好特征工程的思路和方法，有更高的概率能获得高质量数据。

异常值可能是在数据采集、数据记录、数据提取等步骤中产生的，异常值的出现会对模型学习进行干扰，所以需要进行特殊处理。而在实际的生产环境中的异常值更是五花八门。

根据原数据构建了67个特征，尝试了多种算法和多次参数调优最终得分0.6925，记录过程分享一下。感觉数据指标还可以再优化，调参也还有进步空间，可以进一步优化提升。

在选择算法进行建模的时候，每种类型的算法中都有如此多可以用，我们如何选择一个最契合当前数据的模型？模型训练完之后，我们如何知道这个模型的效果？本文整理了机器学习中一些常用的评估方法

本篇笔记收集整理了一些sklearn常用方法（不包含算法的调用，算法调用详见上一篇）的调用、参数详解和调用案例，仅供学习记录和快速查询，还在持续更新中。