在深度学习训练中，训练方式根据并行策略的不同分为模型并行和数据并行。 在 N 卡上使用 torch 进行数据并行训练时，又有两种不同的选择：torch.nn.DataParallel(DP)、torch.nn.DistributedDataParallel(DDP)。 今天的重点是在 Docker 中使用 torch.nn.DataParallel(DP) 进行单机多卡训练。

docker 无法进入容器问题解决小记

Cursor 已经火了一段时间了，在刚发布的时候进行了试用，但说实话给我的冲击感并不强烈，甚至觉得这不就是一节简单的 AI 写代码工具吗，同样的功能其他 vscode 插件也能实现；当时还一直在使用通义灵码，甚至后来还尝试过将 Deepseek 接入到 vscode， 同样用着还不赖。直到前段时间又看到铺天盖地的营销，决定再去试用一番，顺便上网看看教程，进行更全面的了解；

Python 中的日志模块 logging 使用技巧与应用

OpenAI 于 12 月 5 日开启为期 12 天的系列发布活动，每天发布一个产品或样品，涵盖多个令人期待的 AI 工具和功能升级。包括 o1 满血版上线及 ChatGPT Pro 订阅服务、强化微调技术、Sora 正式版及新版本、ChatGPT Canvas 全面开放、与苹果合作将 ChatGPT 集成到 Apple Intelligence、高级语音模型增强、推出 ChatGPT Projects 功能、ChatGPT Search 全面升级免费开放、o1 推理模型开放 API、通过电话和 WhatsApp 使用 ChatGPT、ChatGPT 与 Mac 应用深度集成以及发布最新一代推理模型 o3 和 o3--mini。

有人在犟

在数据大小（32G）和服务器 内存 大小（360G）差 10 被的情况下，使用 pandas 来读取数据，但是在读取数据的时候会导致内存被占满最终导致 python 脚本被 kill。原因定位。

crontab 是 Linux 和 Unix 系统中的一个用来设置周期性任务调度的工具，它的全称是 "cron table"。crontab 文件包含了 cron 进程需要执行的任务列表，并指定任务的执行时间。cron 进程会根据 crontab 文件中的配置，在指定的时间自动执行任务。

有人恐惧

有人离开

简介不了

SparkSQL 是 Spark 的一个模块，专为处理结构化数据而设计，提供了对 SQL 查询的支持，使得用户可以通过 SQL 或 DataFrame API 进行高效的数据处理和分析。SparkSQL 允许无缝地在结构化数据（如 JSON、Parquet、Hive 表）和 RDD 之间进行转换，集成了 Catalyst 优化器和 Tungsten 执行引擎，从而实现查询优化和高效执行。此外，SparkSQL 还支持与多种数据源的集成，使其在大数据处理和分析领域具有广泛的应用。

Spark Core 是 Apache Spark 的核心模块，提供了对分布式内存计算和数据处理的基础支持，基于 RDD（Resilient Distributed Dataset）这一基本数据抽象，实现了高效的并行计算和容错机制。通过 SparkContext 与集群交互，DAG Scheduler 和 Task Scheduler 调度任务执行，Block Manager 管理数据块的存储和传输，用户可以通过丰富的 RDD API 构建和执行复杂的数据处理任务。Spark Core 支持批处理、交互式查询、机器学习和图计算等多种应用场景，是 Spark 生态系统的基础。

Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的API提高了开发速度。Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言去开发应用 程序计算数据。Spark 集成了多种大数据工具和框架，如 Kafka、Cassandra、HBase、HDFS 等，形成了一个强大的大数据处理生态系统。Spark 的统一编程模型和强大的性能使其成为大数据分析、实时流处理和机器学习等领域的重要工具。

Apache Hive 是一个用于大数据处理的开源数据仓库工具，最初由Facebook开发并于2010年贡献给Apache软件基金会。它设计的主要目的是使数据分析人员能够通过类SQL语言（即HiveQL）在Hadoop分布式文件系统 (HDFS) 上执行大规模数据查询和分析。Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。

MapReduce是Hadoop中的分布式计算组件，它可以以分散->汇总（聚合）模式执行分布式计算任务MapReduce可供Java、Python等语言开发计算程序。YARN（Yet Another Resource Negotiator）是Hadoop 2.x版本引入的资源管理框架，用于集群资源管理和任务调度。它将MapReduce的资源管理和任务调度功能抽象出来，提供一个通用的资源管理平台，可以支持多种分布式计算框架。

Hadoop HDFS (Hadoop Distributed File System) 是一个分布式文件系统，设计用于在大型数据集上进行高吞吐量的数据存储和访问。它是 Hadoop 生态系统的重要组成部分，支持大规模数据处理和分析。 为什么需要分布式存储？ 数据量太大，单机存储能力有上限，需要靠数量来解决问题 数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果

Linux 软件安装实践；记录了 zookeeper、Tomcat、Nginx、Hadoop、SQL、Spark、Flink 等软件的安装和遇到的问题，以供学习和参考；均用 Ubuntu 系统安装。

Linux 复习笔记；整理了包含常用命令、网络连接认证、用户和权限等等方法的运用，对 Linux 有一个初步的了解。

最近面试了一个大数据异常行为检测的岗位，所以重新温习整理一下 SQL 相关的内容。 数据库主要分为两大类,分别是关系型数据库(SQL)和非关系型数据库(NOSQL);在关系型数据库中Oracle和MySQL是最具有代表性的两个,在非关系型数据库中MongoDB和Redis也是榜上有名。 SQL（结构化查询语言）是一种用于操作和查询数据库的标准化语言。它被大多数现代数据库系统如MySQL，Oracle，SQL Server，PostgreSQL等广泛采用。尽管这些数据库系统都使用SQL，但是他们之间可能会有一些语法上的差异，这些差异主要是由于各个数据库系统提供的特定功能和优化。