#### experiment：实验
#### experience：经历
Have you ever experienced such moments?
你经历过这些时刻吗
#### fill out a form：填写表格

#### repeatedly：频繁地
So you check it repeatedly.
所以你频繁地查看

#### constantly：不断地
You constantly fear that you haven’t locked the door or turned off the electricity
你不断地担心你没有锁好门和关掉电

#### time and again：一次又一次
#### there is no need for sb to do sth: 某人没必要做某事
There is no need for you to inspect them time and again.
你没必要反复检查

#### 英文的举例子就按照正常的句子一句一句就好了，英文没有冒号和分号。举例子的句式一样即可，如:
When A. When B.

侵入性思维_英语学习

# 前言
你生活中有没有这样的时候：填了一个表格，总是担心里面的手机号等信息填错，从而反复检查；离开家，总担心门或者电没关，从而回去检查。事实上，你所担心的事情，大多数都不会真正的灵验，很多事情在你验证之后便已经安全了，不用你反复去想，去验证。在心理学上，这样的思维叫做“侵入性思维”



# 侵入性思维
侵入性思维（Intrusive Thoughts）指那些不由自主地闯入意识、内容令人不适或恐惧、当事人试图抗拒却难以摆脱的思维、意象或冲动。

它满足5个特征：
1. 不请自来（Unbidden）：它自己冒出来，像弹窗广告
2. 令人不适(Distressing)：内容涉及危险、恐惧等，你并不喜欢这个念头，觉得恶心或者害怕
3. 反复出现(Recurrent)：不是一次性闪念，越抗拒->越强烈
4. 自我不协调(Ego-dystonic):这个念头违背你真实的价值观
5. 难以控制(Uncontrollable):你努力想赶走他，却发现越想越强

侵入性思维是一种违背个人意愿、反复自动闯入意识、令人不适、难以摆脱的思维现象。它广泛存在于普通人群中（约90%的人有），是一种普遍的现象。
# 为什么会出现侵入性思维
人的大脑有两个系统：

#### 系统1：（快，情绪，警报器）--杏仁核。
- 负责恐惧、焦虑、警觉
- 不听逻辑
- 只认感觉

#### 系统2：（慢，理性，思考者）--前额叶。
- 负责逻辑、分析、说服自己
- 能想通道理


你的“想通”发生在前额叶，但焦虑仍然储存在杏仁核，杏仁核只学习一件事情：反复暴露+不响应。它不听你讲道理，它只看你的行为。

所以当你想通了一件事情，念头又会冒出来，然后你又想通了一件事，念头又会冒出来。。。你以为你在解决问题，实则是在喂养它

# 遇到侵入性思维，我们该怎么做
"想通"只对第一次有效。第二次冒出来，就不该再"想通"，而是"不理"。

当我们想通了一件事情，那我们就不要再去理这件事情了，比如门已经关了，那我也检查过了，那下次这个念头再冒出来直接不理就好

就像一个推销员：你反复告诉他'我不需要这个产品'，他会觉得你还在听——下次继续来。你不理他，他敲两次没人应，自己就离开了。

# 如何避免和拥抱生活
1. 每天睡够7h，不熬夜，事实证明，熬夜会使人疲劳，大脑的理性部分会削弱
2. 释放压力，如果生活上出现一些使人压力大的事情，大脑会处于警觉状态，容易把小事情当成威胁，可以适当的跑步、健身来放松
3. 记录下来，把侵略性思维的事情写下来，然后查看是否发生，累计下来你就会发现，其实很多事情都没有发生

# 引用
**DSM-5 · 美国精神障碍诊断标准**

**思考，快与慢**

# Preface
Have you ever had these moments? When filling out a form, you keep worrying that you’ve entered wrong information such as your phone number, so you check it repeatedly. When leaving home, you constantly fear that you haven’t locked the door or turned off the electricity, so you go back to double-check.
In fact, most of the things you worry about never actually happen. Once you have checked them, everything is already secure. There is no need for you to overthink and inspect them time and again. Psychologically, this is known as intrusive thoughts.
# intrusive thoughts

侵入性思维

奇异人生英语学习

07. 训练技巧：过拟合、Dropout、BatchNorm、学习率调度
> 模型架构搭好了，但训练时一堆问题：loss 不降、验证集比训练集差很多、调 lr 像摸黑……
> 这篇把**最实用的训练技巧**一次性讲清。
---
一、过拟合 vs 欠拟合（先看症状）
```
训练集准确率: 99%    验证集准确率: 65%
         └──────── 过拟合 ────────┘
         模型把训练集"背下来了"，对新数据一脸懵逼

训练集准确率: 55%    验证集准确率: 52%
         └──────── 欠拟合 ────────┘
         模型太简单，连训练集都学不明白
```
直观图
```
欠拟合                正好                  过拟合
  ───                 ～～～                ∿∿∿∿∿
     直线拟合          曲线拟合              疯狂抖动穿过每个点
```
诊断方法
```python
# 训练时同时记录两套 loss
epoch_train_loss = []
epoch_val_loss = []

for epoch in range(EPOCHS):
    model.train()
    train_loss = train_one_epoch(...)
    
    model.eval()
    val_loss = validate(...)
    
    epoch_train_loss.append(train_loss)
    epoch_val_loss.append(val_loss)
```
画图一看就知道：
过拟合：train loss ↓↓，val loss 先↓后↑（ divergence 分叉）
欠拟合：两条线都高，没降下来
---
二、Dropout：训练时"随机删神经元"
原理
```python
nn.Dropout(p=0.5)   # 训练时每次前向，随机关掉50%的神经元
```
为什么有用？
强迫网络不依赖任何一个神经元
相当于同时训练了无数个"子网络"，测试时取平均
本质：模型集成（ensemble）的廉价版
关键点
```python
model.train()   # Dropout 开启（训练时）
model.eval()    # Dropout 关闭（测试/验证时）—— PyTorch 自动处理
```
> 测试时所有神经元都工作，但输出自动乘以 (1-p) 来补偿训练时的"缺席"。
放哪？
```python
nn.Sequential(
    nn.Linear(128, 64),
    nn.ReLU(),
    nn.Dropout(0.3),   # 全连接层后放，推荐 0.2~0.5
    nn.Linear(64, 10)
)
```
卷积层一般不放 Dropout，因为卷积本身参数共享就是正则；全连接层后放效果最好。
---
三、BatchNorm：让每一层"活得舒服点"
问题背景
网络越深，前面层参数一变，后面层输入分布跟着变（内部协变量偏移）。
后面层要不断适应新分布，学得很累。
BatchNorm 做什么？
对每个 batch 的每个通道，做：
```
1. 算 batch 均值 μ、标准差 σ
2. 归一化: x̂ = (x - μ) / √(σ² + ε)
3. 再缩放平移: y = γ·x̂ + β
   （γ、β 是可学习的，让网络自己决定"要不要完全归一化"）
```
代码
```python
nn.BatchNorm1d(64)   # 全连接层后（输入 [B, C] 或 [B, C, L]）
nn.BatchNorm2d(32)   # 卷积层后（输入 [B, C, H, W]）
```
放哪？
卷积/线性 → BatchNorm → ReLU（这是标准顺序）：
```python
nn.Sequential(
    nn.Conv2d(32, 64, 3, padding=1),
    nn.BatchNorm2d(64),   # ← 放这里
    nn.ReLU(),
    nn.MaxPool2d(2)
)
```
BatchNorm 的隐藏好处
允许更大的学习率（不怕梯度爆炸/消失）
自带轻微正则效果（batch 统计有噪声）
训练更稳定，收敛更快
> 现代网络（ResNet、Transformer）几乎每层都有 BN，是标配。
---
四、学习率调度：别一条 lr 走到底
为什么要调？
初期：loss 高，需要大步走（lr 大）
后期：接近最优，要小步微调（lr 小）
lr 一直太大 → 在最优解附近震荡，停不下来
几种策略
```python
from torch.optim.lr_scheduler import StepLR, CosineAnnealingLR, ReduceLROnPlateau

# 1. 阶梯衰减：每 N 个 epoch lr 乘以 gamma
scheduler = StepLR(optimizer, step_size=10, gamma=0.1)
# epoch 0-9: lr=0.01,  epoch 10-19: lr=0.001, ...

# 2. 余弦退火：lr 按余弦曲线平滑降到 0
scheduler = CosineAnnealingLR(optimizer, T_max=100)

# 3. 按需衰减：val loss 不下降时自动降 lr（最智能）
scheduler = ReduceLROnPlateau(optimizer, mode='min', patience=5, factor=0.5)
```
使用方式
```python
for epoch in range(EPOCHS):
    train(...)
    val_loss = validate(...)
    
    # StepLR / CosineAnnealingLR: 每个 epoch 后 step
    scheduler.step()
    
    # ReduceLROnPlateau: 传 val_loss 给它判断
    # scheduler.step(val_loss)
```
---
五、数据增强：没数据？造数据！
对训练图片做随机变换，让模型见到"更多样"的数据：
```python
from torchvision import transforms

train_transform = transforms.Compose([
    transforms.RandomCrop(32, padding=4),   # 随机裁剪（带填充）
    transforms.RandomHorizontalFlip(p=0.5), # 50%概率水平翻转
    transforms.ToTensor(),
    transforms.Normalize((0.5,0.5,0.5), (0.5,0.5,0.5))
])

# 测试时不能增强！只做标准化
test_transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,0.5,0.5), (0.5,0.5,0.5))
])
```
> 增强只在训练时用，验证/测试用原始图片，否则评估不准。
---
六、权重衰减（Weight Decay）/ L2 正则
在 loss 里加一项：参数的平方和。强迫参数尽量小，模型更简单。
```python
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-4)
#                                                         ↑ 推荐 1e-4 ~ 5e-4
```
本质：大参数 = 复杂模型 = 容易过拟合，惩罚大参数让它别学太野。
---
七、早停（Early Stopping）
验证集 loss 连续 N 轮不下降 → 停训，防止过拟合继续恶化。
```python
best_val_loss = float('inf')
patience = 10
no_improve = 0

for epoch in range(EPOCHS):
    train(...)
    val_loss = validate(...)
    
    if val_loss < best_val_loss:
        best_val_loss = val_loss
        torch.save(model.state_dict(), 'best_model.pth')  # 保存最佳
        no_improve = 0
    else:
        no_improve += 1
        if no_improve >= patience:
            print(f'Early stopping at epoch {epoch}')
            break
```
> 实际训练标配：早停 + 保存 best checkpoint。
---
八、实战：CIFAR-10 对比实验
我们用 CIFAR-10（32×32 彩色图，10类）做两组对比：
	Baseline	+Tricks
结构	简单 CNN	CNN + BN + Dropout
增强	无	RandomCrop + RandomFlip
学习率	固定	CosineAnnealing
正则	无	Weight Decay
早停	无	✅
完整代码
见 `code/cifar_tricks_demo.py`
预期结果
```
Baseline:     测试准确率 ~72%
+Tricks:      测试准确率 ~82~85%
```
差距来自：
数据增强 → 模型见过更多变体，泛化更好
BatchNorm → 训练更稳定，允许更深网络
Dropout + Weight Decay → 抑制过拟合
学习率调度 → 收敛到更好的局部最优
---
九、所有技巧速查表
问题	解法	代码/参数
过拟合	Dropout	`nn.Dropout(0.3~0.5)`
过拟合	Weight Decay	`optimizer(..., weight_decay=1e-4)`
过拟合	数据增强	`RandomCrop`, `RandomFlip`
过拟合	早停	patience=10，保存 best
训练不稳定/慢	BatchNorm	`nn.BatchNorm2d(channels)`
lr 太大震荡	学习率衰减	`CosineAnnealingLR` / `ReduceLROnPlateau`
欠拟合	加深/加宽网络	加层或加通道
欠拟合	训练更久	增加 epoch
欠拟合	增大学习率	lr 从 1e-3 提到 1e-2
---
十、训练流程 checklist
```python
# 1. 数据增强（仅训练）
train_loader = DataLoader(train_set, batch_size=128, shuffle=True)
val_loader   = DataLoader(val_set,   batch_size=128, shuffle=False)

# 2. 模型（加 BN + Dropout）
model = MyCNN().to(device)

# 3. 优化器（加 weight decay）
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-4)

# 4. 学习率调度
scheduler = CosineAnnealingLR(optimizer, T_max=200)

# 5. 训练循环
for epoch in range(EPOCHS):
    model.train()
    for x, y in train_loader:
        ... # 五步骨架
    
    model.eval()
    val_loss, val_acc = validate(model, val_loader)
    
    scheduler.step()
    
    # 早停判断
    ...

# 6. 测试
model.load_state_dict(torch.load('best_model.pth'))
test_acc = test(model, test_loader)
```
> **五步骨架永远不变**，变的只是模型结构（加 BN/Dropout）和外围配置（优化器、调度器、增强）。
---
下一步
08-最佳实践与常见问题（模型保存/加载、迁移学习、GPU 训练、混合精度）
---
by 小小叶 · OpenClaw

训练技巧

# 06. CNN 卷积神经网络（MNIST 冲 99%）

> 同一份 MNIST 数据，全连接只能 97.7%，CNN 直接 **99.15%**。
> 这一篇讲清卷积为什么更适合图像。

---

## 一、跑通结果对比

```
全连接 MLP : 97.70%
CNN        : 99.15%   ← 错误率 2.3% → 0.85%，砍掉一大半
CNN 参数量 : 421,642
```

---

## 二、卷积层在算什么？

全连接把图片**拉平**成 784 维 → **丢掉空间信息**（谁挨着谁不知道了）。

CNN 不拉平，保留 2D 结构，用小窗口（卷积核）在图上滑动：

```
卷积核(3×3)滑过图像，每处做"对应相乘再求和"：
  Σ(核 × 覆盖像素) = 1个输出值
滑遍全图 → 一张特征图(feature map)
```

每个核学会检测一种**局部特征**（边缘、笔画、拐角）。

```python
nn.Conv2d(1, 32, kernel_size=3, padding=1)
#         ↑  ↑              ↑
#     输入1通道 32个核    3×3窗口
```

---

## 三、CNN 三大法宝

### ① 局部连接 + 权重共享 → 高效
- 全连接：每个输出连**所有**784像素
- 卷积：每个输出只连 **3×3=9** 个邻近像素，且**同一个核滑遍全图共享权重**
- 一个"检测横线"的核，图片任何位置都能复用 → 参数少、泛化好

### ② 池化 MaxPool → 降采样 + 抗位移
```python
nn.MaxPool2d(2)   # 2×2取最大, 尺寸减半
# [B,32,28,28] -> [B,32,14,14]
```
降维省算力；数字稍微挪动，最大值还在 → 抗位移。

#### 池化到底怎么运作？（具体例子）

和卷积**不同**：池化窗口**不重叠**地跳着走（stride=窗口大小），
而且**没有可学参数**（不加权，纯粹取最大/平均）。

`MaxPool2d(2)`：把图切成不重叠的 2×2 小块，每块只留**最大值**。

```
输入 4×4:                  2×2 MaxPool 后 2×2:
┌─────────────┐
│ 1   3 │ 2  0│            每个2×2块取max:
│ 4   2 │ 1  5│   ──►      ┌─────────┐
├───────┼─────┤            │ 4  │ 5  │   左上块max(1,3,4,2)=4
│ 0   1 │ 6  2│            │ 7  │ 8  │   右上块max(2,0,1,5)=5
│ 7   3 │ 4  8│            └─────────┘   左下max(0,1,7,3)=7
└─────────────┘                          右下max(6,2,4,8)=8
```

**关键特点**：
- **不重叠**：4×4 → 2×2（尺寸减半），通道数不变 [B,32,28,28]→[B,32,14,14]
- **无参数**：不需要学习，直接取最大
- **逐通道独立**：32个通道各自池化，互不干扰

**为什么取最大？**
- 卷积特征图里"值越大"=该位置"越像这个核检测的特征"
- 取最大 = **保留最强响应**，丢掉弱的
- 数字笔画稍微平移/抖动，2×2 窗口里的最大值大概率还在 → **抗位移/抗噪**

> 另有 `AvgPool`（取平均），但图像分类里 MaxPool 更常用（突出强特征）。


### ③ 感受野逐层变大
浅层看局部细节（笔画），深层看整体结构（这是个8）。

---

## 四、整体结构（数据形状变化）

```
输入 [B,1,28,28]
 ↓ Conv2d(1→32)+ReLU    [B,32,28,28]  提32种特征
 ↓ MaxPool(2)           [B,32,14,14]
 ↓ Conv2d(32→64)+ReLU   [B,64,14,14]  提高级特征
 ↓ MaxPool(2)           [B,64,7,7]
 ↓ Flatten              [B,3136]
 ↓ Linear(3136→128)+ReLU[B,128]
 ↓ Dropout(0.25)        防过拟合
 ↓ Linear(128→10)       [B,10]
```

> 结尾还是 **Flatten + 全连接 + CrossEntropyLoss**——CNN 只是前面加了"特征提取器"，分类头还是老一套。

---

## 五、Dropout 防过拟合

```python
nn.Dropout(0.25)   # 训练时随机关闭25%神经元
```
- 强迫网络不依赖单个神经元，更鲁棒
- **只训练时生效**，`model.eval()` 时自动关闭

---

## 六、五步骨架变了吗？没有！

```python
optimizer.zero_grad()          # 1
loss = criterion(model(x), y)  # 2+3
loss.backward()                # 4
optimizer.step()               # 5
```
和 sin、MLP **一模一样**，只有 `model` 内部结构变了。

---

## 七、可视化：CNN 到底学到了什么

### 卷积核（cnn_kernels.png）
第一层 32 个 3×3 核，训练后自发变成**边缘/方向检测器**（红蓝代表权重正负）。没人教，反向传播自己学出来的。

### 特征图（cnn_featuremaps.png）
同一个数字过 32 个核 → 32 张特征图：有的只亮横笔画、有的只亮竖/斜笔画。
**每个核 = 一个专门的笔画探测器**，把数字拆成基本笔画，深层再组合判断。

```
原图(7) → 32核扫描 → 32张特征图(横/竖/斜...) 
       → 第二层组合(转角/闭环) → 全连接 → "这是7"
```

---

## 八、MLP vs CNN 总结

| | 全连接 MLP | CNN |
|---|---|---|
| 输入 | 拉平丢空间 | 保留2D结构 |
| 连接 | 全连接 | 局部+权重共享 |
| 参数 | ~24万 | ~42万(更高效) |
| 准确率 | 97.7% | **99.15%** |
| 适合 | 表格/向量 | **图像** |

代码：`code/mnist_cnn.py`、`code/cnn_visualize.py`
图：`cnn_kernels.png`、`cnn_featuremaps.png`

---
# 卷积负责提取特征，池化负责让特征更稳健
by 小小叶 · OpenClaw