xuenhua’s 站点
背景
我们有一堆文件，在文件夹A中，需要按照文件列表list.txt 复制文件到B中，A中文件和list.txt 中文件均较多
1、文件列表
list.txt类似如下
mnist_test_644.png
mnist_test_2180.png
mnist_test_122.png
mnist_test_2816.png
2、bash
b=`sed ‘r/g’ list.txt`
for i in $b;
do
cp -r “A/”$i “B/”;
done
3、zsh
for i (${(s: :)$(<list.txt)});
do
cp -r “A/”$i “B/”;
done
或者（不推荐，如果txt每行有空格，导致错误，上面兼容更好）
fl=$(<list.txt)
for i (${(f)fl});
do
cp -r “A/”$i “B/”;
done
4、awk 拼接语句管道执行
awk ‘{print “cp -r A/”$1″ B/;” }’ list.txt |sh
fl.txt文件
12
34
56
78
Bash
1、IFS定义分隔符,默认空格、tab、换行、回车
bash-3.2$ a="a b c d"
bash-3.2$ for i in $a;
> do
> echo $i","
> done
a,
b,
c,
d,
bash-3.2$ b=`sed 'r/g' fl.txt`
bash-3.2$ for i in $b; do echo $i","; done
12,
34,
56,
78,
a="a,b,c,d"
#换行符分割
IFS=$'\n'
bash-3.2$ a="a,b,c,d"
bash-3.2$ for i in $a;
> do
> echo $i;
> done
a,b,c,d
设置分隔符为逗号
bash-3.2$ IFS=$','
bash-3.2$ for i in $a; do echo $i; done
a
b
c
d
2、使用分割符生成数组
bash-3.2$ aa="hello,shell,split,test"
bash-3.2$ array=(${aa//,/})
bash-3.2$ for i in ${array[@]}
> do
> echo $i
> done
Helloshellsplittest
bash-3.2$ array=(${aa/\n/,/})
bash-3.2$ for i in ${array[@]}; do echo $i; done
hello
shell
split
Test
bash-3.2$ echo ${array[0]}
hello
bash-3.2$ echo ${array[1]}
Shell
Zsh
Zsh 不会默认使用空格、tab、换行、回车分割
1、(f)按行分割
str=$(<fl.txt)
% echo $str
12
34
56
78
for i (${(f)str}){
echo $i"#"
}
12#
34#
56#
78#
注意，写在一起这样不行
for i (${(f)$(<fl.txt)});
do
echo $i",";
done
12 34 56 78#
直接输出和使用变量行为不一致
echo $(<fl.txt)
12 34 56 78
aa=$(<fl.txt)
echo $aa
12
34
56
78
需要使用(s:chr:)方式
for i (${(s: :)$(<fl.txt)});
do
echo $i",";
done
或者使用sed读取
aa=`sed 'r/g' fl.txt`;
for i (${(f)aa});
do
echo $i",";
Done
2、(s:chr:)
s='foo,bar,baz'
#仅s也可，见过p w @，：可以用其他符号代替
for i in ${(ps:,:)s} ; do
echo "$i END"
done
foo END
bar END
baz END
awk
bash-3.2$ aa=`awk '{print $1}' fl.txt`
bash-3.2$ for i in $aa
> do
> echo $i
> done
12
34
56
78
在vs code中Jupyter Notebook ipynb文件不能复制内容，不方便分享，而自带的导出功能非常鸡肋，需要安装XETEX，官网显示全部安装需要7个多G“By default, everything is installed (7+GB)”，直接劝退了。
既然ipynb就是markdown写出来的，直接转markdown岂不是更好？
网上很多使用下面的命令，但是我遇到了错误 Jupyter command `jupyter-nbconvert` not found. 有可能是我环境变量问题。
jupyter nbconvert –to markdown ‘abc.ipynb’
推荐使用下面的代码，不依赖环境
python3 -m nbconvert –to markdown ‘abc.ipynb’
张量是一种特殊的数据结构，与数组和矩阵非常相似。在 PyTorch 中，我们使用张量来编码模型的输入和输出，以及模型的参数。
张量类似于 NumPy 的 ndarray，不同之处在于张量可以在 GPU 或其他硬件加速器上运行。实际上，张量和 NumPy 数组通常可以共享底层内存，从而无需复制数据（详见与 NumPy 的桥接）。张量还针对自动微分进行了优化（我们将在后面的 Autograd 部分详细介绍）。如果您熟悉 ndarrays，您会很快适应 Tensor API。如果不熟悉，请继续阅读！
import torch
import numpy as np
初始化张量
张量可以通过多种方式进行初始化。请看以下示例
直接从数据创建
张量可以直接从数据创建。数据类型会自动推断。
data = [[1, 2],[3, 4]]
x_data = torch.tensor(data)
从 NumPy 数组创建
张量可以从 NumPy 数组创建（反之亦然 – 详见与 NumPy 的桥接）。
np_array = np.array(data)
x_np = torch.from_numpy(np_array)
This section runs through the API for common tasks in machine learning. Refer to the links in each section to dive deeper.
PyTorch has two primitives to work with data: torch.utils.data.DataLoaderand torch.utils.data.Dataset. Dataset stores the samples and their corresponding labels, and DataLoader wraps an iterable around the Dataset.
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensorPyTorch offers domain-specific libraries such as TorchText, TorchVision, andTorchAudio, all of which include datasets. For this tutorial, we will be using a TorchVision dataset.
The torchvision.datasets module contains Dataset objects for many real-world vision data like CIFAR, COCO (full list here). In this tutorial, we use the FashionMNIST dataset. Every TorchVision Dataset includes two arguments:transform and target_transform to modify the samples and labels respectively.
# Download training data from open datasets.
training_data = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor(),
)
# Download test data from open datasets.
test_data = datasets.FashionMNIST(
root="data",
train=False,
download=True,
transform=ToTensor(),
)
print(len(training_data))60000
在Python中，字符串是一种常见的数据类型，用于表示文本信息。除了普通的字符串，Python还提供了一些特殊的字符串前缀和格式化字符串，包括r’ ‘,b’ ‘,u’ ‘,f’ ‘。本文将详细解释这些前缀的含义以及它们的用法，以帮助大家更好地理解和应用它们。
更多Python学习内容：http://ipengtao.com
r’ ‘: 原始字符串
r前缀表示原始字符串（raw string），它会取消字符串中的转义字符（如\n、\t）的特殊含义。原始字符串适用于需要保留转义字符原始形式的情况，如正则表达式、文件路径等。
1 基本用法
# 使用r前缀创建原始字符串
path = r’C:\Users\Username\Documents’
print(path)
在上述示例中，r前缀将字符串中的反斜杠\视为普通字符，而不是转义字符。
2 与转义字符的比较
# 普通字符串与原始字符串的比较
normal_str = ‘C:\\Users\\Username\\Documents’
raw_str = r’C:\Users\Username\Documents’
print(normal_str == raw_str) # 输出 True
原始字符串与普通字符串在表示相同的文本时是相等的，但原始字符串更容易阅读和维护。
b’ ‘: 字节字符串
b前缀表示字节字符串（bytes string），它用于处理二进制数据，而不是文本数据。字节字符串是不可变的，通常用于处理图像、音频、网络协议等二进制数据。
1 基本用法
# 使用b前缀创建字节字符串
binary_data = b’\x48\x65\x6c\x6c\x6f’ # 字母 ‘Hello’ 的字节表示
print(binary_data)
在上述示例中，b前缀表示字节字符串，每个\x后面跟着两个十六进制数字，表示一个字节。
2 字符串与字节字符串的区别
# 字符串与字节字符串的区别
text = ‘Hello’
binary_data = b’Hello’
print(type(text)) # 输出 <class ‘str’>
print(type(binary_data)) # 输出 <class ‘bytes’>
字符串和字节字符串是不同的数据类型，字符串用于文本，字节字符串用于二进制数据。
u’ ‘: Unicode字符串
u前缀表示Unicode字符串，它用于处理Unicode编码的文本数据。在Python 3中，所有的字符串都是Unicode字符串，因此很少需要使用u前缀。在Python 2中，u前缀用于表示Unicode字符串。
1 基本用法
# 使用u前缀创建Unicode字符串（Python 2示例）
unicode_text = u’你好，世界！’
print(unicode_text)
在Python 3中，无需使用u前缀，普通字符串即为Unicode字符串。
2 Unicode字符串与普通字符串的区别
# Unicode字符串与普通字符串的区别（Python 2示例）
text = ‘Hello’
unicode_text = u’Hello’
print(type(text)) # 输出 <type ‘str’>
print(type(unicode_text)) # 输出 <type ‘unicode’>
在Python 2中，Unicode字符串与普通字符串是不同的数据类型，用于区分文本编码。
f’ ‘: 格式化字符串
f前缀表示格式化字符串（formatted string），它用于在字符串中嵌入表达式的值。在格式化字符串中，可以使用大括号{}来引用变量或表达式，并将其值插入字符串中。
1 基本用法
# 使用f前缀创建格式化字符串
name = ‘Alice’
age = 30
greeting = f’Hello, my name is {name} and I am {age} years old.’
print(greeting)
在上述示例中，f前缀表示格式化字符串，大括号{}内的表达式会被计算并插入到字符串中。
2 表达式和变量
# 在格式化字符串中使用表达式和变量
x = 10
y = 20
result = f’The sum of {x} and {y} is {x + y}’
print(result)
格式化字符串允许嵌入表达式和变量，并将它们的值动态插入到字符串中。
总结
在Python中，r’ ‘,b’ ‘,u’ ‘,f’ ‘等前缀和格式化字符串是用于处理不同类型文本和数据的工具。r前缀表示原始字符串，b前缀表示字节字符串，u前缀表示Unicode字符串，f前缀表示格式化字符串。了解这些前缀的含义和用法有助于更好地处理不同类型的字符串和数据。