# 2023-2-25

## pytest使用场景总结：多线程、多进程


## pytest-xdist

该插件只支持多进程运行用例，不支持多线程

```shell
pip install pytest-xdist
```

```python
addopts = -n=4 #此处为pytest.ini配置文件写法
```

-n指定进程数4，开启4个cpu运行用例，-n=auto的话自动探测cpu核数

## pytest-parallel

```shell
pip install pytest-parallel==0.0.10
```

截至今日windows系统必须安装此版本，高本版的会报错

```python
AttributeError: Can't pickle local object 'pytest_addoption.<locals>.label_type.<locals>.a_label_type'
```

该插件有以下参数执行：

```shell
addopts =--workers=1 --test-per-worker=4 #此处为pytest.ini配置文件写法
```

--workers=1指定运行的进程数1，默认1，windows系统只能为1，linux macos可指定

--test-per-worker=4指定运行的线程数4

两个参数都指定只能是数字，总线程数=进程数*线程数，上面例子1 * 4=4

## pytest-multithreading

```shell
pip install pytest-multithreading
```

```python
addopts = -th=18 #此处为pytest.ini配置文件写法
```

-th=18指定线程数18个只能是数字

## 三个插件区别：

xdist太耗cpu，如果不是docker运行，容易拖累机器上其他应用

不支持fixtrue为session级别的外挂只运行一次的需要，典型场景获取token只需运行一次，但是multithreading插件session 级别的 fixture只会运行一次

parallel不持支allure生成报告。

使用下面的语法糖标记不并发用例

```python
@pytest.mark.notconcurrent标记的用例不会参与并发运行，并发运行的用例会等这些被标记的用例运行结束后才开始并发运行
```

## pytest-multithreading-allure

```shell
pip install pytest-multithreading-allure
```

此插件解决不能兼容allure报告所用，但是截至今日python3.8环境，只兼容1.0.6版本

总结：并发用例

pytest-multithreading + pytest-multithreading-allure

## 接口关联传参

```python
import jsonpath
class Test:
	self.temp = []
	def test1(self):
        ......
    	extract = jsonpath.jsonpath(httpResponse.body, $.name)[0]
		self.temp.append(extract)
        ......
        
	def test2(self):
        params = {"pay":self.temp[0]}
        ......
```

使用列表暂存变量，也可使用字典，网络教程普遍使用yaml文件来暂存，我认为时间复杂度高，要打开文件写入信息再关闭文件，而且是读写在硬盘，可能IO阻塞, 

内置列表字典容器都在内存操作速度更快。

Pytestframework

# 2022-11-15


### tcp和udp区别


tcp：三次握手，传输确认，四次挥手

三次握手：

![2022-11-15_16-01-45.jpg](https://trexshanghai.com/static/img/086b4d1418964325af3eaaaa590f00d9.2022-11-15_16-01-45.jpg)

1. 客户端想要与服务端建立连接，初始化一个tcp的init状态，并发送一个syn包给server询问能否建立连接，并将状态改为syn-send
2. 服务器收到syn包后初始化一个新的tcp状态listen，并发送syn+ack包给客户端，并将状态改为syn-rcvd
3. 客户端收到syn+ack包后，回复ack包，并将状态改为established
4. 服务端收到ack包后，将状态改为established
5. 双方建立连接


> 中间互相发送的数据包共三次，所以称之为三次握手

### **为什么不能设计成两次握手，四次握手？**

如果两次握手：服务端发送syn+ack后就建立连接的话，对于已失效的数据包送达到服务端，它会认为是新的连接回复完syn+ack后等待传输数据，但是此数据包对于客户端来说已失效，不再传输数据，导致两端的状态不一致，浪费了服务端的资源

syn包可能在传输过程中阻塞了，导致客户端认为超时，会重发syn包

这时服务端收到并建立连接，但是第一个syn包又送到了服务端，这时候两端的状态就不一致了，服务端认为有两个连接，客户端认为只有一个，

在三次握手机制下，服务端收不到ack包就不会建立连接，自然不会产生上述问题，这种机制本质上是在网络信道不可靠的情况下建立可靠的连接

如果是四次握手，会造成资源浪费，因为第四次握手和第二次等价，无需做第四次握手

### **如何处理丢包、乱序问题**

两端都有一个缓冲区概念，第一个数据包的序列号为0，第二个为1，

那么任何一段发出去的数据序列号n，接收到的数据序列号都是n+1

如果不是n+1，是n-1或n+1都会触发重传机制，就是重传序列号为n的数据包

### 四次挥手

![2022-11-15_16-56-05.jpg](https://trexshanghai.com/static/img/eb70f253619308468c2047c340e13a6e.2022-11-15_16-56-05.jpg)

客户端和服务端都可以发起关闭连接请求

例：

客户端主动发起关闭连接请求，发送一个FIN包给服务端，将状态由established改为FIN-WAIT-1状态，此时客户端不再请求server数据

服务端收到FIN包，回复ACK包，将将状态由established改为CLOSE-WAIT状态，

客户端收到ACK后，将状态改为FIN-WAIT-2，此时服务端还可发送未完成的数据，客户端也可接收数据

服务端发送数据完毕，发送最后一包FIN包，将状态改为LAST-ACK

客户端接收到FIN，回复ACK，将状态改为TIME-WAIT状态，超过超时时间后，状态改为closed状态

服务端收到ACK，将状态改为CLOSED状态

**为什么要由超时等待时间**？

最后的ACK包种种原因没有到达服务端，它的状态一直停留在LAST-ACK，连接无法释放

有了这种机制，ACK没到服务端，会重发FIN包，并刷新超时时间，客户端重发ACK包4

### 总结区别

tcp：稳定可靠准确

udp：速度快，性能开销小







### **http1.0与https1.1有什么区别**

1. http1.0为短连接；http1.1请求头携带connetion:keep-alive，建立长链接
2. http1.0一个连接对应一个请求一个响应；1.1连接过程中可实现多个请求多个响应，且不需等待响应可发送下一个请求
3. http1.1增加了100状态码，允许客户端向服务端发送请求头待确认后再发送请求体内容，节省了带宽
4. http1.0认为一个主机拥有唯一IP；http1.1中一个IP对应多个主机，增加了host指明主机名
5. http1.1增加更多新请求头，错误响应状态码与缓存机制

### **get和post区别**

- GET 请求参数在 URL 中；POST 请求参数放在请求正文中
- GET 请求参数有限制（例如浏览器对 URL 长度限制）；POST 无限制
- GET 参数存放在链接中直接保存在浏览器历史记录中，较不安全
- GET 大多数用于信息获取，POST 用于信息修改，对服务器安全影响程度不同

### **session,token,cookies 区别**

- Cookie：由服务器生成，保存在客户端中
- Session：一般通过Cookie传输，用于区分用户，存储在服务器中（容易占用服务器资源，且服务器故障，负载均衡等容易丢失或请求到其他服务器中）
- Token：一般通过Cookie传输，**将用户数据进行签名（加密），并将签名和用户数据整合成token发送给客户端，客户端携带token请求时，将token中用户数据再次签名，与token中的签名进行对比**，一致认为用户已认证登录，不需要存储在服务器中

### **请求一个网址发生的完整过程**

1. DNS解析：通过浏览器缓存->操作系统缓存->路由器缓存->DNS缓存（运营商）->根域名服务器
2. 建立TCP连接，发起三次握手
3. 发送HTTP请求
4. 服务器处理请求
5. 浏览器解析渲染页面：
   - 浏览器读取响应加载 HTML
   - 静态资源加载
   - 动态资源加载
6. 释放TCP连接，四次挥手

### **常见网络状态响应码**

- 1XX 指示信息，请求已接受，等待继续处理
- 2XX 请求接受
- 3XX 重定向
- 4XX 客户端错误
- 5XX 服务端错误
- 301 永久性转移，302 暂时性转移，400 客户端请求有错（安全拦截），401 请求未授权，403 禁止访问，404 资源未找到
- 501 服务器内部错误，502 错误网关，503 服务器不可用，504 网关超时

# 2023-2-9

## nginx

nginx是一款http服务器和反向代理服务器。

![image-20230209162739592.png](https://trexshanghai.com/static/img/900a27a2832e5f619adb20c64ac8905d.image-20230209162739592.png)

正向代理：如翻墙的软件起到正向代理，个人电脑访问youtube的内容用到的clash




![image-20230209162752226.png](https://trexshanghai.com/static/img/6a7103d5b224a0c702b4ac94df690814.image-20230209162752226.png)

反向代理：如我是youtube后台管理员手上有n台服务器，随便给一台让别人访问，这个过程叫反向代理

负载均衡算法:

1. 轮询法：按请求顺序轮流分配流量到后台服务器，不关心服务器实际的连接数和系统负载，适用于所有硬件都相同的场景
2. 加权轮询法：按照配置的权重将流量分发到服务器。适用于硬件性能规格不同的场景
3. 源地址散列法：根据来源ip地址进行hash计算得到应用服务器，这样在单位时间内来自于同一个ip地址的请求都在一个服务器上处理，请求的会话信息上下文都在上面实现会话粘滞session sticky
4. 最小连接数法：记录每个应用服务器正在处理的连接数，将新的请求分发到最少连接的服务器上

负载均衡应用场景：

- HTTP重定向
- DNS域名解析
- 反向代理（应用层HTTP负载均衡）
- IP负载均衡（网络层负载均衡）
- 直接路由（数据链路层负载均衡）

TCPUDP

# 2022-11-14

## grep

> Global search REgular expression and Pint out the line

## 正则以^开头的

> grep '^linux' test.log

## 正则以$结尾的

> grep 'linux$' test.log

## 正则^$空行

> 表示空行没有任何内容，空格也是

## 正则.(点)任意一个字符

```shell
grep '.' test.log
```

## 正则*前一个字符连续出现0次或0次以上

## \转义字符：去除原有的特殊含义

## .*表示表示所有字符或\* 连续初恋的时候，表现出尽可能的贪婪匹配

```shell
grep -C '^.*error' test.log
```

## []中括号匹配一次匹配任何括号内的字符a或b或c

```shell
[a-z]
[A-Z]
[0-9]
grep '[a-zA-Z0-9]' test.log

```

[^abc]取排除abc的内容

```shell
grep '[^abc]' test.log
```

| grep | [options]                   | [pattern] | files |
| ---- | --------------------------- | --------- | ----- |
| 命令 | 参数                        | 模式      | 文件  |
|      | -i ignorecase忽略字符大小写 |           |       |
|      | -o 仅显示匹配到的字符串本身 |           |       |
|      | -v 显示不能被匹配到的行     |           |       |
|      | -E 后面可以跟正则表达式     |           |       |
|      | -n 显示匹配的行与行号       |           |       |

## sed

stream Editor字符流编辑器

sed [options] [sed内置命令字符] [输入文件]

options:-n取消sed的默认输出，通常与p命令一起用

​			   -i直接将修改结果写入文件，不用-i sed修改的是内存数据

​			   -e多次编辑，用多个-e

​				-r正则扩展

sed内置命令字符：

a append，对文本追加，在文末添加一行或多行

d deletet删除匹配行

i insert插入文本，在指定行插入一行或多行

p print打印匹配行的内容

s/正则/替换内容/g  匹配正则内容，然后替换内容，结尾g代表全局匹配

sed匹配范围

| 范围      | 解释                                           |
| --------- | ---------------------------------------------- |
| 空地址    | 全文处理                                       |
| 但地址    | 指定文件某一行                                 |
| /pattern/ | 被pattern匹配的每一行                          |
| 10,20     | 第十行到第二十行                               |
| 10,+5     | 第10行向下5行                                  |
| 步长      | 1~2从第一行开始步长为2匹配1，3，5，7，9，11行  |
|           | 2~2从第二行开始步长为2匹配2，4，6，8，10，12行 |

```shell
sed '2,3p' test.log -n#打印文件第2，3行数据
sed '/error/p' test.log -n#打印含error的行
sed '/error/d' test.log -i#删除含error的行并写入源文本
sed 's/error/info/g' test.log -i#将error的行替换为info并写入文本
sed -e 's/error/info/g' -e 's/critical/error/g' test.log -i
#将error换成info将critical替换成error并写入源文本
sed '2a system runnig good!' test.log -i 
#在第二行后面追加system runnig good!并写入源文本
sed '3i system out of memory' test.log -i 
#在第三行前面加入system out of memory并写入源文本
sed '4a infection \ninfection' test.log -i 
#在第4行后面追加两行infection并写入源文本
ifconfig eth0 | sed -e '2s/^inet.*//' -e '2s/net.*$//p'  -n
#-e的多次使用
ifconfig eth0 | sed '2p' -n | sed  's/^.*inet//' | sed 's/net.*$//'#获取网卡0的ip地址
Linux命令中如何去掉某文件中的空行？
使用sed命令可以去掉某文件中的空行：
sed '/^$/d' filename
```

# 2022-11-15

## awk 

awk options pattern {action} file

```shell
awk '{print $2}' test.log#打印第二列的内容
awk '{print $0}' test.log#打印完整的内容
awk '{print $NF}' test.log#打印最后一列
awk '{print $NF-1}' test.log#打印倒数第二列
awk '{print $n}' test.log#打印第n列的内容
awk '{print $2,$3}' test.log#打印第二列和第三列的内容
awk '{print "第一列:"$2,”第二列:"$3}' test.log#打印自定义前缀第二列和第三列的内容
```

options参数

-F指定分割字段符

-v定义或修改一个awk内部的变量

-f从脚本文件中读取awk命令

```shell
awk -v FS=':' '{print$2}' test.log #以:为分隔符打印第2列的内容

```

```
awk '{print$1}' test.log | sort | uniq -c | sort -r     
```

```ini
root@4f08afd9a913:/pythonAutomationFramework/logs# sort test.log | uniq -c | sort -r 
     26 2023-02-27 03:33:56 INFO [{'title': '漠河舞厅 （烟嗓女生版）', 'author': '娜依', 'url': 'https://api.i-meto.com/meting/api?......
     14 2023-02-27 03:33:57 INFO [{'title': '漠河舞厅 （烟嗓女生版）', 'author': '娜依', 'url': 'https://api.i-meto.com/meting/api?......
      6 2023-02-27 03:34:05 INFO {'code': 200, 'msg': '域名正常'}
      5 2023-02-27 03:34:06 INFO {'code': 200, 'msg': '域名正常'}
      5 2023-02-27 03:34:04 INFO {'code': 200, 'msg': '域名正常'}
      4 2023-02-27 03:34:07 INFO {'code': 200, 'msg': '域名正常'}
      2 2023-02-27 03:34:12 INFO {'code': 200, 'msg': '域名正常'}
      2 2023-02-27 03:34:09 INFO {'code': 200, 'msg': '域名正常'}
      2 2023-02-27 03:34:08 INFO {'code': 200, 'msg': '域名正常'}
      1 2023-02-27 03:34:10 INFO {'code': 200, 'msg': '域名正常'}
      1 2023-02-27 03:34:02 INFO {'name': 'morpheus', 'job': 'morpheus', 'id''morpheus', 'id': '3', 'createdAt': '2023-02-27T03:33:55.142Z'}
      1 2023-02-27 03:33:55 INFO {'name': 'morpheus', 'job': 'morpheus', 'id': '894', 'createdAt': '2023-02-27T03:33:52.968Z'}
```