略略略
略略略
docker ps docker run -d -p -name docker exec -it <name> bash docker build -t docker cp ecef8319d2c8:/root/test.txt /root/ 下载：容器文件在前，本机文件夹在后
dockerfileFROM python:3.8 as builder WORKDIR /pythonAutomationFramework ADD . /pythonAutomationFramework COPY ./requirements.txt ./requirements.txt RUN apt update -y \ && apt upgrade -y \ && apt install -y net-tools \ && apt install -y wget \ && apt install -y default-jre \ && wget https://github.com/allure-framework/allure2/releases/download/2.21.0/allure_2.21.0-1_all.deb \ && dpkg -i allure_2.21.0-1_all.deb \ && pip install --no-cache-dir -r requirements.txt CMD python run_api_test.py && python generate_api_test_report.py && tail -f /dev/null
由于业务发展扩张，接入硬件设备越来越多，部分接口响应时间越来越慢，需要做异步处理。 流程是：硬件服务调用接口→接口放入redis队列→定时任务从redis取数处理再删除→处理结果保存到mysql 使用jmeter模拟硬件调接口，期望jmeter调用100次入库100条数据。 中间产生了问题：jmeter请求数量!=入库数量，有大量的数据丢失。 排查场景：将jmeter请求信息输出到文本，一行一条对比察看结果树条数是相等的，排除jmeter没发出去的问题 jmeter是不是造了重复数据，查重刚刚文本中关键不可重读字段，没有发现重复值。因为是压测人前缀+时间戳+随机数 是否服务端因为mysql有脏数据导致接收到了重复数据，查询日志将含压测人前缀的日志下载到本地docker cp 目标文件 本地目录 或者 2022-03-15 10:32:45 {"msg":"true", "data":{"ip":"101.88.11.63", "location":"usa", "zipcode":"123", "phone":"123"}} 长这样的日志提取重复ip，只处理msg含true的日志 awk '/"msg":"true"/ "{print $NF}" /log/app.log | jq -r '.data.ip' | sort | uniq -d jq 是解析json格式,sort命令排序，uniq找出重复值 查询redis队列处理日志发现，队列大小100条一次，但是执行到后面的数据，队列大小为0，判定定时任务逻辑有问题，找开发核对 排查代码发现队列的入队、出队都在队列的右边操作，导致旧数据被处理完了应该出队，但是此时入队了新数据，把新数据给删了，这就是为什么有些数据丢失，有些数据重复读取， 改代码为左侧入队，右侧出队。复测一边 仍然有小批量数据丢失，再排查发现队列大小100，但是一次过来50条处理完了后，出队默认出列100条，这是进来10条新数据，就被删除了，这10条数据就丢失。 修改逻辑为从队列右侧开始前n条数据出队，相当于记住程序处理了多少条，删除的时候就删除多少条 再次复测完成100%数据量落库
😍😘❤😝😜😀😁😂😂😂😂😂😄😋😘😄👍🙃🙃😝😜😝🙃🙃🙃🙃🙃🙃🙃