Python GET页面并提取js中Url,对url进行wrk压测并行访问

本文介绍了如何使用Python解析网页中的JavaScript,提取URL,并利用wrk工具进行并行访问压力测试。通过这个过程,读者可以了解到网络爬虫和性能测试的基本方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import os
import re
import argparse
import asyncio
from aiohttp import ClientSession
from bs4 import BeautifulSoup

# def findUrl(string):
      # find all of url in this string
#     url = re.findall('https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+', string)
#     return url

def findUrl(text):
    url = []
    if isinstance(text, str):
        # find all of url in this string
        url = url + re.findall('https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+', text)
    elif isinstance(text, list):
        # find all of url in this list
        for string in text:
            url = url + re.findall('https?://(?:[-\w.]|(?:%[\da-fA-F]{2}))+', str(string))
    else:
        raise ValueError("Invalid type!")

    return url

def doWrk(request_url, number_of_requests, threads_num, request_time):

    # a single url
    if isinstance(request_url, str):
        print("wrk server")
        print("./wrk -t " + threads_num + " -c " + number_of_requests + " -d " + request_time + " " + request_url)
     
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值