?

概述：通過使用`SemaphoreSlim`，可以簡(jiǎn)單而有效地限制異步HTTP請(qǐng)求的并發(fā)量，確保在任何給定時(shí)間內(nèi)不超過20個(gè)網(wǎng)頁同時(shí)下載。`ParallelOptions`不適用于異步操作，但可考慮使用`Parallel.ForEach`，盡管在異步場(chǎng)景中謹(jǐn)慎使用。

對(duì)于并發(fā)異步 I/O 操作的數(shù)量限制，可以使用SemaphoreSlim，但由于AsParallel?使用的是 PLINQ（Parallel LINQ），而 PLINQ 不太適用于異步操作。因此，我們可以使用異步的?Task.WhenAll?和?SemaphoreSlim?來實(shí)現(xiàn)并發(fā)控制。同時(shí)，ParallelOptions?不適用于異步操作，因?yàn)樗饕糜谕降?Parallel 類庫。

以下是一個(gè)使用?SemaphoreSlim?的示例，以確保在任何給定時(shí)間下載的網(wǎng)頁不超過 20 個(gè)：

using System;
using System.Net.Http;
using System.Threading;
using System.Threading.Tasks;

class Program
{
    static async Task Main()
    {
        string[] urls = { "http://google.com", "http://yahoo.com", /*...*/ };

        // 設(shè)置最大并發(fā)數(shù)為20
        int maxConcurrency = 20;
        var semaphore = new SemaphoreSlim(maxConcurrency);

        var tasks = urls.Select(url => DownloadUrlAsync(url, semaphore));

        await Task.WhenAll(tasks);
    }

    static async Task DownloadUrlAsync(string url, SemaphoreSlim semaphore)
    {
        await semaphore.WaitAsync();

        try
        {
            var client = new HttpClient();
            var html = await client.GetStringAsync(url);
            // 處理獲取的 HTML 數(shù)據(jù)
            Console.WriteLine($"Downloaded {url} successfully");
        }
        catch (Exception ex)
        {
            // 處理異常
            Console.WriteLine($"Error downloading {url}: {ex.Message}");
        }
        finally
        {
            semaphore.Release();
        }
    }
}

在這個(gè)例子中，SemaphoreSlim?用于限制并發(fā)異步 I/O 操作的數(shù)量。WaitAsync?方法用于獲取信號(hào)，Release?方法用于釋放信號(hào)。這確保了在任何給定時(shí)間內(nèi)，同時(shí)運(yùn)行的異步操作數(shù)量不會(huì)超過?maxConcurrency?指定的最大并發(fā)數(shù)。

如果你想使用?ParallelOptions，你可以考慮使用?Parallel.ForEach，但要注意這仍然適用于同步操作。以下是一個(gè)示例：

using System;
using System.Net.Http;
using System.Threading;
using System.Threading.Tasks;

class Program
{
    static async Task Main()
    {
        string[] urls = { "http://google.com", "http://yahoo.com", /*...*/ };

        // 設(shè)置最大并發(fā)數(shù)為20
        int maxConcurrency = 20;

        Parallel.ForEach(urls, new ParallelOptions { MaxDegreeOfParallelism = maxConcurrency }, async (url) =>
        {
            var client = new HttpClient();
            var html = await client.GetStringAsync(url);
            // 處理獲取的 HTML 數(shù)據(jù)
            Console.WriteLine($"Downloaded {url} successfully");
        });
    }
}

上述代碼使用的?Parallel.ForEach?并不能直接處理異步委托，因此需要謹(jǐn)慎使用。在異步場(chǎng)景中，使用?SemaphoreSlim?進(jìn)行手動(dòng)并發(fā)控制可能是更可靠的選擇。

?

文章來源地址http://www.zghlxwxcb.cn/news/detail-847952.html

到了這里，關(guān)于限制異步HTTP請(qǐng)求并發(fā)：簡(jiǎn)單、有效的20個(gè)并發(fā)下載控制策略的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！