记录一个简单的爬虫功能,用来自己学习背诵单词。如果有侵权,立马删除。

目标是爬取一个网站的考研词汇。网址为:https://www.kuakao.com/english/ch/39243.html

首先在 在larvel框架中,生成一个artisan 脚本

 

我的代码:

 

 

填写数据:

 

开始写代码:

<?php

namespace App\Console\Commands;

use GuzzleHttp\Client;
use Illuminate\Console\Command;
use Symfony\Component\DomCrawler\Crawler;

class FetchEnglishNote extends Command
{
    /**
     * The name and signature of the console command.
     *
     * @var string
     */
    protected $signature = 'fetch:englishNote';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = '抓取一下单词,这是临时脚本';

    /**
     * Create a new command instance.
     *
     * @return void
     */
    public function __construct()
    {
        parent::__construct();
    }

    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {
        $client = new Client();
        //一共62个页面

        for ($number = 39184; $number < 39244; $number++) {
            try {
                $url = 'https://www.kuakao.com/english/ch/' . $number . '.html';
                $response = $client->request('GET', $url);
                //转为文本形式
                $body = $response->getBody()->getContents();
                //Crawler是一个 包,可以以选择器的形式来抓取 数据,比较方便。
                $crawler = new Crawler($body);
                //通过 class属性 加P标签,然后拿到每一个元素
                $english = $crawler->filter('.artTxt p')->each(function (Crawler $node, $i) {
                    return $node->text() . PHP_EOL;
                });
                //打印下看下效果
                dd($english);
                file_put_contents(base_path() . '/public/111.txt', $english);

            } catch (\Exception $e) {
                echo $number . '出错' . $e->getMessage() . $e->getLine();
                die;
                continue;
            }

        }

    }
}

运行结果:比较幸运,直接拿到了一个文件的。然后把它们放在一个TXT文件中。

 

然后整体运行,发现太慢了,也不知道执行到什么地方了,所以加个进度条吧。

最终代码:

 

<?php

namespace App\Console\Commands;

use GuzzleHttp\Client;
use Illuminate\Console\Command;
use Symfony\Component\DomCrawler\Crawler;

class FetchEnglishNote extends Command
{
    /**
     * The name and signature of the console command.
     *
     * @var string
     */
    protected $signature = 'fetch:englishNote';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = '抓取一下单词,这是临时脚本';

    /**
     * Create a new command instance.
     *
     * @return void
     */
    public function __construct()
    {
        parent::__construct();
    }

    /**
     * Execute the console command.
     *
     * @return mixed
     */
    public function handle()
    {
        $client = new Client();
        //一共62个页面
        $bar = $this->output->createProgressBar(62);
        $bar->start();
        for ($number = 39184; $number < 39244; $number++) {
            try {
                $url = 'https://www.kuakao.com/english/ch/' . $number . '.html';
                $response = $client->request('GET', $url);
                //转为文本形式
                $body = $response->getBody()->getContents();
                //Crawler是一个 包,可以以选择器的形式来抓取 数据,比较方便。
                $crawler = new Crawler($body);
                //通过 class属性 加P标签,然后拿到每一个元素
                $english = $crawler->filter('.artTxt p')->each(function (Crawler $node, $i) {
                    return $node->text() . PHP_EOL;
                });
                //打印下看下效果
                foreach($english as $oneWord){
                    file_put_contents(base_path() . '/public/englishNote.txt', $oneWord.'\n',FILE_APPEND);
                }

            } catch (\Exception $e) {
                echo $number . '出错' . $e->getMessage() . $e->getLine();
                die;
                continue;
            }
            $bar->advance();

        }
        $bar->finish();
        echo '恭喜全部完成';die;

    }
}

 

看下效果吧:

看来\n,我加的多余了,让各位大神耻笑了,我会继续加油。有什么问题欢迎大家留言。

Logo

汇聚原天河团队并行计算工程师、中科院计算所专家以及头部AI名企HPC专家,助力解决“卡脖子”问题

更多推荐