请选择 进入手机版 | 继续访问电脑版
MSIPO技术圈 首页 IT技术 查看内容

爬虫的学习

2023-07-13

本地爬虫

 public static void main(String[] args) {
        //正则表达式对象 Pattern
        //文本匹配器,作用按照正则表达式的规则去读取字符串,从头开始读取
        // 在大串中找符合规则的字串 Matcher
        String str = "Java语言是Sun公司于1990年开发的;1994年,Gosling用Java7语言开发了一个实用性较高、可靠、安全、有交互功能的新型Web浏览" "器,它不依赖与任何硬件平台和软件平台,该浏览器被命名为HotJava,并于1995年在业界发表,引起了巨大的轰动,Java61语言的地位随之得到了肯定;1995年5月23日,JDK(Java8 Developmenr Kit)1.0a2版本正是对外发布;2009年4月20日,Sun公司被Oracle公司收购。";

        //获取正则表达式的对象
        Pattern p = Pattern.compile("Java\\d{0,2}");
        //获取文本匹配器的对象
        //m:文本匹配器对象
        //p:规则
        //str 大串
        //m需要在str中寻找符合p的小串
        Matcher m = p.matcher(str);
        //运用循环
        while (m.find()){
            String s = m.group();
            System.out.println(s);
        }
/*
        //拿着文本匹配器从头开始读取,寻找是否又满足的字串
        //没有返回false
        //有返回true,在底层记录子串的起始索引 和 结束索引+1
        boolean b = m.find();
        //方法底层会根据find方法记录的索引进行字符串的截取
        //subString(起始索引,结束索引);包头不包尾。
        String s1 = m.group();
        System.out.println(s1);

        //第二次调用find的时候,会继续读取后面的内容
        //读取刀第二个满足的字串,会返回true
        //并把第二个字串的起始索引和结束索引+1记录
        b = m.find();
        String s2 = m.group();
        System.out.println(s2);
*/

    }

带条件的爬取

public static void main(String[] args) {
    String str = "Java语言是Sun公司于1990年开发的;1994年,Gosling用JaVa8语言开发了一个实用性较高、可靠、安全、有交互功能的新型Web浏览" +
            "器,它不依赖与任何硬件平台和软件平台,该浏览器被命名为HotJava,并于1995年在业界发表,引起了巨大的轰动,JAVa11语言的地位随之得" +
            "到了肯定;1995年5月23日,JDK(JAVA17 Developmenr Kit)1.0a2版本正是对外发布;2009年4月20日,Sun公司被Oracle公司收购。";

    //爬取不区分大小写的并且带版本号的Java,但是只返回前半部分
    String regex1="((?i)Java)(?=8|11|17)";
    //爬取不区分大小写的并且带版本号的Java,全部返回
    String regex2="((?i)Java)(?:8|11|17)";
    //爬取不区分大小写的并且不带版本号的
    String regex3="((?i)Java)(?!8|11|17)";
    Pattern pattern = Pattern.compile(regex3);
    Matcher matcher = pattern.matcher(str);
    while (matcher.find()){
        System.out.println(matcher.group());
    }

贪婪爬取:在爬取数据的时候,尽可能的多获取数据

非贪婪爬取:在爬取数据的时候,尽可能的少获取数据

Java当中默认贪婪爬取,如果我们在数量词+ *的后面加上问号,那么此时就是非贪婪爬取。

String s="abbbbbbbbbbbbbbbbbbaaaaaaaaaaaaaaaaaaaaa";
String regex1="ab+";//贪婪爬取:abbbbbbbbbbbbbbbbbb
String regex2="ab+?";//非贪婪爬取:ab
Pattern p = Pattern.compile(regex1);
Matcher m = p.matcher(s);
while (m.find()){
    System.out.println(m.group());

正则表达式在字符串方法中的使用

public String replaceAll(String regex,String newStr) 按照正则表达式的规则进行替换

public String[] split(String regex) 按照正则表达式的规则切割字符串

public static void main(String[] args) {
    String s="弱智asdasndjiashdkjas1111123bndiu脑瘫asdasndjia1241245shdkjasbndiu低能";
    //细节:
    //方法在底层也会创建文本解析器的对象
    //然后从头开始去读取字符串中的内容,只要有满足的就用第二个参数去替换
    String result = s.replaceAll("[\\w&&[^_]]+", "vs");
    System.out.println(result);
    
    String[] split = s.split("[\\w&&[^_]]+");
    for (int i = 0; i < split.length; i++) {
        System.out.println(split[i]);
    }

相关阅读

热门文章

    手机版|MSIPO技术圈 皖ICP备19022944号-2

    Copyright © 2024, msipo.com

    返回顶部