机器学习第五发:BS教你如何解析网页，规整数据?
liuian 2024-12-04 13:46 19 浏览
现在越来越多的应用和互联网产品做内容的聚合，像今日头条、等等，太多的聚合应用以及不胜枚举，甚至浏览器也可以嵌入聚合的应用。
互联网上拥有太多太多的数据，抓取网页的数据做数据挖掘也是最廉价的获取数据的途径，解析数据是得到规则数据的方法，他为后面数据挖掘、机器学习模型的学习提供支持。
在获取互联网数据的过程中，不可避免的就要使用到网页爬虫技术，此外在抓取下来的网页，需要进一步的解析出自己想要的内容。正则表达式是最常用的解析工具，针对网页目前有个非常便捷的框架，叫做BeautifulSoup。本文使用的是BeautifulSoup 3，现在已经有BeautifulSoup4了，名字改为bs4
（1）下载与安装
# BeautifulSoup 的下载与安装
pip install BeautifulSoup
另外也可以下载安装包进行安装
（2）快速开始
# BeautifulSoup 快速开始
html_doc = urllib2.urlopen('http://baike.baidu.com/view/1059363.htm')
soup = BeautifulSoup(html_doc)
print soup.title
结果：
# BeautifulSoup 结果
<title>前门大街_百度百科</title>
（3）BeautifulSoup对象介绍
BeautifulSoup中主要包含三种类型的对象：
BeautifulSoup.BeautifulSoup
BeautifulSoup.Tag
BeautifulSoup.NavigableString
通过下面例子来认识上面的三种数据类型：
# BeautifulSoup 示例
from BeautifulSoup import BeautifulSoup
import urllib2
html_doc = urllib2.urlopen('http://www.baidu.com')
soup = BeautifulSoup(html_doc)
print type(soup)
print type(soup.title)
print type(soup.title.string)
print soup.title
print soup.title.string
结果为
# BeautifulSoup 示例结果
<class 'BeautifulSoup.BeautifulSoup'>
<class 'BeautifulSoup.Tag'>
<class 'BeautifulSoup.NavigableString'>
<title>百度一下，你就知道</title>
百度一下，你就知道
print soup.title
print soup.title.string
从上面的例子可以比较清晰的看到BeautifulSoup主要包括三种类型的对象。
BeautifulSoup.BeautifulSoup //BeautifulSoup对象
BeautifulSoup.Tag //标签对象
BeautifulSoup.NavigableString //导航string文本对象
（4）BeautifulSoup剖析树
1. BeautifulSoup.Tag对象方法
获取标记对象，通过点号获取Tag对象
# BeautifulSoup 示例
title = soup.title
print type(title.contents)
print title.contents
print title.contents[0]
# BeautifulSoup 示例结果
<type 'list'>
[u'\u767e\u5ea6\u4e00\u4e0b\uff0c\u4f60\u5c31\u77e5\u9053']
百度一下，你就知道
contents方法
获得当前标签的内容list，如果该标签没有子标签，那么string方法和contents[0]得到的内容是一样的。见上面示例
next，parent方法
获得当前的标签的子标签和父标签
# BeautifulSoup 示例
html = soup.html
print html.next
print ''
print html.next.next
print html.next.next.nextSibling
# BeautifulSoup 示例结果
<head><meta http-equiv="content-type" content="text/html;charset=utf-8" /><meta http-equiv="X-UA-Compatible"content="IE=Edge" /><meta content="always" name="referrer" /><meta name="theme-color" content="#2932e1" /><link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" /><link rel="icon" sizes="any" mask="mask" href="//www.baidu.com/img/baidu.svg" /><link rel="dns-prefetch" href="//s1.bdstatic.com" /><link rel="dns-prefetch" href="//t1.baidu.com" /><link rel="dns-prefetch" href="//t2.baidu.com" /><link rel="dns-prefetch" href="//t3.baidu.com" /><link rel="dns-prefetch" href="//t10.baidu.com" /><link rel="dns-prefetch" href="//t11.baidu.com" /><link rel="dns-prefetch" href="//t12.baidu.com" /><link rel="dns-prefetch" href="//b1.bdstatic.com" /><title>百度一下，你就知道</title>
......
</head>
<meta http-equiv="content-type" content="text/html;charset=utf-8" />
<meta http-equiv="X-UA-Compatible" content="IE=Edge" />
nextSibling，previousSibling
获得当前标签的下一个兄弟标签和前一个兄弟标签
对不同的网页，将你需要的标签中的数据，例如评论、阅读量、购买量、价格、数量等等，通过BS解析获得。解析是数据获取整理过程中不可少的一部分。
进一步的，借助机器学习模型对上述数据进行建模分析，得到一定的结论。
- 上一篇：eCapture 神奇的工具 实践篇
- 下一篇：K8S Pod 的生命周期
相关推荐
- C/C++恶意代码盘点(一):进程遍历丨木马病毒丨密码记录
-
恶意代码的分类包括计算机病毒、蠕虫、木马、后门、Rootkit、流氓软件、间谍软件、广告软件、僵尸(bot)、Exploit等等，有些技术经常用到，有的也是必然用到。恶意代码常见功能技术如下：进程遍...
- 跨越十年的C++演进:C++11新特性全解析
-
原作者：Linux教程，原文「链接」：https://mp.weixin.qq.com/s/oFbiFlqiwgVcJIMMvTelEA很多刚刚进入C++领域的朋友，最初是从C语言转过来的。因...
- 如何在C#中调用C++方法（c#调用c++的类）
-
主要方式C#主要通过两种方式提供对非托管代码的调用，第一种是使用平台调用(PlatformInvoke，P/Invoke)，第二种是使用不安全代码(unsafe)，日常开发中我们使用最多的就是第一种...
- C语言字符数组和字符串（c语言字符数组和字符串数组）
-
用来存放字符的数组称为字符数组，例如：charc[10];字符数组也可以是二维或多维数组。例如：charc[5][10];字符数组也允许在定义时进行初始化，例如：charc[10]={'c',...
- C语言指针，如何操作字符串?linux C第45讲
-
1指针操作字符串在学习数组的时候，我们了解了字符串的定义，我们可以定义一个字符数组，用来存放一个字符串，例如：chararray[]={"abcde"};charbuf[]=...
- 信奥赛C++常用的算法总结（信息学奥赛c语言和c++有什么区别）
-
1、桶排序核心：①创建盛下所有数的数组②将每个数作为编号放入桶里优点：稳定、简单、容易考缺点：空间复杂度较大，时间复杂度较大。#include<bits/stdc++.h>usingn...
- Arduino 使用 C 字符串（arduino 字符串 数组）
-
问题您想了解如何使用原始字符字符串：创建字符串、查找其长度以及比较、复制或附加字符串。核心C语言不支持Arduino样式的String功能，因此您想了解针对基本字符数组编写的其他平台的代码...
- C++20 四大特性之一:Module 特性详解
-
C++20最大的特性是什么？最大的特性是迄今为止没有哪一款编译器完全实现了所有特性。文章来源：网易云信有人认为C++20是C++11以来最大的一次改动，甚至比C++11还要大。本文仅介绍...
- C/C++的const常量总结（c++语言const）
-
“所谓常量，就是在代码运行过程中值恒定不变的标识符，该标识符的值可以是一个常数，也可以是字符串。”在C/C++中，通常使用define宏定义或者const来定义常量，比如：#definePI3....
- 学习分享 | 通过C++python的对比，帮你快速入门python
-
一、前言对于只接触过静态语言，而从未使用过动态语言的人来说，第一次看到python的语法可能会大为惊叹。不用申明变量类型？不用等老半天编译完成就能直接运行？不用小心的维护指针？还不用写CMakelis...
- 字符串常量，C语言字符串常量详解
-
字符常量是由一对单撇号括起来的单个字符，如'a'、'D'、'？'、'#39;。在C语言中，除了字符常量外还有字符串常量，顾名思义就是多个“...
- C/C++中的内存四区（c++的内存区域分为）
-
1代码区存放CPU执行的机器指令。通常代码区是可共享的（即另外的执行程序可以调用它），使其可共享的目的是对于频繁被执行的程序，只需要在内存中有一份代码即可。代码区通常是只读的，使其只读的原因是防...
- 通过pybind11来实现python调用C++接口(一)
-
有小伙伴很好奇，怎么样实现python调用C++接口？哈哈，手把手教程来了。第一步：我们需要安装pybind11这个纯头文件的库，目前该库支持c++11及以上版本，在你的环境中通过命令行输入：apt-...
- 深入了解C++如何注释以及在哪儿注释-开课吧广场
-
注释虽然写起来很痛苦，但对保证代码可读性至关重要，同时这也是每一个C++开发工程师所需要做好的事情。那么C++开发过程中该如何注释？应该在哪写注释呢？关于注释风格，很多C++的Coders更喜欢行注释...
- C++核心知识点速查手册(实用重点版)
-
一、基础必备核心1.指针与引用（遥控器原理）指针：存储地址的变量（像电视遥控器）inttv=100;//电视机int*remote=&tv;//遥控器指向电视*...
- 一周热门
-
-
Python实现人事自动打卡，再也不会被批评
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
系统C盘清理:微信PC端文件清理，扩大C盘可用空间步骤
-
10款高性能NAS丨双十一必看，轻松搞定虚拟机、Docker、软路由
-
python使用fitz模块提取pdf中的图片
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)