我想用R来刮擦这个页面:(
http://www.fifa.com/worldcup/archive/germany2006/results/matches/match=97410001/report.html)等人来得到目标得分手和时间.
到目前为止,这是我所得到的:
- require(RCurl)
- require(XML)
- theURL <-"http://www.fifa.com/worldcup/archive/germany2006/results/matches/match=97410001/report.html"
- webpage <- getURL(theURL,header=FALSE,verbose=TRUE)
- webpagecont <- readLines(tc <- textConnection(webpage)); close(tc)
- pagetree <- htmlTreeParse(webpagecont,error=function(...){},useInternalNodes = TRUE)
而pagetree对象现在包含一个指向我解析的html的指针(我认为).我想要的是:
- <div class="cont")<ul>
- <div class="bold medium">Goals scored</div>
- <li>Philipp LAHM (GER) 6',</li>
- <li>Paulo WANCHOPE (CRC) 12',</li>
- <li>Miroslav KLOSE (GER) 17',</li>
- <li>Miroslav KLOSE (GER) 61',</li>
- <li>Paulo WANCHOPE (CRC) 73',</li>
- <li>Torsten FRINGS (GER) 87'</li>
- </ul></div>
但是我现在失去了如何隔离他们,坦率地说,xpathSApply和xpathApply将beejeebies混淆了我!
所以,有没有人知道如何制定一个命令来吸取包含在< div class =“cont”>中的元素.标签?
这些问题在处理R中的Web抓取和XML时非常有用:
> Scraping html tables into R data frames using the XML package
> How to transform XML data into a data.frame?
关于你的具体例子,虽然我不知道你想要的输出是什么样的,但是这样就得到了一个字符向量的“进球得分”:
xpathSApply函数获取与给定条件匹配的所有值,并将其作为向量返回.注意我正在寻找一个div与class =’cont’.使用类值通常是解析HTML文档的好方法,因为它们是很好的标记.
你可以清理它,但是你想要的: