Pythonでロイター、ブルームバーグ、YahooのRSSから経済関連のニュース情報を抽出する

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup

def main():
    print('rss上のニュースリストを抽出')
    url = 'https://assets.wor.jp/rss/rdf/reuters/top.rdf'
    html = requests.get(url)
    soup = BeautifulSoup(html.content, "xml")
    # スクレイピング
    for rss in soup.find_all('item'):
        link = rss.find("link").text
        title = rss.title.string
        article = extract_content(link)
        print('タイトル：'+title)
        print('リンク：'+link)
        print('記事内容：')
        print(article)

def extract_content(url):
    # ニュース記事をダウンロードして解析
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")

    # 本文を取得して表示
    article_body = soup.find("div", class_="ArticleBodyWrapper").find_all("p")
    article_text = "\n".join([p.text.strip() for p in article_body])
    return article_text

if __name__ == "__main__":
    main()

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup

def main():
    print('rss上のニュースリストを抽出')
    url = 'https://assets.wor.jp/rss/rdf/bloomberg/top.rdf'
    html = requests.get(url)
    soup = BeautifulSoup(html.content, "xml")
    # スクレイピング
    for rss in soup.find_all('item'):
        link = rss.find("link").text
        title = rss.title.string
        article = extract_content(link)
        print('タイトル：'+title)
        print('リンク：'+link)
        print('記事内容：')
        print(article)

def extract_content(url):
    # ニュース記事をダウンロードして解析
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")

    # 本文を取得して表示
    article_body = soup.find("div", class_="body-copy").find_all("p")
    article_text = "\n".join([p.text.strip() for p in article_body])
    return article_text

if __name__ == "__main__":
    main()

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup

def main():
    print('rss上のニュースリストを抽出')
    url = 'https://news.yahoo.co.jp/rss/categories/business.xml'
    html = requests.get(url)
    soup = BeautifulSoup(html.content, "xml")
    # スクレイピング
    for rss in soup.find_all('item'):
        link = rss.find("link").text.replace('?source=rss','')
        title = rss.title.string
        article = extract_content(link)
        print('タイトル：'+title)
        print('リンク：'+link)
        print('記事内容：')
        print(article)

def extract_content(url):
    #ページが複数にまたがる場合は、全ページのデータを取得
    page = '?page='
    num = 2
    # ニュース記事をダウンロードして解析
    res = requests.get(url)
    soup = BeautifulSoup(res.text, 'html.parser')
    article = soup.find('div', class_='article_body')
    # 本文を取得
    text = ""
    for p in article.find_all('p'):
        text += p.get_text()

    # 2ページ目以降の処理
    res_next = requests.get(url+page+str(num))
    while res_next:
        soup = BeautifulSoup(res_next.text, 'html.parser')
        article = soup.find('div', class_='article_body')
        for p in article.find_all('p'):
            text += p.get_text()
        num = num + 1
        res_next = requests.get(url+page+str(num))
    return text

if __name__ == "__main__":
    main()