新聞網站爬蟲.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "title: 世足奪冠很難高興太久阿根廷政經沉痾仍在, link: https://money.udn.com/money/story/5599/6852901?from=edn_newest_index\n",
      "title: 盧秀燕小內閣副手令狐榮達、陳子敬傳請辭, link: https://money.udn.com/money/story/7307/6852902?from=edn_newest_index\n",
      "title: 土地銀行大放異彩獲金管會六大獎項, link: https://money.udn.com/money/story/5613/6852900?from=edn_newest_index\n",
      "title: 臺銀人壽落實普惠金融獲金管會二項獎項肯定, link: https://money.udn.com/money/story/5613/6852899?from=edn_newest_index\n"
     ]
    }
   ],
   "source": [
    "# -*- coding: utf-8 -*-\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import re\n",
    "\n",
    "\n",
    "new_list = []\n",
    "url = 'https://money.udn.com/money/index'\n",
    "\n",
    "## 1.填寫headers\n",
    "headers = {'User-Agent': \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:108.0) Gecko/20100101 Firefox/108.0\"}\n",
    "\n",
    "response = requests.get(url, headers=headers)\n",
    "soup = BeautifulSoup(response.text, 'html.parser')\n",
    "#print(response.text)\n",
    "\n",
    "## 2.抓取即時區域所有新聞title以及新聞內容連結link，並將每篇新聞的連結link append到new_list內\n",
    "article_title_html = soup.find_all('div',{'class':\"story__list story__list--web\"}) # find pattern at 最新\n",
    "\n",
    "\n",
    "#for i in a_tags:\n",
    "#    print('title: {}, link: {}'.format(i.text, 'https://money.udn.com'+i['href']))\n",
    "#    new_list.append('https://money.udn.com'+i['href'])\n",
    "\n",
    "for index, i in enumerate(article_title_html):\n",
    "    if index <= 3: # get first 4 data sets\n",
    "        title = i.find('a')[\"title\"].replace(' ','').replace('\\n','')\n",
    "        href_link = \"https://money.udn.com\"+i.find('a')['href'] #get url link and paste local url at front\n",
    "        print('title: {}, link: {}'.format(title, href_link))\n",
    "        new_list.append(href_link)\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "https://money.udn.com/money/story/5599/6852901?from=edn_newest_index\n",
      "new title: 世足奪冠很難高興太久 阿根廷政經沉痾仍在\n",
      "new content: \n",
      "過去1個月，梅西和他的阿根廷隊友在世足賽給他們的球迷帶來成功和團結，這和阿根廷的經濟困境和兩極化的政治格局形成鮮明對比。\n",
      "\n",
      "法新社報導，多年來的經濟危機給阿根廷民眾日常生活帶來沉重的負擔，高漲的通貨膨脹和貨幣持續貶值，削弱一般民眾的儲蓄和購買力，約40%的人生活在貧困中。\n",
      "\n",
      "然而在18日的世界盃決賽迎戰法國時，阿根廷舉國都團結在藍白相間的國旗下，政治和體育的對抗被丟在一邊，4500萬人慶祝阿根廷36年來首度奪下的冠軍金盃。\n",
      "\n",
      "不過，專家說，歡欣鼓舞不會持續太久。\n",
      "\n",
      "社會學家達斯卡爾（Rodrigo Daskal）告訴法新社：「體育運動，特別是阿根廷的足球，能夠透過情感把我們團結起來，這對國家的象徵意義非常重要。」\n",
      "\n",
      "「但這並不意味著它可以有效地轉移到其他領域。」\n",
      "\n",
      "球隊的成功和他們的團結給一些阿根廷人帶來希望。\n",
      "\n",
      "50歲的伯頓（Julio Berdun）和家人走過總統府羅沙達大廈（Casa Rosada）前的五月廣場（Plaza Mayo）時說：「這無關忘掉我們的問題，而是要提醒我們可以團結起來，當我們團結起來的時候，我們就會朝著同一個方向努力。」\n",
      "\n",
      "與此同時，幾十年來的承諾和夢想破滅帶來懷疑和厭倦。\n",
      "\n",
      "65歲的建築師葛倫菲德（Ricardo Grunfeld）說：「我們是世界冠軍，但僅此而已。我必須去工作，每個人都必須去工作。情況不會改變，將會一如往常，只是在體育領域我們是世界冠軍。」\n",
      "save image: \n",
      "==========\n",
      "\n",
      "\n",
      "https://money.udn.com/money/story/7307/6852902?from=edn_newest_index\n",
      "new title: 盧秀燕小內閣  副手令狐榮達、陳子敬傳請辭\n",
      "new content: \n",
      "台中市長盧秀燕連任後，市府新團隊至今未公布，但傳出台中市副市長陳子敬、令狐榮達已請辭。陳子敬說，他年紀太大了，不要耽誤人家前途。令狐榮達請假，今天未出席市政會議。\n",
      "\n",
      "新任縣市長將於25日就職，對於台中市府新團隊名單，盧秀燕仍未對外公布，她只說會有小幅改組。繼台中市影視發展基金會執行長林筱淇、研考會主委吳皇昇已公開宣布提出請辭後，今天又傳出令狐榮達、陳子敬也提出請辭。\n",
      "\n",
      "陳子敬今天出席市政會議後，被問到是否提出請辭時表示，他已70多歲了，年紀太大了，不要耽誤人家的前途，但他不太適合說這些，還是請市長統一公布。\n",
      "\n",
      "至於令狐榮達，目前請假中，今天未出席市政會議。\n",
      "\n",
      "40年次的陳子敬在警界服務超過43年，曾任台南市警察局長、內政部警政署主任秘書、國道公路警察局長、航空警察局長等；令狐榮達68歲，資深外交官出身，曾任外交部政務次長、駐加拿大代表、外交部北美司長等職。\n",
      "save image: \n",
      "==========\n",
      "\n",
      "\n",
      "https://money.udn.com/money/story/5613/6852900?from=edn_newest_index\n",
      "new title: 土地銀行大放異彩 獲金管會六大獎項\n",
      "new content: \n",
      "金管會於20日召開本國銀行總經理第54次業務聯繫會議及表揚典禮，臺灣土地銀行一舉榮獲「辦理中小企業放款績優銀行」、「辦理新創重點產業放款績優銀行」、「綠能科技產業特別獎」、「生技醫藥產業特別獎」、「新農業產業特別獎」及「金融服務業公平待客原則表現優良銀行」等六項殊榮，由土地銀行總經理何英明代表出席受獎。\n",
      "\n",
      "\n",
      "\n",
      "金管會定期邀集銀行公會及本國銀行總經理舉辦本國銀行總經理業務聯繫會議，本次另表揚在公平待客、中小企業放款等領域表現傑出銀行。其中以土地銀行大放異彩，順利拿下六大獎項。　\n",
      "\n",
      "\n",
      "\n",
      "依金管會評比，土地銀行本期對中小企業、新創重點產業、綠能科技、生技醫藥、新農業放款餘額較前一期大幅增加，因此獲頒「辦理中小企業放款績優銀行」、「辦理新創重點產業放款績優銀行」，以及「綠能科技產業特別獎」、「生技醫藥產業特別獎」、「新農業產業特別獎」第一名榮耀。\n",
      "\n",
      "\n",
      "\n",
      "而土地銀行也持續落實公平待客原則，金管會也評比土地銀行為本國銀行排名前25%「金融服務業公平待客原則表現優良銀行」，土銀為連續第四年獲金管會表揚，顯見土地銀行長期致力於普惠金融原則。土銀除設有客戶服務中心提供24小時全年無休免費金融諮詢服務，另透過調查服務效率、品質等指標瞭解客戶意見及感受，其客戶110年對土銀服務滿意度平均值高達99.55%。\n",
      "\n",
      "\n",
      "\n",
      "此外，土地銀行近年亦榮獲經濟部評選為「中小企業信用保證融資業務績優金融機構」、「協助青創業者取得創業初期營運資金績效卓越」，以及金管會評比「獎勵本國銀行加速辦理紓困振興貸款方案優等銀行」、「辦理中小企業放款績優銀行」，中央銀行評選為「中央銀行中小企業專案貸款績優金融機構」等殊榮。\n",
      "\n",
      "\n",
      "\n",
      "土地銀行董事長謝娟娟自上任以來即提出「業務數位化」、「授信均衡化」、「獲利多元化」、「人力優質化」及「落實企業社會責任」等五大策略。以土地銀行本期針對中小企業與新創、綠能、生技及新農業等產業持續擴大放貸規模為例，較過去不動產貸款龍頭角色有所不同，即為授信均衡化與落實企業社會責任，有效提供新興綠色產業資金活水。\n",
      "\n",
      "\n",
      "\n",
      "土地銀行除主辦永續績效連結聯貸案及發行可持續發展債券，並聚焦綠色能源產業商機，例如太陽能光電、離岸風電、再生能源等，更善用信保機制協助中小企業取得融資。同時，土銀運用「建築綠色融資行銷方案」鼓勵建築業建造綠建築、使用綠色建材、節能低碳及耐震設施。另土地銀行也以身作則，在111年簽署赤道原則，持續在整體環境、社會及經濟正向發展扮演更積極的角色。\n",
      "save image: \n",
      "==========\n",
      "\n",
      "\n",
      "https://money.udn.com/money/story/5613/6852899?from=edn_newest_index\n",
      "new title: 臺銀人壽落實普惠金融 獲金管會二項獎項肯定\n",
      "new content: \n",
      "金管會於12月9日舉辦「111年度保險業配合政策推動各項業務得獎業者頒獎典禮」，臺銀人壽榮獲「微型保險競賽」二項保險政策獎項，由金管會主任委員黃天牧頒發「績效卓著獎」及「永續關懷獎」，臺銀人壽周園藝總經理代表領獎。\n",
      "\n",
      "\n",
      "\n",
      "臺銀人壽為實現「普惠金融」與落實「公平待客原則」，具體列入經營政策，推動「簡單愛」微型保險，使弱勢民眾得以較低保費獲得基本保險保障，已連續九年獲頒微型保險類「績效卓著獎」及連續三年獲得「永續關懷獎」殊榮。\n",
      "\n",
      "\n",
      "\n",
      "臺銀人壽響應政府政策，持續推廣微型保險，每年協助眾多社福團體成員投保微型保險，落實政府建立保險安全守護網。在關懷行動上，從初期的保險商品保障，延伸至公益訴求響應、品牌建立和陪伴關懷等；多年來的耕耘，讓微型保險確實發揮保障經濟弱勢族群功能。在獲得肯定同時，當再接再厲，落實臺銀人壽「公平在心、待客如親」企業精神。\n",
      "\n",
      "\n",
      "\n",
      "臺銀人壽身為國營壽險公司，穩健可靠、永續經營及企業責任是公司最重要的使命和理念，希望成為保戶心目中最佳的國家級保險公司品牌。\n",
      "save image: \n",
      "==========\n",
      "\n",
      "\n"
     ]
    }
   ],
   "source": [
    "from time import sleep\n",
    "import os\n",
    "from bs4 import BeautifulSoup\n",
    "from urllib.request import urlretrieve\n",
    "\n",
    "def createFolder(directory):\n",
    "    try:\n",
    "        if not os.path.exists(directory):\n",
    "            os.makedirs(directory)\n",
    "    except OSError:\n",
    "        print ('Error: Creating directory. ' +  directory)\n",
    "\n",
    "        \n",
    "def save_news(url):\n",
    "    \n",
    "    ## 3.填寫headers\n",
    "    headers = {'User-Agent': \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:108.0) Gecko/20100101 Firefox/108.0\"}\n",
    "\n",
    "    response = requests.get(url, headers=headers)\n",
    "    sleep(1)\n",
    "    \n",
    "    soup = BeautifulSoup(response.text, 'html.parser')\n",
    "    ## 4. 使用find_all去抓取每篇新聞的title(指定是哪個tag以及指定id)，將結果所產生之list放到new_title變數內\n",
    "    new_title = soup.find_all('h1',{'id':\"story_art_title\"})\n",
    "    save_path = './news/'+new_title[0].text.replace(':','')\n",
    "    #save_path = './news/'+new_list[0].text.replace(':','')\n",
    "    \n",
    "    article_body = soup.find_all('section',{'id':'article_body'}) #網站改版div -> section\n",
    "    print('new title: {}'.format(new_title[0].text))\n",
    "    #print('new title: {}'.format(new_list[0].text))\n",
    "    \n",
    "    ## create folder\n",
    "    createFolder(save_path)\n",
    "    soup2 = BeautifulSoup(str(article_body[0]), 'html.parser')\n",
    "\n",
    "\n",
    "    ## save article contens in folder\n",
    "    with open(save_path+'/contents.txt', 'w', encoding='utf-8') as f:  \n",
    "        ## 5. 抓取文章內p tags，並將新聞內文寫入contents.txt檔案內\n",
    "        p_tags = soup2.find_all('p') # find all the p in article \n",
    "        print('new content: ')\n",
    "        for i in p_tags:\n",
    "            print(i.text)\n",
    "            f.write(i.text) #store in file unders news directory\n",
    "\n",
    "    ## save image in article        \n",
    "    \n",
    "    ## 6. 抓取文章內所有img tags，並將圖片下載並存入對應新聞資料夾下\n",
    "    img_tags = soup2.find_all('img')\n",
    "    print('save image: ')\n",
    "    for i in img_tags:\n",
    "        print(i['src'])\n",
    "        urlretrieve(i['src'], save_path+'/'+i['title']+'.jpg')\n",
    "    print('==========\\n\\n')\n",
    "    \n",
    "\n",
    "for new_url in new_list:\n",
    "    print(new_url)\n",
    "    save_news(new_url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}