2-2 크롤링 실습.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## BeautifulSoup 실습: 네이버랩_실시간_순위"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "#pip install beautifulsoup4\n",
    "\n",
    "from bs4 import BeautifulSoup\n",
    "import requests"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "url=\"https://datalab.naver.com/keyword/realtimeList.naver\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'}\n",
    "\n",
    "# headers 관련:\n",
    "# https://blog.naver.com/kiddwannabe/221185808375"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "raw = requests.get(url, headers=headers)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "html=BeautifulSoup(raw.text,'html.parser') "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<span class=\"item_title\">엄용수</span>,\n",
       " <span class=\"item_title\">인면어: 저주의 시작</span>,\n",
       " <span class=\"item_title\">김예지 의원</span>,\n",
       " <span class=\"item_title\">박세리</span>,\n",
       " <span class=\"item_title\">김준호</span>,\n",
       " <span class=\"item_title\">서울촌놈 대전</span>,\n",
       " <span class=\"item_title\">김완선나이</span>,\n",
       " <span class=\"item_title\">이호철</span>,\n",
       " <span class=\"item_title\">뮌헨 파리</span>,\n",
       " <span class=\"item_title\">중정</span>,\n",
       " <span class=\"item_title\">서울촌놈</span>,\n",
       " <span class=\"item_title\">범블비</span>,\n",
       " <span class=\"item_title\">태풍 바비</span>,\n",
       " <span class=\"item_title\">인면어</span>,\n",
       " <span class=\"item_title\">무한그룹</span>,\n",
       " <span class=\"item_title\">한다감 나이</span>,\n",
       " <span class=\"item_title\">코로나 신규 확진자</span>,\n",
       " <span class=\"item_title\">발헨 호수의 비밀</span>,\n",
       " <span class=\"item_title\">영남알프스 간월재</span>,\n",
       " <span class=\"item_title\">전공의</span>]"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "title=html.select(\"span.item_title\")\n",
    "title\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'엄용수'"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "title[0].text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "엄용수\n",
      "인면어: 저주의 시작\n",
      "김예지 의원\n",
      "박세리\n",
      "김준호\n",
      "서울촌놈 대전\n",
      "김완선나이\n",
      "이호철\n",
      "뮌헨 파리\n",
      "중정\n",
      "서울촌놈\n",
      "범블비\n",
      "태풍 바비\n",
      "인면어\n",
      "무한그룹\n",
      "한다감 나이\n",
      "코로나 신규 확진자\n",
      "발헨 호수의 비밀\n",
      "영남알프스 간월재\n",
      "전공의\n"
     ]
    }
   ],
   "source": [
    "for i in range(len(title)):\n",
    "    print(title[i].text)\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<span class=\"item_num\">1</span>"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "rank=html.select(\"span.item_num\")\n",
    "rank[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1\n",
      "2\n",
      "3\n",
      "4\n",
      "5\n",
      "6\n",
      "7\n",
      "8\n",
      "9\n",
      "10\n",
      "11\n",
      "12\n",
      "13\n",
      "14\n",
      "15\n",
      "16\n",
      "17\n",
      "18\n",
      "19\n",
      "20\n"
     ]
    }
   ],
   "source": [
    "for i in range(len(rank)):\n",
    "    print(rank[i].text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "result=[]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "for i in range(20):\n",
    "    data=rank[i].text, title[i].text\n",
    "    result.append(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('1', '엄용수'),\n",
       " ('2', '인면어: 저주의 시작'),\n",
       " ('3', '김예지 의원'),\n",
       " ('4', '박세리'),\n",
       " ('5', '김준호'),\n",
       " ('6', '서울촌놈 대전'),\n",
       " ('7', '김완선나이'),\n",
       " ('8', '이호철'),\n",
       " ('9', '뮌헨 파리'),\n",
       " ('10', '중정'),\n",
       " ('11', '서울촌놈'),\n",
       " ('12', '범블비'),\n",
       " ('13', '태풍 바비'),\n",
       " ('14', '인면어'),\n",
       " ('15', '무한그룹'),\n",
       " ('16', '한다감 나이'),\n",
       " ('17', '코로나 신규 확진자'),\n",
       " ('18', '발헨 호수의 비밀'),\n",
       " ('19', '영남알프스 간월재'),\n",
       " ('20', '전공의')]"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "df=pd.DataFrame(result)\n",
    "df.to_csv(\"네이버랩_실시간_순위\",encoding=\"utf-8\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>엄용수</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>인면어: 저주의 시작</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>김예지 의원</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>박세리</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>김준호</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>5</td>\n",
       "      <td>6</td>\n",
       "      <td>서울촌놈 대전</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>6</td>\n",
       "      <td>7</td>\n",
       "      <td>김완선나이</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>7</td>\n",
       "      <td>8</td>\n",
       "      <td>이호철</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>8</td>\n",
       "      <td>9</td>\n",
       "      <td>뮌헨 파리</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>9</td>\n",
       "      <td>10</td>\n",
       "      <td>중정</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>10</td>\n",
       "      <td>11</td>\n",
       "      <td>서울촌놈</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>11</td>\n",
       "      <td>12</td>\n",
       "      <td>범블비</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>12</td>\n",
       "      <td>13</td>\n",
       "      <td>태풍 바비</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>13</td>\n",
       "      <td>14</td>\n",
       "      <td>인면어</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>14</td>\n",
       "      <td>15</td>\n",
       "      <td>무한그룹</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>15</td>\n",
       "      <td>16</td>\n",
       "      <td>한다감 나이</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>16</td>\n",
       "      <td>17</td>\n",
       "      <td>코로나 신규 확진자</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>17</td>\n",
       "      <td>18</td>\n",
       "      <td>발헨 호수의 비밀</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>18</td>\n",
       "      <td>19</td>\n",
       "      <td>영남알프스 간월재</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>19</td>\n",
       "      <td>20</td>\n",
       "      <td>전공의</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    Unnamed: 0   0            1\n",
       "0            0   1          엄용수\n",
       "1            1   2  인면어: 저주의 시작\n",
       "2            2   3       김예지 의원\n",
       "3            3   4          박세리\n",
       "4            4   5          김준호\n",
       "5            5   6      서울촌놈 대전\n",
       "6            6   7        김완선나이\n",
       "7            7   8          이호철\n",
       "8            8   9        뮌헨 파리\n",
       "9            9  10           중정\n",
       "10          10  11         서울촌놈\n",
       "11          11  12          범블비\n",
       "12          12  13        태풍 바비\n",
       "13          13  14          인면어\n",
       "14          14  15         무한그룹\n",
       "15          15  16       한다감 나이\n",
       "16          16  17   코로나 신규 확진자\n",
       "17          17  18    발헨 호수의 비밀\n",
       "18          18  19    영남알프스 간월재\n",
       "19          19  20          전공의"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "naver_rank=pd.read_csv(\"네이버랩_실시간_순위\")\n",
    "naver_rank"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Selenium 실습: 인스타그램 태그 수집\n",
    "\n",
    "인스타그램 비타민 계정에서\n",
    "최근 게시글 6개 크롤링하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import time\n",
    "\n",
    "from selenium import webdriver\n",
    "\n",
    "driver=webdriver.Chrome(\"./chromedriver.exe\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "time.sleep(2)\n",
    "\n",
    "driver.get(\"https://www.instagram.com/?hl=ko\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [],
   "source": [
    "id_=\"\"\n",
    "password_=\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "ID = driver.find_elements_by_css_selector(\"input._2hvTZ.pexuQ.zyHYP\")[0]\n",
    "ID.send_keys(id_)\n",
    "\n",
    "PW = driver.find_elements_by_css_selector(\"input._2hvTZ.pexuQ.zyHYP\")[1]\n",
    "PW.send_keys(password_)\n",
    "\n",
    "login = driver.find_element_by_css_selector(\"#loginForm > div > div:nth-child(3) >button\")\n",
    "login.click()\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 팝업창\n",
    "later=driver.find_element_by_css_selector(\"body > div.RnEpo.Yx5HN > div > div > div > div.mt3GC > button.aOOlW.HoLwm\")\n",
    "later.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "search=driver.find_element_by_css_selector(\"#react-root > section > nav > div._8MQSO.Cx7Bp > div > div > div.LWmhU._0aCwM > div\")\n",
    "search.click()\n",
    "\n",
    "tag=\"bitamin1818\"\n",
    "\n",
    "search=driver.find_element_by_css_selector(\"#react-root > section > nav > div._8MQSO.Cx7Bp > div > div > div.LWmhU._0aCwM > input\")\n",
    "search.send_keys(tag)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "search_page=driver.find_element_by_css_selector(\"#react-root > section > nav > div._8MQSO.Cx7Bp > div > div > div.LWmhU._0aCwM > div:nth-child(5) > div.drKGC > div > a > div\")\n",
    "search_page.click()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "instagram=[]\n",
    "\n",
    "for i in range(6):\n",
    "    contents = driver.find_elements_by_css_selector(\"div._9AhH0\")[i]\n",
    "    instagram.append(contents)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<selenium.webdriver.remote.webelement.WebElement (session=\"78921bc6a8dcd3203189ffb4549dc3ba\", element=\"0.7412351409655225-4\")>,\n",
       " <selenium.webdriver.remote.webelement.WebElement (session=\"78921bc6a8dcd3203189ffb4549dc3ba\", element=\"0.7412351409655225-5\")>,\n",
       " <selenium.webdriver.remote.webelement.WebElement (session=\"78921bc6a8dcd3203189ffb4549dc3ba\", element=\"0.7412351409655225-6\")>,\n",
       " <selenium.webdriver.remote.webelement.WebElement (session=\"78921bc6a8dcd3203189ffb4549dc3ba\", element=\"0.7412351409655225-7\")>,\n",
       " <selenium.webdriver.remote.webelement.WebElement (session=\"78921bc6a8dcd3203189ffb4549dc3ba\", element=\"0.7412351409655225-8\")>,\n",
       " <selenium.webdriver.remote.webelement.WebElement (session=\"78921bc6a8dcd3203189ffb4549dc3ba\", element=\"0.7412351409655225-9\")>]"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "instagram"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "post_list=[]\n",
    "\n",
    "for i in instagram:\n",
    "    i.click()\n",
    "    time.sleep(2)\n",
    "    \n",
    "    post=driver.find_element_by_css_selector(\"div.C4VMK\").text\n",
    "    post_list.append(post)\n",
    "    \n",
    "    close=driver.find_element_by_css_selector(\"body > div._2dDPU.CkGkG > div.Igw0E.IwRSH.eGOV_._4EzTm.BI4qX.qJPeX.fm1AK.TxciK.yiMZG > button > div > svg\")\n",
    "    close.click()\n",
    "    \n",
    "     "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['bitamin1818\\n🍊8월 22일 세션 공지🍊\\n⠀\\n이번주 5기는 ‘크롤링 입문’이라는 주제로 교육부에서 세션을 진행해줄 예정입니다😆\\n⠀\\n6기는 ‘파이썬 기초 part 1’이라는 주제로 교육부에서 세션을 진행해줄 예정입니다😆\\n⠀\\n갑자기 코로나19 바이러스 확산이 심해지는 바람에 잠시 온라인으로 세션을 진행하게 되어 너무 아쉽네요😭\\n⠀\\n특히 6기는 이번 주가 첫 세션이라 기대가 되는데요!\\n⠀\\n그럼 모두 토요일에 만나요🙌🙌\\n2일',\n",
       " 'bitamin1818\\n8월 15일\\n⠀\\n비타민 만반잘부~👋😊\\n⠀\\n이번 주부터 5기는 2학기, 6기는 1학기가 시작되었습니다! 와아ㅏ아아🥳🥳\\n⠀\\n5기는 시각화 part. 2와 자율 프로젝트,\\n6기는 OT와 레크리에이션으로 5기 편입 멤버와 6기 멤버들을 환영하는 시간을 가졌습니다!\\n⠀\\n높은 경쟁률을 뚫고 비타민과 함께하게 된 모든 분들 환영합니다🧡🍊🧡\\n⠀\\n더운 여름에도 참석해준 비타민 모든 멤버들에게 박수를👏👏\\n⠀\\n앞으로 한 학기 또 화이팅 해봐요🙌💪\\n6일',\n",
       " 'bitamin1818\\n8월 8일 종강총회\\n\\n한학기동안 열심히 달려온 비타민이 4번째 종강총회를 가졌습니다. 오랜만에 전기수 오프라인으로 진행하였습니다!\\n\\n한학기 활동 피드백, 제1회 컨퍼런스 수상식, 다음학기를 이끌어갈 새로운 회장취임식, 마지막으로 1년간 활동한 4기멤버들의 수료식으로 진행하였습니다.\\n\\n그동안 비타민을 위해 노력해주고 빛내준 4기 운영진과 멤버들에게 박수보내드립니다!👏🏻👏🏻👏🏻\\n\\n#빅데이터 #데이터분석 #학회 #연합동아리 #R #파이썬 #비타민 #Adieu #4기 #Hello #6기\\n1주',\n",
       " 'bitamin1818\\n8월 1일 정규세션\\n\\n5기: 스태킹/실습/복습프로젝트\\n\\n어느덧 1학기의 마지막세션을 진행하였습니다. 지난주에 마무리한 4기를 비롯해 5기 역시 스태킹수업과 복습프로젝트를 진행하였는데요, 모든 조가 좋은 발표를 보여주었습니다.\\n\\n한학기동안 고생많으셨고 이제 다음주는 종강총회로 돌아오겠습니다!\\n\\n#빅데이터 #데이터분석 #R #파이썬 #연합동아리 #학회 #비타민\\n2주',\n",
       " 'bitamin1818\\n7월 25일 정규세션\\n\\n4기: R응 통한 자원관리와 활용\\n5기: GBM/XGBoost/LightGBM\\n\\n더운 여름에도 비타민 세션은 계속진행됩니다! 이제 한학기의 막바지에 이르렀는데요, 마지막까지 최선을 다해봅시다!\\n\\n또 새로 선발된 6기 운영진들과 함께 대면식을 가졌습니다. 앞으로 열심히 일하게될 새내기 운영진들에게 박수를👏🏻\\n\\n#데이터분석 #빅데이터 #학회 #연합동아리 #R #파이썬 #비타민 #6기 #운영진\\n3주',\n",
       " 'bitamin1818\\n7월 18일 정규세션\\n\\n3,4기: 컨퍼런스대회\\n5기: 앙상블/랜덤포레스트\\n\\n벌써 7월의 반이 지나갔는데요, 3,4기는 오랜시간준비해온 비타민1회 컨퍼런스를 발표하였습니다.\\n\\n또한 바로 전날인 17일 6기 운영진을 선발하여 앞으로 함께 많은 도움을 주게 되었는데요, 높은 경쟁률을 뚫고 합격한만큼 많은 기대바랍니다🙂\\n\\n#데이터분석 #빅데이터 #학회 #연합동아리 #R #파이썬 #비타민\\n4주']"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "post_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}