2-2 Selenium실습_복습.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Selenium 을 이용한 Youtube 크롤링\n",
    "- 워크맨 영상 제목 추출 \n",
    "- https://cafe.naver.com/bitamin123"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import time\n",
    "\n",
    "from selenium import webdriver\n",
    "\n",
    "driver=webdriver.Chrome(\"./chromedriver.exe\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [],
   "source": [
    "time.sleep(5)\n",
    "\n",
    "driver.get(\"https://youtube.com/\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {},
   "outputs": [],
   "source": [
    "time.sleep(5)\n",
    "\n",
    "word=\"워크맨\"\n",
    "\n",
    "search=driver.find_element_by_css_selector(\"div#container.style-scope.ytd-searchbox\")\n",
    "search.click()\n",
    "\n",
    "search=driver.find_element_by_css_selector(\"input#search.gsfi.ytd-searchbox\")\n",
    "search.send_keys(word)\n",
    "\n",
    "\n",
    "enter= driver.find_element_by_css_selector(\"#search-icon-legacy > yt-icon\")\n",
    "enter.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "metadata": {},
   "outputs": [],
   "source": [
    "time.sleep(3)\n",
    "\n",
    "workman=driver.find_element_by_css_selector(\"div#info.style-scope.ytd-channel-renderer\")\n",
    "workman.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 104,
   "metadata": {},
   "outputs": [],
   "source": [
    "time.sleep(3)\n",
    "\n",
    "video=driver.find_element_by_css_selector(\"#tabsContent > paper-tab:nth-child(4) > div\")\n",
    "video.click()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {},
   "outputs": [],
   "source": [
    "title_list=list()\n",
    "like_list=list()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [],
   "source": [
    "for i in range(1,6):\n",
    "    time.sleep(3)\n",
    "    \n",
    "    video=driver.find_element_by_css_selector(\"#items > ytd-grid-video-renderer:nth-child(%d)\"%i)\n",
    "    video.click()\n",
    "        \n",
    "    time.sleep(3)\n",
    "    title=driver.find_element_by_css_selector(\"#container > h1 > yt-formatted-string\")\n",
    "    title_list.append(title.text)\n",
    "\n",
    "    like=driver.find_elements_by_css_selector(\"#text.style-scope.ytd-toggle-button-renderer.style-text\")[0]\n",
    "    hate=driver.find_elements_by_css_selector(\"#text.style-scope.ytd-toggle-button-renderer.style-text\")[1]\n",
    "\n",
    "    data=like.text, hate.text\n",
    "    like_list.append(data)\n",
    "\n",
    "    driver.back()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['알바 기권 선언..?🏌️\\u200d♂️ 제주도만 갔다 하면 고생예약💦 폭발하는 땀샘에 시급도 폭발했다는 골프장 알바 리뷰 | 워크맨 ep.65',\n",
       " '[ENG] ※낚시꾼 출몰 주의※ 입만 열면 떡밥 투척?🐟 낚시는 기본ㅋ 허세는 국룰ㅋ이라는 낚시꾼들의 성지 실내 낚시터 알바 리뷰 | 워크맨 ep.64',\n",
       " '[ENG] ※馬성의 영상※ 역대급으로 넋 나간 장성규ㄷㄷ 먹여주고 씻겨주고 운동까지 다 시켜준다는 馬라맛 난이도 승마장 알바 리뷰 | 워크맨 ep.63',\n",
       " \"[ENG] 대가리 떴다 ㄷㄷ 잡것 완벽 적응한 박재범이 백종원 선생님한테 직접 전수받은 고생'맛' 제대로 보여준다는 비오는 날의 감성🎶 포장마차 알바 리뷰 | 워크맨 ep.62\",\n",
       " \"[ENG] 👟무'족'건 빵터지는 영상👟 '나이, 키' 다 필요없고 텐션🔥만 있으면 영업神 등판각ㅋㅋ 발냄새도 힙스터 스멜로 묻어버린다는 신발매장 알바 리뷰 | 워크맨 ep.61\"]"
      ]
     },
     "execution_count": 109,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "title_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('2.5만', '670'),\n",
       " ('3만', '796'),\n",
       " ('3.7만', '905'),\n",
       " ('6.8만', '1.1천'),\n",
       " ('4.1만', '1.2천')]"
      ]
     },
     "execution_count": 110,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "like_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2.5만</td>\n",
       "      <td>670</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>3만</td>\n",
       "      <td>796</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3.7만</td>\n",
       "      <td>905</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>6.8만</td>\n",
       "      <td>1.1천</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4.1만</td>\n",
       "      <td>1.2천</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      0     1\n",
       "0  2.5만   670\n",
       "1    3만   796\n",
       "2  3.7만   905\n",
       "3  6.8만  1.1천\n",
       "4  4.1만  1.2천"
      ]
     },
     "execution_count": 111,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "like_df=pd.DataFrame(like_list)\n",
    "like_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}