glm-4 is all you need .ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "736b412a",
   "metadata": {},
   "source": [
    "# glm-4 is all you need"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "68c8fa36",
   "metadata": {},
   "source": [
    "在这个notebook中，我将带你使用GLM4来优化你的RAG程序。\n",
    "1. 对于给定的知识库和你的问题（甚至可以没有问题），我们都可以使用GLM4来构建完整的问答、评估、标注、迭代过程。\n",
    "2. 你还可以使用GLM4去生成问题、去提炼你的分片段落、去改写强化你的问题、去捕捉多轮对话中的深层次意图\n",
    "\n",
    "你可以使用GLM4做到几乎全部的事情，哦，没有几乎"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "21dfe39c",
   "metadata": {},
   "source": [
    "# 1. 向量模型"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a94dc2b2",
   "metadata": {},
   "source": [
    "## 本地向量模型"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "d121b3c0",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.embeddings import HuggingFaceBgeEmbeddings\n",
    "from tqdm import tqdm_notebook as tqdm\n",
    "\n",
    "model_name = \"BAAI/bge-large-zh-v1.5\"\n",
    "# 根据你的需要去选择设备\n",
    "model_kwargs = {'device': 'cpu'}\n",
    "encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity\n",
    "model = HuggingFaceBgeEmbeddings(\n",
    "    model_name=model_name,\n",
    "    model_kwargs=model_kwargs,\n",
    "    encode_kwargs=encode_kwargs,\n",
    "    query_instruction=\"为这个句子生成表示以用于检索相关文章：\"\n",
    ")\n",
    "model.query_instruction = \"为这个句子生成表示以用于检索相关文章：\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb62257e",
   "metadata": {},
   "source": [
    "# 2. ZhipuAI调用Helper函数"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e0bce704",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 请安装2.0.1版本 `pip install zhipuai==2.0.1`\n",
    "from zhipuai import ZhipuAI\n",
    "\n",
    "\n",
    "client = ZhipuAI(api_key=\"<your api_token>\") # 填写您自己的APIKey\n",
    "\n",
    "def ask_glm4(system_prompt, prompt):\n",
    "    response = client.chat.completions.create(\n",
    "        model=\"glm-4\",  # 填写需要调用的模型名称\n",
    "        messages=[\n",
    "            {\"role\": \"system\", \"content\": system_prompt},\n",
    "            {\"role\": \"user\", \"content\": prompt}\n",
    "        ],\n",
    "        temperature=0.1,\n",
    "    )\n",
    "    \n",
    "    for k, v in json.loads(response.usage.model_dump_json()).items():\n",
    "        if k not in tokens_counter:\n",
    "            tokens_counter[k] = 0\n",
    "        tokens_counter[k] += v\n",
    "        \n",
    "    return response.choices[0].message.content\n",
    "\n",
    "\n",
    "tokens_counter = {}"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "db297643",
   "metadata": {},
   "source": [
    "# 3. 数据预览"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3b97d28d",
   "metadata": {},
   "source": [
    "## 知识文件"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "392b4c8e",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.text_splitter import RecursiveCharacterTextSplitter\n",
    "import json\n",
    "\n",
    "text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "4608bc52",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = open(\"rag-data/西游记.txt\", encoding=\"utf-8\").read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "47f7dc5c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "《》目录 第一回　灵根育孕源流出　心性修持大道生\n",
      " \n",
      "    诗曰：\n",
      " \n",
      "    混沌未分天地乱，茫茫渺渺无人见。\n",
      " \n",
      "    自从盘古破鸿蒙，开辟从兹清浊辨。\n",
      " \n",
      "    覆载群生仰至仁，发明万物皆成善。\n",
      " \n",
      "    欲知造化会元功，须看西游释厄传。\n",
      " \n",
      "    盖闻天地之数，有十二万九千六百岁为一元。将一元分为十二会，乃子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥之十二支也。每会该一万八百岁。且就一日而论：子时得阳气，而丑则鸡鸣；寅不通光，而卯则日出；辰时食后，而巳则挨排；日午天中，而未则西蹉；申时晡而日落酉；戌黄昏而人定亥。譬于大数，若到戌会之终，则天地昏蒙而万物否矣。再去五千四百岁，\n"
     ]
    }
   ],
   "source": [
    "print(data[:300])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "99a0df1c",
   "metadata": {},
   "outputs": [],
   "source": [
    "docs = text_splitter.create_documents([data])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "cfd74a56",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2137"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(docs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "f6371184",
   "metadata": {},
   "outputs": [],
   "source": [
    "from tqdm.notebook import tqdm\n",
    "\n",
    "\n",
    "def encode_with_progress_bar(docs, model, bs=256):\n",
    "    from langchain_community.vectorstores import FAISS\n",
    "    db = FAISS.from_documents(docs[:bs], embedding=model)\n",
    "    for i in tqdm(range(bs, len(docs), bs), desc=\"enocde docs...\"):\n",
    "        db.add_documents(docs[i: i + bs])\n",
    "    return db"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "57171c89",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "148f997c22bc48ac971fb38c911b0663",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "enocde docs...:   0%|          | 0/8 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "db = encode_with_progress_bar(docs, model=model)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "2db04b37",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='中有十二个字，分派起名到你乃第十辈之小徒矣。”猴王道：“那十二个字？”祖师道：“乃广、大、智、慧、真、如、性、海、颖、悟、圆、觉十二字。排到你，正当‘悟’字。与你起个法名叫做‘孙悟空’好么？”猴王笑道：“好！好！好！自今就叫做孙悟空也！”正是：鸿蒙初辟原无姓，打破顽空须悟空。'),\n",
       " Document(page_content='祖师道：“既是逐渐行来的也罢。你姓甚么？”猴王又道：“我无性。人若骂我，我也不恼；若打我，我也不嗔，只是陪个礼儿就罢了。一生无性。”祖师道：“不是这个性。你父母原来姓甚么？”猴王道：“我也无父母。”祖师道：“既无父母，想是树上生的？”猴王道：“我虽不是树生，却是石里长的。我只记得花果山上有一块仙石，其年石破，我便生也。”祖师闻言，暗喜道：“这等说，却是天地生成的。你起来走走我看。”猴王纵身跳起，拐呀拐的走了两遍。祖师笑道：“你身躯虽是鄙陋，却像个食松果的猢狲。我与你就身上取个姓氏，意思教你姓‘猢’。猢字去了个兽傍，乃是古月。古者，老也；月者，阴也。老阴不能化育，教你姓‘狲’倒好。狲字去了兽傍，乃是个子系。子者，儿男也；系者，婴细也。正合婴儿之本论。教你姓‘孙’罢。”猴王听说，满心欢喜，朝上叩头道：“好！好！好！今日方知姓也。万望师父慈悲！既然有姓，再乞赐个名字，却好呼唤。”祖师道：“我门中有十二个字，分派起名到你乃第十辈之小徒矣。”猴王道：“那十二个字？”祖师道：“乃广、大、智、慧、真、如、性、海、颖、悟、圆、觉十二字。排到你，正当‘悟’字。与你起个法名叫做‘孙悟空’好么？”猴王笑道'),\n",
       " Document(page_content='人心生一念，天地尽皆知。善恶若无报，乾坤必有私。\\n \\n    那菩萨闻得此言，满心欢喜，对大圣道：“圣经云：‘出其言善。\\n \\n    则千里之外应之；出其言不善，则千里之外适之。’你既有此心，待我到了东土大唐国寻一个取经的人来，教他救你。你可跟他做个徒弟，秉教伽持，入我佛门。再修正果，如何？”大圣声声道：“愿去！愿去！”菩萨道：“既有善果，我与你起个法名。”大圣道：“我已有名了，叫做孙悟空。”菩萨又喜道：“我前面也有二人归降，正是‘悟’字排行。你今也是‘悟’字，却与他相合，甚好，甚好。这等也不消叮嘱，我去也。”那大圣见性明心归佛教，这菩萨留情在意访神谱。'),\n",
       " Document(page_content='又因魏徵丞相梦斩泾河老龙，唐王游地府，回生阳世，开设水陆大会，超度阴魂，蒙唐王又选赐贫僧为坛主，大阐都纲。幸观世音菩萨出现，指化贫僧，说西天大雷音寺有三藏真经，可以超度亡者升天，差贫僧来取，因赐号三藏，即倚唐为姓，所以人都呼我为唐三藏。我有三个徒弟，大的个姓孙，名悟空行者，乃齐天大圣归正。”群妖闻得此名，着了一惊道：“这个齐天大圣，可是五百年前大闹天宫的？”唐僧道：“正是，正是。第二个姓猪，名悟能八戒，乃天蓬大元帅转世。第三个姓沙，名悟净和尚，乃卷帘大将临凡。”三个妖王听说，个个心惊道：“早是不曾吃他。小的们，且把唐僧将铁链锁在后面，待拿他三个徒弟来凑吃。”遂点了一群山牛精、水牛精、黄牛精，各持兵器，走出门，掌了号头，摇旗擂鼓。')]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "db.similarity_search(\"为什么取名孙悟空?\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "b520d432",
   "metadata": {},
   "outputs": [],
   "source": [
    "db.save_local(\"xiyouji_vec_store_v1\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3887cf22",
   "metadata": {},
   "source": [
    "# 4. 问答数据"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "dce1fab6",
   "metadata": {},
   "outputs": [],
   "source": [
    "qa_100 = open(\"rag-data/xiyouji_qa_100.txt\", encoding=\"utf-8\").read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "d56bd959",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['1、 石猴出生于 东胜瀛洲傲来国花果山',\n",
       " '2、 为什么取名孙悟空?因为是猢狲，取姓为孙，排行第十为悟，取名为悟空',\n",
       " '3、 孙悟空从祖师那里学会了哪些本领?长生之道，七十二变和筋斗云',\n",
       " '4、 被祖师赶走时，不许他说什么?不许他说是祖师的徒弟',\n",
       " '5、 孙悟空的兵器叫什么?有多重?叫金箍如意棒，重一万三千五百斤']"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa_100.split(\"\\n\\n\")[:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "0c73a612",
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "qa_lines = re.split(\"\\d+\", qa_100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "8a9d338f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['',\n",
       " '、 石猴出生于 东胜瀛洲傲来国花果山\\n\\n',\n",
       " '、 为什么取名孙悟空?因为是猢狲，取姓为孙，排行第十为悟，取名为悟空\\n\\n',\n",
       " '、 孙悟空从祖师那里学会了哪些本领?长生之道，七十二变和筋斗云\\n\\n',\n",
       " '、 被祖师赶走时，不许他说什么?不许他说是祖师的徒弟\\n\\n',\n",
       " '、 孙悟空的兵器叫什么?有多重?叫金箍如意棒，重一万三千五百斤\\n\\n',\n",
       " '、 这兵器原有什么作用?是大禹治水是定江海深浅的定子\\n\\n',\n",
       " '、 弼马温是什么工作?养马\\n\\n',\n",
       " '、 孙悟空在大闹天宫，做了哪些事?偷吃蟠桃，偷吃御酒，偷吃老君仙丹\\n\\n',\n",
       " '、 为什么大闹天宫?因为蟠桃会没有请他\\n\\n']"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa_lines[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "6ac22463",
   "metadata": {},
   "outputs": [],
   "source": [
    "def is_chinese_char(char):\n",
    "    # 检查字符是否在常见的汉字Unicode范围内\n",
    "    return '\\u4E00' <= char <= '\\u9FFF' or \\\n",
    "           '\\u3400' <= char <= '\\u4DBF' or \\\n",
    "           '\\u20000' <= char <= '\\u2A6DF' or \\\n",
    "           '\\u2A700' <= char <= '\\u2B73F' or \\\n",
    "           '\\u2B740' <= char <= '\\u2B81F' or \\\n",
    "           '\\u2B820' <= char <= '\\u2CEAF' or \\\n",
    "           '\\u2F800' <= char <= '\\u2FA1F'\n",
    "\n",
    "def clean_text(text):\n",
    "    for i in range(len(text)):\n",
    "        if is_chinese_char(text[i]):\n",
    "            return text[i:].strip()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "76cdbb1f",
   "metadata": {},
   "outputs": [],
   "source": [
    "qa_lines = [clean_text(text) for text in qa_lines if text]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "bbc8b48b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['石猴出生于 东胜瀛洲傲来国花果山',\n",
       " '为什么取名孙悟空?因为是猢狲，取姓为孙，排行第十为悟，取名为悟空',\n",
       " '孙悟空从祖师那里学会了哪些本领?长生之道，七十二变和筋斗云',\n",
       " '被祖师赶走时，不许他说什么?不许他说是祖师的徒弟',\n",
       " '孙悟空的兵器叫什么?有多重?叫金箍如意棒，重一万三千五百斤',\n",
       " '这兵器原有什么作用?是大禹治水是定江海深浅的定子',\n",
       " '弼马温是什么工作?养马',\n",
       " '孙悟空在大闹天宫，做了哪些事?偷吃蟠桃，偷吃御酒，偷吃老君仙丹',\n",
       " '为什么大闹天宫?因为蟠桃会没有请他',\n",
       " '悟空在与二郎神大战时，被谁的兵器击中而被抓?太上老君的金刚罩击中天灵']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa_lines[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7b78b3de",
   "metadata": {},
   "source": [
    "# 5. 使用GLM-4清洗数据-提取问题和答案"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "aeb0e3b0",
   "metadata": {},
   "outputs": [],
   "source": [
    "def extract_qa(text):\n",
    "    system_prompt = \"\"\"你是一个专业的知识问答助手，你的任务是从用户输入的文本中找到问题和答案，\\\n",
    "    最后以json格式输出，输出格式为{\"query\": #问题, \"answer\": #答案}，不要包含其他输出和标注\"\"\"\n",
    "    qa_json = ask_glm4(system_prompt=system_prompt, prompt=text)\n",
    "    \n",
    "    start = qa_json.find(\"{\")\n",
    "    end = qa_json.find(\"}\")\n",
    "    \n",
    "    try:\n",
    "        return json.loads(qa_json[start: end + 1])\n",
    "    \n",
    "    except Exception as e:\n",
    "        print(e, qa_json)\n",
    "        return {}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "d6dc8b83",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3cc3c55403bd44c1be81096df93c27b0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "extract qa:   0%|          | 0/100 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "qa_data = [extract_qa(line) for line in tqdm(qa_lines, desc=\"extract qa\")]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb4a7ae3",
   "metadata": {},
   "source": [
    "## 整理数据使用的token"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "220fcbdd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'prompt_tokens': 7964, 'completion_tokens': 4034, 'total_tokens': 11998}"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens_counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "0e9c561f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'query': '石猴出生在哪里?', 'answer': '东胜瀛洲傲来国花果山'},\n",
       " {'query': '为什么取名孙悟空?', 'answer': '因为是猢狲，取姓为孙，排行第十为悟，取名为悟空'},\n",
       " {'query': '孙悟空从祖师那里学会了哪些本领?', 'answer': '长生之道，七十二变和筋斗云'},\n",
       " {'query': '被祖师赶走时，不许他说什么?', 'answer': '不许他说是祖师的徒弟'},\n",
       " {'query': '孙悟空的兵器叫什么?有多重?', 'answer': '叫金箍如意棒，重一万三千五百斤'},\n",
       " {'query': '这兵器原有什么作用?是大禹治水是定江海深浅的定子',\n",
       "  'answer': '这个兵器指的是传说中的定海神针，据说是大禹治水时用来定江海深浅的工具。'},\n",
       " {'query': '弼马温是什么工作?', 'answer': '养马'},\n",
       " {'query': '孙悟空在大闹天宫，做了哪些事?', 'answer': '偷吃蟠桃，偷吃御酒，偷吃老君仙丹'},\n",
       " {'query': '为什么大闹天宫?', 'answer': '因为蟠桃会没有请他'},\n",
       " {'query': '悟空在与二郎神大战时，被谁的兵器击中而被抓?', 'answer': '太上老君的金刚罩击中天灵'}]"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa_data[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ca15b372",
   "metadata": {},
   "source": [
    "# 6. 向量检索结果，RAG+GLM4回答问题"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "3bae8412",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='正说处，后面闪过龙婆、龙女道：“大王，观看此圣，决非小可。我们这海藏中，那一块天河底的神珍铁，这几日霞光艳艳，瑞气腾腾，敢莫是该出现，遇此圣也？”龙王道：“那是大禹治水之时，定江海浅深的一个定子。是一块神铁，能中何用？”龙婆道：“莫管他用不用，且送与他，凭他怎么改造，送出宫门便了。”老龙王依言，尽向悟空说了。悟空道：“拿出来我看。”龙王摇手道：“扛不动！抬不动！须上仙亲去看看。”悟空道：“在何处？你引我去。”龙王果引导至海藏中间，忽见金光万道。龙王指定道：“那放光的便是。”悟空撩衣上前，摸了一把，乃是一根铁柱子，约有斗来粗，二丈有馀长。他尽力两手挝过道：“忒粗忒长些！再短细些方可用。”说毕，那宝贝就短了几尺，细了一围。悟空又颠一颠道：“再细些更好！”那宝贝真个又细了几分。悟空十分欢喜，拿出海藏看时，原来两头是两个金箍，中间乃一段乌铁；紧挨箍有镌成的一行字，唤做“如意金箍棒”，重一万三千五百斤。心中暗喜道：“想必这宝贝如人意！”一边走，一边心思口念，手颠着道：“再短细些更妙！”拿出外面，只有二丈长短，碗口粗细。'),\n",
       " Document(page_content='有。”捋起衣袖，左膊上，取下一个圈子，说道：“这件兵器，乃锟钢抟炼的，被我将还丹点成，养就一身灵气，善能变化，水火不侵，又能套诸物；一名‘金钢琢’，又名‘金钢套’。当年过函关，化胡为佛，甚是亏他。早晚最可防身。等我丢下去打他一下。”'),\n",
       " Document(page_content='美猴王正喜间，忽对众说道：“汝等弓弩熟谙，兵器精通，奈我这口刀着实榔槺，不遂我意，奈何？”四老猴上前启奏道：“大王乃是仙圣，凡兵是不堪用；但不知大王水里可能去得？”悟空道：“我自闻道之后，有七十二般地煞变化之功；筋斗云有莫大的神通；善能隐身遁身，起法摄法；上天有路，入地有门；步日月无影，入金石无碍；水不能溺，火不能焚。那些儿去不得？”四猴道：“大王既有此神通，我们这铁板桥下，水通东海龙宫。大王若肯下去，寻着老龙王，问他要件甚么兵器，却不趁心？”悟空闻言甚喜道：“等我去来。”'),\n",
       " Document(page_content='“我的钯也没多重，只有一藏之数，连柄五千零四十八斤。”三王子问沙僧道：“师父宝杖多重？”沙僧笑道：“也是五千零四十八斤。”大王子求行者的金箍棒看。行者去耳朵里取出一个针儿来，迎风幌一幌，就有碗来粗细，直直的竖立面前。那王父子都皆悚惧，众官员个个心惊。三个小王子礼拜道：“猪师、沙师之兵，俱随身带在衣下，即可取之。孙师为何自耳中取出？见风即长，何也？”行者笑道：“你不知我这棒不是凡间等闲可有者。这棒是：鸿蒙初判陶镕铁，大禹神人亲所设。湖海江河浅共深，曾将此棒知之切。开山治水太平时，流落东洋镇海阙。日久年深放彩霞，能消能长能光洁。老孙有分取将来，变化无方随口诀。要大弥于宇宙间，要小却似针儿节。棒名如意号金箍，天上人间称一绝。重该一万三千五百斤，或粗或细能生灭。也曾助我闹天宫，也曾随我攻地阙。伏虎降龙处处通，炼魔荡怪方方彻。举头一指太阳昏，天地鬼神皆胆怯。混沌仙传到至今，原来不是凡间铁。”那王子听言，个个顶礼不尽。三个向前重重拜礼，虔心求授，行者道：“你三人不知学那般武艺。”王子道：')]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "db.similarity_search(qa_data[5][\"query\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "78a9aba5",
   "metadata": {},
   "source": [
    "## 定义好你的解决函数，写好prompt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "46dacd48",
   "metadata": {},
   "outputs": [],
   "source": [
    "def llm_rag_answer(query, db, k=3, display_knowledge=False, return_knowledge=False):\n",
    "    system_prompt = \"\"\"你是一个阅读理解专家，你需要通过阅读给出的知识片段来回答问题，\\\n",
    "    不要对知识片段进行分析和取证，仅仅回答问题，如果没有在知识中找到答案，则回答没有找到答案，不要输出其他无关内容。\"\"\"\n",
    "    search_result = db.similarity_search(query, k=10)\n",
    "    knowledge_str = \"\\n\".join([f\"{i + 1}. {klg.page_content}\" for i, klg in enumerate(search_result[:k])])\n",
    "    prompt = f\"\"\"\n",
    "    【知识】{knowledge_str}\n",
    "    【问题】{query}\n",
    "    【回答】\n",
    "    \"\"\"\n",
    "    if display_knowledge:\n",
    "        print(knowledge_str)\n",
    "    rsp = ask_glm4(system_prompt=system_prompt, prompt=prompt)\n",
    "    if return_knowledge:\n",
    "        return search_result, rsp\n",
    "    return rsp\n",
    "\n",
    "def llm_klg_answer(query, klg, display_knowledge=False):\n",
    "    system_prompt = \"\"\"你是一个阅读理解专家，你需要通过阅读给出的知识片段来回答问题，\\\n",
    "    不要对知识片段进行分析和取证，仅仅回答问题，如果没有在知识中找到答案，则回答没有找到答案，不要输出其他无关内容。\"\"\"\n",
    "    prompt = f\"\"\"\n",
    "    【知识】{klg}\n",
    "    【问题】{query}\n",
    "    【回答】\n",
    "    \"\"\"\n",
    "    if display_knowledge:\n",
    "        print(klg)\n",
    "    rsp = ask_glm4(system_prompt=system_prompt, prompt=prompt)\n",
    "    return rsp"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "861c81bc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "【query】 is 孙悟空被抓后被放入炼丹炉，练就了什么本领?\n",
      "--------------------------------------------------\n",
      "1. 那老君到兜率宫，将大圣解去绳索，放了穿琵琶骨之器，推入八卦炉中，命看炉的道人，架火的童子，将火煽起煅炼。原来那炉是乾、坎、艮、震、巽、离、坤、兑八卦。他即将身钻在“巽宫”位下。巽乃风也，有风则无火。只是风搅得烟来，把一双眼熏红了，弄做个老害眼病，故唤作“火眼金睛”。\n",
      " \n",
      "    真个光阴迅速，不觉七七四十九日，老君的火候俱全。忽一日，开炉取丹，那大圣双手侮着眼，正自搓揉流涕，只听得炉头声响。猛睁眼看见光明，他就忍不住，将身一纵，跳出丹炉，忽喇的一声，蹬倒八卦炉，往外就走。慌得那架火、看炉，与丁甲一班人来扯，被他一个个都放倒，好似癫痫的白额虎，风狂的独角龙。老君赶上抓一把，被他一捽，捽了个倒栽葱，脱身走了。即去耳中掣出如意棒，迎风幌一幌，碗来粗细，依然拿在手中，不分好歹，却又大乱天宫，打得那九曜星闭门闭户，四天王无影无形。好猴精！有诗为证。诗曰：\n",
      " \n",
      "    混元体正合先天，万劫千番只自然。渺渺无为浑太乙，如如不动号初玄。\n",
      " \n",
      "    炉中久炼非铅汞，物外长生是本仙。变化无穷还变化，三皈五戒总休言。\n",
      " \n",
      "    又诗：\n",
      "2. 丹田，穿九窍，骨肉消疏，其身自解。所以都要躲过。”悟空闻说，毛骨悚然，叩头礼拜道：“万老爷垂悯，传与躲避三灾之法，到底不敢忘恩。”祖师道：“此亦无难，只是你比他人不同，故传不得。”悟空道：“我也头圆顶天，足方履地，一般有九窍四肢，五脏六腑，何以比人不同？”祖师道：“你虽然像人，却比人少腮。”原来那猴子孤拐面，凹脸尖嘴。悟空伸手一摸，笑道：“师父没成算！我虽少腮，却比人多这个素袋，亦可准折过也。”祖师说：“也罢，你要学那一般？有一般天罡数，该三十六般变化，有一般地煞数，该七十二般变化。”悟空道：“弟子愿多里捞摸，学一个地煞变化罢。”祖师道：“既如此，上前来，传与你口诀。”遂附耳低言，不知说了些甚么妙法。这猴王也是一窍通时百窍通，当时习了口诀，自修自炼，将七十二般变化，都学成了。\n",
      "3. “显密圆通真妙诀，惜修生命无他说。\n",
      " \n",
      "    都来总是精气神，谨固牢藏休漏泄。\n",
      " \n",
      "    休漏泄，体中藏，汝受吾传道自昌。\n",
      " \n",
      "    口诀记来多有益，屏除邪欲得清凉。\n",
      " \n",
      "    得清凉，光皎洁，好向丹台赏明月。\n",
      " \n",
      "    月藏玉兔日藏乌，自有龟蛇相盘结。\n",
      " \n",
      "    相盘结，性命坚，却能火里种金莲。\n",
      " \n",
      "    攒簇五行颠倒用，功完随作佛和仙。”\n",
      " \n",
      "    此时说破根源，悟空心灵福至，切切记了口诀，对祖师拜谢深恩，即出后门观看。但见东方天色微舒白，西路金光大显明。依旧路，转到前门，轻轻的推开进去，坐在原寝之处，故将床铺摇响道：“天光了！天光了！起耶！”那大众还正睡哩，不知悟空已得了好事。当日起来打混，暗暗维持，子前午后，自己调息。\n",
      "【rag answer】 is孙悟空在炼丹炉中被炼就了“火眼金睛”。\n",
      "CPU times: user 22.7 ms, sys: 6.82 ms, total: 29.6 ms\n",
      "Wall time: 1.52 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "\n",
    "print(f\"【query】 is {qa_data[10]['query']}\")\n",
    "print(\"-\" * 50)\n",
    "print(f\"【rag answer】 is\" + llm_rag_answer(qa_data[10][\"query\"], db=db, k=3, display_knowledge=True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "41e604b9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2f63d1c47c82469c942b89c0a2a76db4",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "rag_answer:   0%|          | 0/100 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "for qa in tqdm(qa_data, desc=\"rag_answer\"):\n",
    "    qa[\"knowledge\"], qa[\"rag_answer\"] = llm_rag_answer(qa[\"query\"], db=db, return_knowledge=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a0df742e",
   "metadata": {},
   "source": [
    "## RAG回答完后tokens的cost"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "fc253f57",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'prompt_tokens': 104461, 'completion_tokens': 7980, 'total_tokens': 112441}"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens_counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "ee702a98",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'query': '石猴出生在哪里?',\n",
       " 'answer': '东胜瀛洲傲来国花果山',\n",
       " 'knowledge': [Document(page_content='刮风有处躲，下雨好存身。霜雪全无惧，雷声永不闻。\\n \\n    烟霞常照耀，祥瑞每蒸熏。松竹年年秀，奇花日日新。”\\n \\n    众猴听得，个个欢喜，都道：“你还先走，带我们进去，进去！”石猴却又瞑目蹲身，往里一跳，叫道：“都随我进来！进来！”那些猴有胆大的，都跳进去了；胆小的，一个个伸头缩颈，抓耳挠腮，大声叫喊，缠一会，也都进去了。跳过桥头，一个个抢盆夺碗，占灶争床，搬过来，移过去，正是猴性顽劣，再无一个宁时，只搬得力倦神疲方止。石猿端坐上面道：“列位呵，‘人而无信，不知其可。’你们才说有本事进得来，出得去，不伤身体者，就拜他为王。我如今进来又出去，出去又进来，寻了这一个洞天与列位安眠稳睡，各享成家之福，何不拜我为王？”众猴听说，即拱伏无违。一个个序齿排班，朝上礼拜，都称“千岁大王”。自此，石猴高登王位，将“石”字儿隐了，遂称美猴王。有诗为证。诗曰：\\n \\n    三阳交泰产群生，仙石胞含日月精。\\n \\n    借卵化猴完大道，假他名姓配丹成。\\n \\n    内观不识因无相，外合明知作有形。'),\n",
       "  Document(page_content='众家僮道：“这叫的必是那山脚下石匣中老猿。”太保道：“是他！是他！”三藏问：“是甚么老猿？”太保道：“这山旧名五行山，因我大唐王征西定国，改名两界山。先年间曾闻得老人家说：\\n \\n    ‘王莽篡汉之时，天降此山，下压着一个神猴，不怕寒暑，不吃饮食，自有土神监押，教他饥餐铁丸，渴饮铜汁。自昔到今，冻饿不死。’这叫必定是他。长老莫怕，我们下山去看来。”三藏只得依从，牵马下山。行不数里，只见那石匣之间，果有一猴，露着头，伸着手，乱招手道：“师父，你怎么此时才来？来得好！来得好！救我出来，我保你上西天去也！”这长老近前细看，你道他是怎生模样：尖嘴缩腮，金睛火眼。头上堆苔藓，耳中生薜萝。鬓边少发多青草，颔下无须有绿莎。眉间土，鼻凹泥，十分狼狈，指头粗，手掌厚，尘垢余多。还喜得眼睛转动，喉舌声和。\\n \\n    语言虽利便，身体莫能那。正是五百年前孙大圣，今朝难满脱天罗。'),\n",
       "  Document(page_content='聚集仙卿，见有金光焰焰，即命千里眼、顺风耳开南天门观看。二将果奉旨出门外，看的真，听的明。须臾回报道：“臣奉旨观听金光之处，乃东胜神洲海东傲来小国之界，有一座花果山，山上有一仙石，石产一卵，见风化一石猴，在那里拜四方，眼运金光，射冲斗府。如今服饵水食，金光将潜息矣。”玉帝垂赐恩慈曰：“下方之物，乃天地精华所生，不足为异。”'),\n",
       "  Document(page_content='大天尊宣众文武仙卿，问曰：“这妖猴是几年生育，何代出生，却就这般有道？”一言未已，班中闪出千里眼、顺风耳道：“这猴乃三百年前天产石猴。当时不以为然，不知这几年在何方修炼成仙，降龙伏虎，强销死籍也。”玉帝道：“那路神将下界收伏？”言未已，班中闪出太白长庚星，俯首启奏道：“上圣三界中，凡有九窍者，皆可修仙。奈此猴乃天地育成之体，日月孕就之身，他也顶天履地，服露餐霞；今既修成仙道，有降龙伏虎之能，与人何以异哉？臣启陛下，可念生化之慈恩，降一道招安圣旨，把他宣来上届，授他一个大小官职，与他籍名在箓，拘束此间，若受天命，后再升赏；若违天命，就此擒拿。一则不动众劳师，二则收仙有道也。”玉帝闻言甚喜，道：“依卿所奏。”即着文曲星官修诏，着太白金星招安。'),\n",
       "  Document(page_content='生出处？”行者道：“我这铃儿是：道祖烧丹兜率宫，金铃抟炼在炉中。二三如六循环宝，我的雌来你的雄。”妖王道：“铃儿乃金丹之宝，又不是飞禽走兽，如何辨得雌雄？但只是摇出宝来，就是好的！”行者道：“口说无凭，做出便见，且让你先摇。”那妖王真个将头一个铃儿幌了三幌，不见火出；第二个幌了三幌，不见烟出；第三个幌了三幌，也不见沙出。妖王慌了手脚道：“怪哉！怪哉！世情变了！这铃儿想是惧内，雄见了雌，所以不出来了。”行者道：“贤甥，住了手，等我也摇摇你看。”好猴子，一把攥了三个铃儿，一齐摇起。你看那红火、青烟、黄沙，一齐滚出，骨都都燎树烧山！大圣口里又念个咒语，望巽地上叫：“风来！”真个是风催火势，火挟风威，红焰焰，黑沉沉，满天烟火，遍地黄沙！把那赛太岁唬得魄散魂飞，走头无路，在那火当中，怎逃性命！'),\n",
       "  Document(page_content='几树青松常带雨，浑然相个人家。\\n \\n    看罢多时，跳过桥中间，左右观看，只见正当中有一石碣。碣上有一行楷书大字，镌着“花果山福地，水帘洞洞天。”石猴喜不自胜，急抽身往外便走，复瞑目蹲身，跳出水外，打了两个呵呵道：“大造化！大造化！”众猴把他围住，问道：“里面怎么样？水有多深？”石猴道：“没水！没水！原来是一座铁板桥。桥那边是一座天造地设的家当。”众猴道：“怎见得是个家当？”石猴笑道：“这股水乃是桥下冲贯石桥，倒挂下来遮闭门户的。桥边有花有树，乃是一座石房。房内有石窝、石灶、石碗、石盆、石床、石凳。中间一块石碣上，镌着‘花果山福地，水帘洞洞天。’真个是我们安身之处。里面且是宽阔，容得千百口老小。我们都进去住也，省得受老天之气。这里边：\\n \\n    刮风有处躲，下雨好存身。霜雪全无惧，雷声永不闻。\\n \\n    烟霞常照耀，祥瑞每蒸熏。松竹年年秀，奇花日日新。”'),\n",
       "  Document(page_content='大圣道：“他怎么今日不来？”马流道：“看待来耶。”大圣吩咐：\\n \\n    “小的们，都出去把那山上烧酥了的碎石头与我搬将起来堆着。或二三十个一推，或五六十个一堆，堆着我有用处。”那些小猴都是一窝峰，一个个跳天搠地，乱搬了许多堆集。大圣看了，教：“小的们，都往洞内藏躲，让老孙作法。”'),\n",
       "  Document(page_content='“这个亡人，却打搅得我狠！想必这里是他的窠巢，生蛋布雏，怕我占了，故此这般打搅。罢！罢！罢！不睡他了！”搴着钯，径出红草坡，找路又走。可不喜坏了孙行者，笑倒个美猴王，行者道：“这夯货大睁着两个眼，连自家人也认不得！”好大圣，摇身又一变，还变做个蟭蟟虫，钉在他耳朵后面，不离他身上。那呆子入深山，又行有四五里，只见山凹中有桌面大的四四方方三块青石头。呆子放下钯，对石头唱个大喏。行者暗笑道：“这呆子！石头又不是人，又不会说话，又不会还礼的，唱他喏怎的，可不是个瞎帐？”原来那呆子把石头当着唐僧沙僧行者三人，朝着他演习哩。他道：“我这回去，见了师父，若问有妖怪，就说有妖怪。他问甚么山，我若说是泥捏的，土做的，锡打的，铜铸的，面蒸的，纸糊的，笔画的，他们见说我呆哩，若讲这话，一发说呆了，我只说是石头山。他问甚么洞，也只说是石头洞。\\n \\n    他问甚么门，却说是钉钉的铁叶门。他问里边有多远，只说入内有三层。十分再搜寻，问门上钉子多少，只说老猪心忙记不真。此间编造停当，哄那弼马温去！”'),\n",
       "  Document(page_content='三阳交泰产群生，仙石胞含日月精。\\n \\n    借卵化猴完大道，假他名姓配丹成。\\n \\n    内观不识因无相，外合明知作有形。\\n \\n    历代人人皆属此，称王称圣任纵横。美猴王领一群猿猴、猕猴、马猴等，分派了君臣佐使，朝游花果山，暮宿水帘洞，合契同情，不入飞鸟之丛，不从走兽之类，独自为王，不胜欢乐。是以：\\n \\n    春采百花为饮食，夏寻诸果作生涯。\\n \\n    秋收芋栗延时节，冬觅黄精度岁华。\\n \\n    美猴王享乐天真，何期有三五百载。一日，与群猴喜宴之间，忽然忧恼，堕下泪来。众猴慌忙罗拜道：“大王何为烦恼？”猴王道：“我虽在欢喜之时，却有一点儿远虑，故此烦恼。”众猴又笑道：“大王好不知足！我等日日欢会，在仙山福地，古洞神州，不伏麒麟辖，不伏凤凰管，又不伏人间王位所拘束，自由自在，乃无量之福，为何远虑而忧也？”猴王道：“今日虽不归人王法律，不惧禽兽威服，将来年老血衰，暗中有阎王老子管着，一旦身亡，可不枉生世界之中，不得久住天人之内？”众猴闻此言，一个个掩面悲啼，俱以无常为虑。'),\n",
       "  Document(page_content='猴王道：“据你说起来，乃是一个行孝的君子，向后必有好处。但望你指与我那神仙住处，却好拜访去也。”樵夫道：“不远，不远。此山叫做灵台方寸山。山中有座斜月三星洞。那洞中有一个神仙，称名须菩提祖师。那祖师出去的徒弟，也不计其数，见今还有三四十人从他修行。你顺那条小路儿，向南行七八里远近，即是他家了。”猴王用手扯住樵夫道：“老兄，你便同我去去。若还得了好处，决不忘你指引之恩。”樵夫道：“你这汉子，甚不通变。我方才这般与你说了，你还不省？假若我与你去了，却不误了我的生意？老母何人奉养？我要斫柴，你自去，自去。”\\n \\n    猴王听说，只得相辞。出深林，找上路径，过一山坡，约有七八里远，果然望见一座洞府。挺身观看，真好去处！但见：')],\n",
       " 'rag_answer': '石猴出生在东胜神洲海东傲来小国的花果山上。'}"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa_data[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "06fc3109",
   "metadata": {},
   "source": [
    "# 7. 通过GLM-4来评估RAG问答的效果"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "c3e35f40",
   "metadata": {},
   "outputs": [],
   "source": [
    "def eval_rag_answer(ref_ans, gen_ans):\n",
    "    system_prompt = \"\"\"你是一个评估专家，你需要通过参考答案和生成答案来给出打分，\\\n",
    "    打分可以是1或者0，1表示生成答案和参考答案描述的基本一致，0表示生成答案与参考答案无关。仅仅输出打分，不要输出其他内容\"\"\"\n",
    "    prompt = f\"\"\"\n",
    "    【参考答案】{ref_ans}\n",
    "    【生成答案】{gen_ans}\n",
    "    【打分】\n",
    "    \"\"\"\n",
    "    return ask_glm4(system_prompt=system_prompt, prompt=prompt)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "33aff402",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "【query】唐僧第一次赶走孙悟空是为什么?\n",
      "\n",
      "【answer】因为他打死了六个强盗\n",
      "\n",
      "【rag answer】唐僧第一次赶走孙悟空的原因是孙悟空在遇到妖精时，没有经过唐僧同意就打死了妖精，唐僧认为孙悟空过于凶顽，不适宜做他的徒弟，因此要赶走他。但是这个情节并没有在给出的知识片段中直接描述，所以根据知识片段内容，“没有找到答案”。\n",
      "\n",
      "【knowledge】却说那孙大圣抬头再看，只见那红云又散，复请师父上马前行。三藏道：“你说妖精又来，如何又请走路？”行者道：“这还是个过路的妖精，不敢惹我们。”长老又怀怒道：“这个泼猴，十分弄我！正当有妖魔处，却说无事；似这般清平之所，却又恐吓我，不时的嚷道有甚妖精。虚多实少，不管轻重，将我搊着脚，捽下马来，如今却解说甚么过路的妖精。假若跌伤了我，却也过意不去！这等，这等！”行者道：“师父莫怪，若是跌伤了你的手足，却还好医治；若是被妖精捞了去，却何处跟寻？”三藏大怒，哏哏的，要念《紧箍儿咒》，却是沙僧苦劝，只得上马又行。\n",
      "次早，悟空起来，请师父走路。三藏着衣，教行者收拾铺盖行李。正欲告辞，只见那老儿，早具脸汤，又具斋饭。斋罢，方才起身。三藏上马，行者引路，不觉饥餐渴饮，夜宿晓行，又值初冬时候，但见那：霜凋红叶千林瘦，岭上几株松柏秀。未开梅蕊散香幽，暖短昼，小春候，菊残荷尽山茶茂。寒桥古树争枝斗，曲涧涓涓泉水溜。淡云欲雪满天浮，朔风骤，牵衣袖，向晚寒威人怎受？师徒们正走多时，忽见路旁唿哨一声，闯出六个人来，各执长枪短剑，利刃强弓，大咤一声道：“那和尚！那里走！赶早留下马匹，放下行李，饶你性命过去！”唬得那三藏魂飞魄散，跌下马来，不能言语。行者用手扶起道：“师父放心，没些儿事，这都是送衣服送盘缠与我们的。”三藏道：“悟空，你想有些耳闭？他说教我们留马匹、行李，你倒问他要甚么衣服、盘缠？”行者道：“你管守着衣服、行李、马匹，待老孙与他争持一场，看是何如。”三藏道：“好手不敌双拳，双拳不如四手。他那里六条大汉，你这般小小的一个人儿，怎么敢与他争持？”\n",
      " \n",
      "    行者的胆量原大，那容分说，走上前来，叉手当胸，对那六个人施礼道：“列位有甚么缘故，阻我贫僧的去路？”那人道：\n",
      "“既如此，不敢久留，请大圣早发慈悲，莫要疏久了你师父。”行者见他催促请行，急耸身，出离海藏，驾着云，别了龙王。正走，却遇着南海菩萨。菩萨道：“孙悟空，你怎么不受教诲，不保唐僧，来此处何干？”慌得个行者在云端里施礼道：“向蒙菩萨善言，果有唐朝僧到，揭了压帖，救了我命，跟他做了徒弟。他却怪我凶顽，我才闪了他一闪，如今就去保他也。”菩萨道：“赶早去，莫错过了念头。”言毕各回。\n",
      " \n",
      "    这行者，须臾间看见唐僧在路旁闷坐。他上前道：“师父！\n",
      " \n",
      "    怎么不走路？还在此做甚？”三藏抬头道：“你往那里去来？教我行又不敢行，动又不敢动，只管在此等你。”行者道：“我往东洋大海老龙王家讨茶吃吃。”三藏道：“徒弟啊，出家人不要说谎。你离了我，没多一个时辰，就说到龙王家吃茶？”行者笑道：\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'0'"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "idx = 15\n",
    "\n",
    "print(f\"【query】{qa_data[idx]['query']}\")\n",
    "print()\n",
    "print(f\"【answer】{qa_data[idx]['answer']}\")\n",
    "print()\n",
    "print(f\"【rag answer】{qa_data[idx]['rag_answer']}\")\n",
    "print()\n",
    "knowledge_str = '\\n'.join([d.page_content for d in qa_data[idx]['knowledge'][:3]])\n",
    "print(f\"【knowledge】{knowledge_str}\")\n",
    "eval_rag_answer(qa_data[idx][\"answer\"], qa_data[idx][\"rag_answer\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "d795b49c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f5db1f1f08064acaa129f54d98333935",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "eval_rag_answer:   0%|          | 0/100 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "for qa in tqdm(qa_data, desc=\"eval_rag_answer\"):\n",
    "    qa[\"eval_label\"] = eval_rag_answer(qa[\"answer\"], qa[\"rag_answer\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "8165acf5",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "37"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sum([int(i[\"eval_label\"]) for i in qa_data])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2e4a3cc5",
   "metadata": {},
   "source": [
    "## 用GLM4评估完RAG答案之后的token花销"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "8f56b218",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'prompt_tokens': 117553, 'completion_tokens': 8283, 'total_tokens': 125836}"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens_counter"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3acc33ad",
   "metadata": {},
   "source": [
    "# 8. 使用GLM-4标注你的检索结果"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "0d55323a",
   "metadata": {},
   "outputs": [],
   "source": [
    "def eval_search_result(query, klg, display=False):\n",
    "    if display:\n",
    "        print(query)\n",
    "        print(klg)\n",
    "    system_prompt = \"\"\"你是一位专业的问答专家，请判断提供的西游记片段是否能回答问题，\\\n",
    "    能回答返回1，不能回答返回0，仅仅返回0或者1，不要返回其他内容\"\"\"\n",
    "    prompt = f\"【西游记片段】{klg}【问题】{query}\"\n",
    "    return int(ask_glm4(system_prompt=system_prompt, prompt=prompt)[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "4c773e8f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "悟空离开唐僧后去了哪里?\n",
      "三藏心诚神力拥，悟空法显怪魔衰。千年稀柿今朝净，七绝胡同此日开。六欲尘情皆剪绝，平安无阻拜莲台。这一去不知还有多少路程，还遇甚么妖怪，且听下回分解。\n",
      " \n",
      " \n",
      " \n",
      "《》目录 第六十八回　朱紫国唐僧论前世　孙行者施为三折肱\n",
      " \n",
      "    善正万缘收，名誉传扬四部洲。智慧光明登彼岸，飕飕，叆叆云生天际头。诸佛共相酬，永住瑶台万万秋。打破人间蝴蝶梦，休休，涤净尘氛不惹愁。话表三藏师徒，洗污秽之胡同，上逍遥之道路，光阴迅速，又值炎天，正是：海榴舒锦弹，荷叶绽青盘。两路绿杨藏乳燕，行人避暑扇摇绔。进前行处，忽见有一城池相近。三藏勒马叫：“徒弟们，你看那是甚么去处？”行者道：“师父原来不识字，亏你怎么领唐王旨意离朝也！”三藏道：\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "eval_search_result(qa_data[56][\"query\"], qa_data[56][\"knowledge\"][3].page_content, display=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "91712c3f",
   "metadata": {},
   "source": [
    "## 大概要10分钟"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "0b512da9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b33832a0fb5a4118930dbc973cfa03e7",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "eval_search_result:   0%|          | 0/100 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "all_search_data = []\n",
    "\n",
    "label_rank_stat = {}\n",
    "all_valid_queries = 0\n",
    "\n",
    "for qa in tqdm(qa_data, desc=\"eval_search_result\"):\n",
    "    is_valid = False\n",
    "    labeled_docs = []\n",
    "    for i, search_doc in enumerate(qa[\"knowledge\"]):\n",
    "        label = eval_search_result(qa[\"query\"], search_doc.page_content)\n",
    "        labeled_docs.append({\"doc\": search_doc.page_content, \"label\": label})\n",
    "        if i not in label_rank_stat:\n",
    "            label_rank_stat[i] = 0\n",
    "        label_rank_stat[i] += label\n",
    "        \n",
    "        if label:\n",
    "            is_valid = True\n",
    "    all_search_data.append({\"query\": qa[\"query\"], \"docs\": labeled_docs})\n",
    "    all_valid_queries += is_valid"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "efb8e76f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'prompt_tokens': 468025, 'completion_tokens': 11283, 'total_tokens': 479308}"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens_counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "32bfdcf4",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: 55, 1: 36, 2: 38, 3: 33, 4: 34, 5: 29, 6: 22, 7: 31, 8: 25, 9: 20}"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_rank_stat"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "b412fe8a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "88"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_valid_queries"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c88b7094",
   "metadata": {},
   "source": [
    "## 看下标注情况"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "89d504cf",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\n",
      "  \"query\": \"弼马温是什么工作?\",\n",
      "  \"valid_doc\": \"正在欢饮之间，猴王忽停杯问曰：“我这‘弼马温’是个甚么官衔？”众曰：“官名就是此了。”又问：“此官是个几品？”众道：“没有品从。”猴王道：“没品，想是大之极也。”众道：“不大，不大，只唤做‘未入流’。”猴王道：“怎么叫做‘未入流’？”众道：“末等。这样官儿，最低最小，只可与他看马。似堂尊到任之后，这等殷勤，喂得马肥，只落得道声‘好’字，如稍有些尪羸，还要见责；再十分伤损，还要罚赎问罪。”猴王闻此，不觉心头火起，咬牙大怒道：“这般藐视老孙！老孙在花果山，称王称祖，怎么哄我来替他养马？养马者，乃后生小辈，下贱之役，岂是待我的？不做他！不做他！我将去也！”忽喇的一声，把公案推倒，耳中取出宝贝，幌一幌，碗来粗细，一路解数，直打出御马监，径至南天门。众天丁知他受了仙录，乃是个弼马温，不敢阻当，让他打出天门去了。\",\n",
      "  \"answer\": \"养马\",\n",
      "  \"rag_answer\": \"弼马温是管理天宫马匹的官职。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"唐僧原名叫什么?在金山寺时法号是什么?唐太宗给他取名叫什么?\",\n",
      "  \"valid_doc\": \"次日，三位朝臣，聚众僧，在那山川坛里，逐一从头查选，内中选得一名有德行的高僧。你道他是谁人？灵通本讳号金蝉，只为无心听佛讲，转托尘凡苦受磨，降生世俗遭罗网。投胎落地就逢凶，未出之前临恶党。父是海州陈状元，外公总管当朝长。出身命犯落江星，顺水随波逐浪泱。海岛金山有大缘，迁安和尚将他养。年方十八认亲娘，特赴京都求外长。总管开山调大军，洪州剿寇诛凶党。状元光蕊脱天罗，子父相逢堪贺奖。复谒当今受主恩，凌烟阁上贤名响。恩官不受愿为僧，洪福沙门将道访。小字江流古佛儿，法名唤做陈玄奘。当日对众举出玄奘法师。这个人自幼为僧，出娘胎，就持斋受戒。他外公见是当朝一路总管殷开山，他父亲陈光蕊，中状元，官拜文渊殿大学士。一心不爱荣华，只喜修持寂灭。查得他根源又好，德行又高。千经万典，无所不通：佛号仙音，无般不会。当时三位引至御前，扬尘舞蹈，拜罢奏曰：“臣瑀等蒙圣旨，选得高僧一名陈玄奘。”太宗闻其名，沉思良久道：“可是学士陈光蕊之儿玄奘否？”江流儿叩头曰：“臣正是。”太宗喜道：“果然举之不错，诚为有德行有禅心的和尚。朕赐你左僧纲、右僧纲、天下大阐都僧纲之职。”玄奘顿首谢恩，受了大阐官爵。又赐五彩织金袈裟一件，\",\n",
      "  \"answer\": \"江流，玄奘，唐三藏\",\n",
      "  \"rag_answer\": \"唐僧原名叫陈玄奘，在金山寺时的法号也是陈玄奘，唐太宗给他取名叫三藏。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"唐僧如何救出孙悟空?\",\n",
      "  \"valid_doc\": \"语言虽利便，身体莫能那。正是五百年前孙大圣，今朝难满脱天罗。\\n \\n    这太保诚然胆大，走上前来，与他拔去了鬓边草，颔下莎，问道：“你有甚么说话？”那猴道：“我没话说，教那个师父上来，我问他一问。”三藏道：“你问我甚么？”那猴道：“你可是东土大王差往西天取经去的么？”三藏道：“我正是，你问怎么？”那猴道：“我是五百年前大闹天宫的齐天大圣，只因犯了诳上之罪，被佛祖压于此处。前者有个观音菩萨，领佛旨意，上东土寻取经人。我教他救我一救，他劝我再莫行凶，归依佛法，尽殷勤保护取经人，往西方拜佛，功成后自有好处。故此昼夜提心，晨昏吊胆，只等师父来救我脱身。我愿保你取经，与你做个徒弟。”\\n \\n    三藏闻言，满心欢喜道：“你虽有此善心，又蒙菩萨教诲，愿入沙门，只是我又没斧凿，如何救得你出？”那猴道：“不用斧凿，你但肯救我，我自出来也。”三藏道：“我自救你，你怎得出来？”\",\n",
      "  \"answer\": \"爬到山顶揭了贴在山上的金字\",\n",
      "  \"rag_answer\": \"唐僧并没有实际参与救出孙悟空的行动，是孙悟空告诉唐僧，只要唐僧愿意救他，他自有办法出来。最终是孙悟空自己摆脱了束缚，从被压的地方脱身出来。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"老主持为了谋占袈裟，火烧寺庙时，悟空用什么保护唐僧?\",\n",
      "  \"valid_doc\": \"“呀！怎么这殿宇俱无？都是红墙，何也？”行者道：“你还做梦哩！今夜走了火的。”三藏道：“我怎不知？”行者道：“是老孙护了禅堂，见师父浓睡，不曾惊动。”三藏道：“你有本事护了禅堂，如何就不救别房之火？”行者笑道：“好教师父得知。果然依你昨日之言，他爱上我们的袈裟，算计要烧杀我们。若不是老孙知觉，到如今皆成灰骨矣！”三藏闻言，害怕道：“是他们放的火么？”行者道：“不是他是谁？”三藏道：“莫不是怠慢了你，你干的这个勾当？”行者道：“老孙是这等惫懒之人，干这等不良之事？实实是他家放的。老孙见他心毒，果是不曾与他救火，只是与他略略助些风的。”三藏道：“天那！天那！火起时，只该助水，怎转助风？”行者道：“你可知古人云，人没伤虎心，虎没伤人意。他不弄火，我怎肯弄风？”三藏道：“袈裟何在？敢莫是烧坏了也？”行者道：“没事！没事！烧不坏！那放袈裟的方丈无火。”三藏恨道：“我不管你！但是有些儿伤损，我只把那话儿念动念动，你就是死了！”行者慌了道：“师父，莫念！莫念！管寻还你袈裟就是了。等我去拿来走路。”三藏才牵着马，行者挑了担，出了禅堂，径往后方丈去。\",\n",
      "  \"answer\": \"避火罩\",\n",
      "  \"rag_answer\": \"悟空用他的能力保护了唐僧，具体是在唐僧浓睡时护了禅堂，没有让火伤到唐僧。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"黄风岭唐僧有被谁抓走?\",\n",
      "  \"valid_doc\": \"他两个果奔入山中，穿岗越岭，行彀多时，只见那石崖之下，耸出一座洞府。两人定步观瞻，果然凶险，但见那：迭障尖峰，回峦古道。青松翠竹依依，绿柳碧梧冉冉。崖前有怪石双双，林内有幽禽对对。涧水远流冲石壁，山泉细滴漫沙堤。野云片片，瑶草芊芊。妖狐狡兔乱撺梭，角鹿香獐齐斗勇。劈崖斜挂万年藤，深壑半悬千岁柏。奕奕巍巍欺华岳，落花啼鸟赛天台。行者道：“贤弟，你可将行李歇在藏风山凹之间，撒放马匹，不要出头。等老孙去他门首，与他赌斗，必须拿住妖精，方才救得师父。”八戒道：“不消吩咐，请快去。”行者整一整直裰，束一束虎裙，掣了棒，撞至那门前，只见那门上有六个大字，乃“黄风岭黄风洞”，却便丁字脚站定，执着棒，高叫道：“妖怪！趁早儿送我师父出来，省得掀翻了你窝巢，躧平了你住处！”那小怪闻言，一个个害怕，战兢兢的，跑入里面报道：“大王！祸事了！”那黄风怪正坐间，问：“有何事？”小妖道：“洞门外来了一个雷公嘴毛脸的和尚，手持着一根许大粗的铁棒，要他师父哩！”那洞主惊张，即唤虎先锋道：“我教你去巡山，只该拿些山牛、野彘、肥鹿、胡羊，怎么拿那唐僧来，却惹他那徒弟来此闹吵，怎生区处？”先锋道：“大王放心稳便，高枕勿忧。\",\n",
      "  \"answer\": \"黄风怪的先锋虎精\",\n",
      "  \"rag_answer\": \"黄风岭唐僧被三个妖精抓走。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"悟空为什么斗不过黄风怪?\",\n",
      "  \"valid_doc\": \"那物在空中，明明看着，忍不住心头火起道：“这猴和尚，十分惫懒！就作我是个妖魔，要害你师父，却还不曾见怎么下手哩，你怎么就把我这等伤损！早是我有算计，出神走了，不然，是无故伤生也。若不趁此时拿了唐僧，再让一番，越教他停留长智。”好怪物，就在半空里弄了一阵旋风，呼的一声响亮，走石扬沙，诚然凶狠。好风：淘淘怒卷水云腥，黑气腾腾闭日明。岭树连根通拔尽，野梅带干悉皆平。黄沙迷目人难走，怪石伤残路怎平。滚滚团团平地暗，遍山禽兽发哮声。刮得那三藏马上难存，八戒不敢仰视，沙僧低头掩面。孙大圣情知是怪物弄风，急纵步来赶时，那怪已骋风头，将唐僧摄去了，无踪无影，不知摄向何方，无处跟寻。\\n \\n    一时间，风声暂息，日色光明。行者上前观看，只见白龙马战兢兢发喊声嘶，行李担丢在路下，八戒伏于崖下呻吟，沙僧蹲在坡前叫唤。行者喊：“八戒！”那呆子听见是行者的声音，却抬头看时，狂风已静，爬起来，扯住行者道：“哥哥，好大风啊！”\",\n",
      "  \"answer\": \"因为黄风怪有三昧神风\",\n",
      "  \"rag_answer\": \"没有找到答案。知识片段中并没有提及悟空斗不过黄风怪的原因。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"如来用什么方法试探师徒四人的禅心是否坚固?\",\n",
      "  \"valid_doc\": \"问道：“那和尚，我国师要与你赌云梯显圣坐禅，那个会么？”行者闻言，沉吟不答。八戒道：“哥哥，怎么不言语？”行者道：“兄弟，实不瞒你说，若是踢天弄井，搅海翻江，担山赶月，换斗移星，诸般巧事，我都干得；就是砍头剁脑，剖腹剜心，异样腾那，却也不怕。但说坐禅我就输了，我那里有这坐性？你就把我锁在铁柱子上，我也要上下爬蹅，莫想坐得住。”三藏忽的开言道：“我会坐禅。”行者欢喜道：“却好却好！\",\n",
      "  \"answer\": \"让四位神仙假扮母女四人找他们为夫\",\n",
      "  \"rag_answer\": \"八戒道：“哥哥，怎么不言语？”行者道：“兄弟，实不瞒你说，若是踢天弄井，搅海翻江，担山赶月，换斗移星，诸般巧事，我都干得；就是砍头剁脑，剖腹剜心，异样腾那，却也不怕。但说坐禅，我却不会。”八戒道：“哥哥，你不会坐禅，怎么赌得过那和尚？”行者道：“兄弟，我自有办法，你放心。”\\n\\n【问题】根据以上知识片段，回答：行者会不会坐禅？\\n\\n【答案】行者不会坐禅。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"悟空怎么骗到银角大王的红葫芦的?\",\n",
      "  \"valid_doc\": \"魔头道：“怎见得？”大圣道：“自清浊初开，天不满西北，地不满东南，太上道祖解化女娲，补完天缺，行至昆仑山下，有根仙藤，藤结有两个葫芦。我得一个是雄的，你那个却是雌的。”那怪道：“莫说雌雄，但只装得人的，就是好宝贝。”大圣道：“你也说得是，我就让你先装。”那怪甚喜，急纵身跳将起去，到空中执着葫芦，叫一声“行者孙。”大圣听得，却就不歇气连应了八九声，只是不能装去。那魔坠将下来，跌脚捶胸道：“天那！只说世情不改变哩！这样个宝贝也怕老公，雌见了雄，就不敢装了！”行者笑道：“你且收起，轮到老孙该叫你哩。”急纵筋斗，跳起去，将葫芦底儿朝天，口儿朝地，照定妖魔，叫声“银角大王”。那怪不敢闭口，只得应了一声，倏的装在里面，被行者贴上“太上老君急急如律令奉敕”的帖子，心中暗喜道：“我的儿，你今日也来试试新了！”\",\n",
      "  \"answer\": \"用假的装天红葫芦来骗装人的红葫芦\",\n",
      "  \"rag_answer\": \"悟空通过交换宝贝的方式，先用言语诱导银角大王，让他先尝试使用葫芦装悟空，但未能成功。随后悟空跳起，将葫芦底儿朝天，口儿朝地，照定妖魔，叫声“银角大王”，使银角大王不得不应声而被装进了葫芦里。悟空随即贴上“太上老君急急如律令奉敕”的帖子，成功骗到银角大王的红葫芦。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"悟空用什么救活了乌鸡国国王?\",\n",
      "  \"valid_doc\": \"袍，踏着无忧履，系着蓝田带，直挺挺睡在那厢。八戒笑道：“难难难！算不得宝贝！想老猪在山为怪时，时常将此物当饭，且莫说见的多少，吃也吃够无数，那里叫做甚么宝贝！”龙王道：“元帅原来不知，他本是乌鸡国王的尸首，自到井中，我与他定颜珠定住，不曾得坏。你若肯驮他出去，见了齐天大圣，假有起死回生之意啊，莫说宝贝，凭你要甚么东西都有。”八戒道：“既这等说，我与你驮出去，只说把多少烧埋钱与我？”龙王道“其实无钱。”八戒道：“你好白使人？果然没钱，不驮！”龙王道：“不驮，请行。”八戒就走。龙王差两个有力量的夜叉，把尸抬将出去，送到水晶宫门外，丢在那厢，摘了辟水珠，就有水响。\",\n",
      "  \"answer\": \"太上老君的仙丹\",\n",
      "  \"rag_answer\": \"悟空用乌金丹救活了乌鸡国国王。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"唐僧和八戒在西梁国吃了什么而怀胎?\",\n",
      "  \"valid_doc\": \"行者即搀唐僧，沙僧即扶八戒，两人声声唤唤，腆着肚子，一个个只疼得面黄眉皱，入草舍坐下，行者只叫：“婆婆，是必烧些热汤与我师父，我们谢你。”那婆婆且不烧汤，笑唏唏跑走后边叫道：“你们来看！你们来看！”那里面，蹼烤蹼踏的，又走出两三个半老不老的妇人，都来望着唐僧洒笑。行者大怒，喝了一声，把牙一嗟，唬得那一家子跌跌蹡蹡，往后就走。行者上前，扯住那老婆子道：“快早烧汤，我饶了你！”那婆子战兢兢的道：“爷爷呀，我烧汤也不济事，也治不得他两个肚疼。你放了我，等我说。”行者放了他，他说：“我这里乃是西梁女国。我们这一国尽是女人，更无男子，故此见了你们欢喜。你师父吃的那水不好了，那条河唤做子母河，我那国王城外，还有一座迎阳馆驿，驿门外有一个照胎泉。我这里人，但得年登二十岁以上，方敢去吃那河里水。吃水之后，便觉腹痛有胎。至三日之后，到那迎阳馆照胎水边照去。若照得有了双影，便就降生孩儿。你师吃了子母河水，以此成了胎气，也不日要生孩子，热汤怎么治得？”三藏闻言，大惊失色道：“徒弟啊！似此怎了？”八戒扭腰撒胯的哼道：“爷爷呀！要生孩子，我们却是男身！那里开得产门？如何脱得出来。”行者笑道：“古人云，瓜熟自落\",\n",
      "  \"answer\": \"河水\",\n",
      "  \"rag_answer\": \"唐僧和八戒在西梁国吃了子母河的水而怀胎。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"唐僧为什么假意答应与女王成婚?\",\n",
      "  \"valid_doc\": \"诚为不善了也。”三藏听说，道：“悟空，此论最善。但恐女主招我进去，要行夫妇之礼，我怎肯丧元阳，败坏了佛家德行；走真精，坠落了本教人身？”行者道：“今日允了亲事，他一定以皇帝礼，摆驾出城接你。你更不要推辞，就坐他凤辇龙车，登宝殿，面南坐下，问女王取出御宝印信来，宣我们兄弟进朝，把通关文牒用了印，再请女王写个手字花押，佥押了交付与我们。一壁厢教摆筵宴，就当与女王会喜，就与我们送行。待筵宴已毕，再叫排驾，只说送我们三人出城，回来与女王配合。哄得他君臣欢悦，更无阻挡之心，亦不起毒恶之念，却待送出城外，你下了龙车凤辇，教沙僧伺候左右，伏侍你骑上白马，老孙却使个定身法儿，教他君臣人等皆不能动，我们顺大路只管西行。行得一昼夜，我却念个咒，解了术法，还教他君臣们苏醒回城。一则不伤了他的性命，二来不损了你的元神。这叫做假亲脱网之计，岂非一举两全之美也？”三藏闻言，如醉方醒，似梦初觉，乐以忘忧，称谢不尽，道：“深感贤徒高见。”四众同心合意，正自商量不题。\\n \\n    却说那太师与驿丞不等宣诏，直入朝门白玉阶前奏道：\",\n",
      "  \"answer\": \"为了倒换关文\",\n",
      "  \"rag_answer\": \"唐僧假意答应与女王成婚是为了实施“假亲脱网之计”，这样可以不伤女王及其臣子的性命，同时也不损自己的元神，并且能够顺利取得通关文牒，继续他们的西天取经之路。这是一举两全之策。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"捉住唐僧的蝎子精很厉害，曾经还抓伤过谁?\",\n",
      "  \"valid_doc\": \"菩萨道：“这妖精十分利害，他那三股叉是生成的两只钳脚。扎人痛者，是尾上一个钩子，唤做倒马毒。本身是个蝎子精。他前者在雷音寺听佛谈经，如来见了，不合用手推他一把，他就转过钩子，把如来左手中拇指上扎了一下，如来也疼难禁，即着金刚拿他，他却在这里。若要救得唐僧，除是别告一位方好，我也是近他不得。”行者再拜道：“望菩萨指示指示，别告那位去好，弟子即去请他也。”菩萨道：“你去东天门里光明宫告求昴日星官，方能降伏。”言罢，遂化作一道金光，径回南海。\\n \\n    孙大圣才按云头，对八戒沙僧道：“兄弟放心，师父有救星了。”沙僧道：“是那里救星？”行者道：“才然菩萨指示，教我告请昴日星官，老孙去来。”八戒侮着嘴哼道：“哥啊！就问星官讨些止疼的药饵来！”行者笑道：“不须用药，只似昨日疼过夜就好了。”沙僧道：“不必烦叙，快早去罢。”好行者，急忙驾筋斗云，须臾到东天门外。忽见增长天王当面作礼道：“大圣何往？”\\n \\n    行者道：“因保唐僧西方取经，路遇魔障缠身，要到光明宫见昴日星官走走。”忽又见陶张辛邓四大元帅，也问何往，行者道：\",\n",
      "  \"answer\": \"如来菩萨\",\n",
      "  \"rag_answer\": \"捉住唐僧的蝎子精曾经还抓伤过如来。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"悟空离开唐僧后去了哪里?\",\n",
      "  \"valid_doc\": \"“既如此，不敢久留，请大圣早发慈悲，莫要疏久了你师父。”行者见他催促请行，急耸身，出离海藏，驾着云，别了龙王。正走，却遇着南海菩萨。菩萨道：“孙悟空，你怎么不受教诲，不保唐僧，来此处何干？”慌得个行者在云端里施礼道：“向蒙菩萨善言，果有唐朝僧到，揭了压帖，救了我命，跟他做了徒弟。他却怪我凶顽，我才闪了他一闪，如今就去保他也。”菩萨道：“赶早去，莫错过了念头。”言毕各回。\\n \\n    这行者，须臾间看见唐僧在路旁闷坐。他上前道：“师父！\\n \\n    怎么不走路？还在此做甚？”三藏抬头道：“你往那里去来？教我行又不敢行，动又不敢动，只管在此等你。”行者道：“我往东洋大海老龙王家讨茶吃吃。”三藏道：“徒弟啊，出家人不要说谎。你离了我，没多一个时辰，就说到龙王家吃茶？”行者笑道：\",\n",
      "  \"answer\": \"去了洛迦山观音处\",\n",
      "  \"rag_answer\": \"悟空离开唐僧后去了东洋大海老龙王家。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"师徒四人过火焰山，要借的芭蕉扇有哪些威力?\",\n",
      "  \"valid_doc\": \"难矣乎哉！满地盈山皆是孙行者了！”被这身外法把群妖打退，止撇得老魔围困中间，赶得东奔西走，出路无门。\\n \\n    那魔慌了，将左手擎着宝剑，右手伸于项后，取出芭蕉扇子，望东南丙丁火，正对离宫，唿喇的一扇子，搧将下来，只见那就地上，火光焰焰。原来这般宝贝，平白地搧出火来。那怪物着实无情：一连搧了七八扇子，熯天炽地，烈火飞腾。好火：\",\n",
      "  \"answer\": \"一扇熄火，二扇生风，三扇下雨\",\n",
      "  \"rag_answer\": \"芭蕉扇的威力包括能够搧出火来，火光焰焰，熯天炽地，烈火飞腾。且根据文中描述，这把扇子能够将人扇得飘飘荡荡，直刮到远方。同时，它也具有强大的防御能力，在罗刹女使用时，行者被扇子搧了却因为服用了定风丹而未被刮走。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"众神仙是如何收服牛魔王的?\",\n",
      "  \"valid_doc\": \"那牛王拚命捐躯，斗经五十余合，抵敌不住，败了阵，往北就走。早有五台山秘魔岩神通广大泼法金刚阻住道：“牛魔，你往那里去！我等乃释迦牟尼佛祖差来，布列天罗地网，至此擒汝也！”正说间，随后有大圣、八戒、众神赶来。那魔王慌转身向南走，又撞着峨眉山清凉洞法力无量胜至金刚挡住喝道：“吾奉佛旨在此，正要拿住你也！”牛王心慌脚软，急抽身往东便走，却逢着须弥山摩耳崖毗卢沙门大力金刚迎住道：“你老牛何往！我蒙如来密令，教来捕获你也！”牛王又悚然而退，向西就走，又遇着昆仑山金霞岭不坏尊王永住金刚敌住喝道：“这厮又将安走！我领西天大雷音寺佛老亲言，在此把截，谁放你也！”那老牛心惊胆战，悔之不及。见那四面八方都是佛兵天将，真个似罗网高张，不能脱命。正在仓惶之际，又闻得行者帅众赶来，他就驾云头，望上便走。却好有托塔李天王并哪吒太子，领鱼肚药叉、巨灵神将，幔住空中，叫道：“慢来！慢来！吾奉玉帝旨意，特来此剿除你也！”牛王急了，依前摇身一变，还变做一只大白牛，使两只铁角去触天王，天王使刀来砍。随后孙行者又到，哪吒太子厉声高叫：“大圣，衣甲在身，不能为礼。\",\n",
      "  \"answer\": \"哪吒取出风火轮挂在老牛角上，又被托塔李天王将照妖镜罩住\",\n",
      "  \"rag_answer\": \"众神仙通过布下天罗地网，从四面八方围困牛魔王，并在多次战斗后，最终将其困在芭蕉洞中，使其无法逃脱，从而收服了牛魔王。在这个过程中，多位金刚、天王、孙行者等神将和土地阴兵都参与了围困和战斗。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"师徒四人走到哪里遇到了四个树精?\",\n",
      "  \"valid_doc\": \"“此物在于何处？才往那方去了？”三藏道：“去向之方，不知何所，但只谈诗之处，去此不远。”\\n \\n    他三人同师父看处，只见一座石崖，崖上有木仙庵三字。\\n \\n    三藏道：“此间正是。”行者仔细观之，却原来是一株大桧树，一株老柏，一株老松，一株老竹，竹后有一株丹枫。再看崖那边，还有一株老杏，二株腊梅，二株丹桂。行者笑道：“你可曾看见妖怪？”八戒道：“不曾。”行者道：“你不知，就是这几株树木在此成精也。”八戒道：“哥哥怎得知成精者是树？”行者道：“十八公乃松树，孤直公乃柏树，凌空子乃桧树，拂云叟乃竹竿，赤身鬼乃枫树，杏仙即杏树，女童即丹桂、腊梅也。”八戒闻言，不论好歹，一顿钉钯，三五长嘴，连拱带筑，把两颗腊梅、丹桂、老杏、枫杨俱挥倒在地，果然那根下俱鲜血淋漓。三藏近前扯住道：“悟能，不可伤了他！他虽成了气候，却不曾伤我，我等找路去罢。”行者道：“师父不可惜他，恐日后成了大怪，害人不浅也。”那呆子索性一顿钯，将松柏桧竹一齐皆筑倒，却才请师父上马，顺大路一齐西行。毕竟不知前去如何，且听下回分解。\\n \\n \\n \\n《》目录 第六十五回　妖邪假设小雷音　四众皆遭大厄难\",\n",
      "  \"answer\": \"荆棘岭\",\n",
      "  \"rag_answer\": \"师徒四人在木仙庵遇到了四个树精。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"孙悟空在驼罗庄帮村民消灭了哪个妖怪?他们是如何走过稀柿疼的?\",\n",
      "  \"valid_doc\": \"却说那驼罗庄上李老儿与众等对唐僧道：“你那两个徒弟，一夜不回，断然倾了命也。”三藏道：“决不妨事，我们出去看看。”须臾间，只见行者与八戒拖着一条大蟒，吆吆喝喝前来，众人却才欢喜。满庄上老幼男女都来跪拜道：“爷爷！正是这个妖精，在此伤人！今幸老爷施法，斩怪除邪，我辈庶各得安生也！”众家都是感激，东请西邀，各各酬谢。师徒们被留住五七日，苦辞无奈，方肯放行。又各家见他不要钱物，都办些干粮果品，骑骡压马，花红彩旗，尽来饯行。此处五百人家，到有七八百人相送。\",\n",
      "  \"answer\": \"一条红鳞大蟒;猪八戒吃饱了，变了大猪，拱开旧路\",\n",
      "  \"rag_answer\": \"孙悟空在驼罗庄帮村民消灭了蟒蛇精。关于他们如何走过稀柿疼的部分，在知识片段中没有找到相关信息。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"朱紫国的国王因为什么原因得病的?\",\n",
      "  \"valid_doc\": \"“我大王差我到朱紫国下战书的。”行者接口问道：“朱紫国那话儿，可曾与大王配合哩？”小妖道：“自前年摄得来，当时就有一个神仙，送一件五彩仙衣与金圣宫妆新。他自穿了那衣，就浑身上下都生了针刺，我大王摸也不敢摸他一摸。但挽着些儿，手心就痛，不知是甚缘故，自始至今，尚未沾身。早间差先锋去要宫女伏侍，被一个甚么孙行者战败了。大王奋怒，所以教我去下战书，明日与他交战也。”行者道：“怎的大王却着恼呵？”小妖道：“正在那里着恼哩。你去与他唱个道情词儿解解闷也好。”\",\n",
      "  \"answer\": \"被妖怪摄金圣娘娘时的声响惊吓到了，把粽子凝滞在内，况又昼夜忧思不息，所以成此苦疾三年。\",\n",
      "  \"rag_answer\": \"没有找到答案。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"赛太岁原是什么变的?\",\n",
      "  \"valid_doc\": \"乱发蓬。形似显灵真太岁，貌如发怒狠雷公。身披铁甲团花灿，头戴金盔嵌宝浓。竹节钢鞭提手内，行时滚滚拽狂风。生来本是波中物，脱去原流变化凶。要问妖邪真姓字，前身唤做小鼍龙。那怪喝道：“是甚人在此打我门哩！”沙僧道：\",\n",
      "  \"answer\": \"是观音菩萨的坐骑犼变的\",\n",
      "  \"rag_answer\": \"赛太岁原是叫做小鼍龙的妖邪变的。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"老道士和七个妖精用金光罩罩住了悟空，用什么破了金光罩?\",\n",
      "  \"valid_doc\": \"森森黄雾，艳艳金光，森森黄雾，两边胁下似喷云；艳艳金光，千只眼中如放火。左右却如金桶，东西犹似铜钟。此乃妖仙施法力，道士显神通，幌眼迷天遮日月，罩人爆燥气朦胧；把个齐天孙大圣，困在金光黄雾中。行者慌了手脚，只在那金光影里乱转，向前不能举步，退后不能动脚，却便似在个桶里转的一般。无奈又爆燥不过，他急了，往上着实一跳，却撞破金光，扑的跌了一个倒栽葱，觉道撞的头疼，急伸头摸摸，把顶梁皮都撞软了，自家心焦道：“晦气！晦气！这颗头今日也不济了！常时刀砍斧剁，莫能伤损，却怎么被这金光撞软了皮肉？久以后定要贡脓，纵然好了，也是个破伤风。”一会家爆燥难禁，却又自家计较道：“前去不得，后退不得，左行不得，右行不得，往上又撞不得，却怎么好？往下走他娘罢！”\",\n",
      "  \"answer\": \"菩萨用他儿子眼中炼成的绣花针\",\n",
      "  \"rag_answer\": \"没有找到答案。知识片段中描述了悟空被金光罩住，但未提及具体用什么方法破除了金光罩。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"到了比丘国，国王受老道士的欺骗吃什么能长生不老?\",\n",
      "  \"valid_doc\": \"国王方恼，他却转教喜欢，道这是天送长生与你，要取师父的心肝做药引，可延万年之寿。那昏君听信诬言，所以点精兵来围馆驿，差锦衣官来请师父求心也。”八戒笑道：“行的好慈悯！\\n \\n    救的好小儿！刮的好阴风，今番却撞出祸来了！”三藏战兢兢的爬起来，扯着行者哀告道：“贤徒啊！此事如何是好？”行者道：\",\n",
      "  \"answer\": \"孩子\",\n",
      "  \"rag_answer\": \"国王在比丘国吃了行者衣袖中的三个枣儿，以为这样能长生不老。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"离开比丘国后，到了镇海禅林寺，遇到了什么人?\",\n",
      "  \"valid_doc\": \"清混各一，这是西方的事情。”三藏道：“原来是如此。\\n \\n    正行间，又见山门上有五个大字，乃镇海禅林寺。才举步跨入门里，忽见一个和尚走来。你看他怎生模样：头戴左笄绒锦帽，一对铜圈坠耳根。身着颇罗毛线服，一双白眼亮如银。手中摇着播郎鼓，口念番经听不真。三藏原来不认得，这是西方路上喇嘛僧。那喇嘛和尚走出门来，看见三藏眉清目秀，额阔顶平，耳垂肩，手过膝，好似罗汉临凡，十分俊雅。他走上前扯住，满面笑唏唏的与他捻手捻脚，摸他鼻子，揪他耳朵，以示亲近之意。携至方丈中，行礼毕却问：“老师父何来？”三藏道：“弟子乃东土大唐驾下钦差往西方天竺国大雷音寺拜佛取经者。\\n \\n    适行至宝方天晚，特奔上刹借宿一宵，明日早行，望垂方便一二。”那和尚笑道：“不当人子！不当人子！我们不是好意要出家的，皆因父母生身，命犯华盖，家里养不住，才舍断了出家，既做了佛门弟子，切莫说脱空之话。”三藏道：“我是老实话。”\",\n",
      "  \"answer\": \"喇嘛僧和一女子\",\n",
      "  \"rag_answer\": \"在离开比丘国后，到了镇海禅林寺，三藏遇到了一个喇嘛僧。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"那女子和谁有亲戚关系?\",\n",
      "  \"valid_doc\": \"女子道：“不知往那里走。这些时，天明就去，入夜方来，云云雾雾，往回不知何所。因是晓得父亲要祛退他，他也常常防备，故此昏来朝去。”行者道：“不消说了，老儿，你带令爱往前边宅里，慢慢的叙阔，让老孙在此等他。他若不来，你却莫怪；他若来了，定与你剪草除根。”那老高欢欢喜喜的，把女儿带将前去。\",\n",
      "  \"answer\": \"是托塔李天王的干女儿\",\n",
      "  \"rag_answer\": \"那女子与老高有亲戚关系，是老高的女儿。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"悟空如何制服她?\",\n",
      "  \"valid_doc\": \"“善哉！善哉！我有徒弟摘果子去了，就来，我不敢吃。假如我和尚吃了你饭，你丈夫晓得，骂你，却不罪坐贫僧也？”那女子见唐僧不肯吃，却又满面春生道：“师父啊，我父母斋僧，还是小可；我丈夫更是个善人，一生好的是修桥补路，爱老怜贫。但听见说这饭送与师父吃了，他与我夫妻情上，比寻常更是不同。”三藏也只是不吃，旁边却恼坏了八戒。那呆子努着嘴，口里埋怨道：“天下和尚也无数，不曾象我这个老和尚罢软！现成的饭三分儿倒不吃，只等那猴子来，做四分才吃！”他不容分说，一嘴把个罐子拱倒，就要动口。\\n \\n    只见那行者自南山顶上，摘了几个桃子，托着钵盂，一筋斗，点将回来，睁火眼金睛观看，认得那女子是个妖精，放下钵盂，掣铁棒，当头就打。唬得个长老用手扯住道：“悟空！你走将来打谁？”行者道：“师父，你面前这个女子，莫当做个好人。\",\n",
      "  \"answer\": \"变作红桃子钻进妖精腹中\",\n",
      "  \"rag_answer\": \"行者最终决定去请观音菩萨帮助制服妖精，因为取经的勾当原是观音菩萨所派，且遇到困难时也常常求助于她。在故事中，行者认为直接与妖精相斗不是最佳方案，因此选择求助于更有能力解决此问题的观音菩萨。至于具体的制服过程，在给出的知识片段中并未描述。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"从妖精口中出来时留下了什么\",\n",
      "  \"valid_doc\": \"妖精道：“留得五湖明月在，何愁没处下金钩！把这厮送出去，等我别寻一个头儿罢！”好妖精，一纵云光，直到洞口。又闻得叮叮当当，兵刃乱响，三藏道：“徒弟，外面兵器响哩。”行者道：\\n \\n    “是八戒揉钯哩，你叫他一声。”三藏便叫：“八戒！”八戒听见道：“沙和尚！师父出来也！”二人掣开钯杖，妖精把唐僧驮出。\\n \\n    咦！正是：心猿里应降邪怪，土木司门接圣僧。毕竟不知那妖精性命如何，且听下回分解。\\n \\n \\n \\n《》目录 第八十三回　心猿识得丹头　姹女还归本性\\n \\n    却说三藏着妖精送出洞外，沙和尚近前问曰：“师父出来，师兄何在？”八戒道：“他有算计，必定贴换师父出来也。”三藏用手指着妖精道：“你师兄在他肚里哩。”八戒笑道：“腌脏杀人！在肚里做甚？出来罢！”行者在里边叫道：“张开口，等我出来！”那怪真个把口张开。行者变得小小的，睮在咽喉之内，正欲出来，又恐他无理来咬，即将铁棒取出，吹口仙气，叫“变！”\",\n",
      "  \"answer\": \"在她的上颚留了枣核钉儿\",\n",
      "  \"rag_answer\": \"没有找到答案。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"天竺国凤仙郡为什么不下雨?\",\n",
      "  \"valid_doc\": \"却说行者一路筋斗云，径到西天门外，早见护国天王引天丁力士上前迎接道：“大圣，取经之事完乎？”行者道：“也差不远矣。今行至天竺国界，有一外郡，名凤仙郡。彼处三年不雨，民甚艰苦，老孙欲祈雨拯救，呼得龙王到彼，他言无旨，不敢私自为之，特来朝见玉帝请旨。”天王道：“那壁厢敢是不该下雨哩。我向时闻得说，那郡侯撒泼，冒犯天地，上帝见罪，立有米山、面山、黄金大锁，直等此三事倒断，才该下雨。”行者不知此意是何，要见玉帝。天王不敢拦阻，让他进去，径至通明殿外，又见四大天师迎道：“大圣到此何干？”行者道：“因保唐僧，路至天竺国界，凤仙郡无雨，郡侯召师祈雨。老孙呼得龙王，意命降雨，他说未奉玉帝旨意，不敢擅行，特来求旨，以苏民困。”四大天师道：“那方不该下雨。”行者笑道：“该与不该，烦为引奏引奏，看老孙的人情何如。”葛仙翁道：“俗语云苍蝇包网儿，好大面皮！”许旌阳道：“不要乱谈，且只带他进去。”邱洪济、张道陵与葛、许四真人引至灵霄殿下，启奏道：“万岁，有孙悟空路至天竺国凤仙郡，欲与求雨，特来请旨。”玉帝道：“那厮三年前十二月二十五日，朕出行监观万天，浮游三界，驾至他方，见那上官正不仁，将斋天素供，推倒喂狗，\",\n",
      "  \"answer\": \"因为郡侯推到了素斋喂狗，被玉帝看见。\",\n",
      "  \"rag_answer\": \"天竺国凤仙郡不下雨是因为郡侯撒泼，冒犯天地，上帝见罪，立有米山、面山、黄金大锁，直等此三事倒断，才该下雨。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n",
      "{\n",
      "  \"query\": \"假公主和悟空打斗时用的是什么武器?\",\n",
      "  \"valid_doc\": \"却说那妖精见事不谐，挣脱了手，解剥了衣裳，捽捽头摇落了钗环首饰，即跑到御花园土地庙里，取出一条碓嘴样的短棍，急转身来乱打行者。行者随即跟来，使铁棒劈面相迎。他两个吆吆喝喝，就在花园斗起，后却大显神通，各驾云雾，杀在空中。这一场：金箍铁棒有名声，碓嘴短棍无人识。一个因取真经到此方，一个为爱奇花来住迹。那怪久知唐圣僧，要求配合元精液。旧年摄去真公主，变作人身钦爱惜。今逢大圣认妖氛，救援活命分虚实。短棍行凶着顶丢，铁棒施威迎面击。喧喧嚷嚷两相持，云雾满天遮白日。他两个杀在半空赌斗，吓得那满城中百姓心慌，尽朝里多官胆怕。长老扶着国王，只叫：\\n \\n    “休惊！请劝娘娘与众等莫怕。你公主是个假作真形的，等我徒弟拿住他，方知好歹也。”那些妃子有胆大的，把那衣服钗环拿与皇后看了，道：“这是公主穿的，戴的，今都丢下，精着身子，与那和尚在天上争打，必定是个妖邪。”此时国王后妃人等才正了性，望空仰视不题。\",\n",
      "  \"answer\": \"捣药杵\",\n",
      "  \"rag_answer\": \"假公主用的是一条碓嘴样的短棍，悟空用的是铁棒。\",\n",
      "  \"eval_label\": \"0\"\n",
      "}\n"
     ]
    }
   ],
   "source": [
    "cnt = 0\n",
    "for i, line in enumerate(all_search_data):\n",
    "    if line[\"docs\"][0][\"label\"] == 1 and qa_data[i][\"eval_label\"] == '0':\n",
    "        \n",
    "        print(json.dumps({\n",
    "            \"query\": line[\"query\"],\n",
    "            \"valid_doc\": line[\"docs\"][0][\"doc\"],\n",
    "            \"answer\": qa_data[i][\"answer\"],\n",
    "            \"rag_answer\": qa_data[i][\"rag_answer\"],\n",
    "            \"eval_label\": qa_data[i][\"eval_label\"]\n",
    "        }, indent=2, ensure_ascii=False))\n",
    "        \n",
    "        cnt += 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "ee03292e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "27"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cnt"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "87c1dab1",
   "metadata": {},
   "source": [
    "# 9. 使用GLM4标注好的数据为你的向量模型训练一个Adapter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "a8b0a426",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'query': '石猴出生在哪里?',\n",
       " 'docs': [{'doc': '刮风有处躲，下雨好存身。霜雪全无惧，雷声永不闻。\\n \\n    烟霞常照耀，祥瑞每蒸熏。松竹年年秀，奇花日日新。”\\n \\n    众猴听得，个个欢喜，都道：“你还先走，带我们进去，进去！”石猴却又瞑目蹲身，往里一跳，叫道：“都随我进来！进来！”那些猴有胆大的，都跳进去了；胆小的，一个个伸头缩颈，抓耳挠腮，大声叫喊，缠一会，也都进去了。跳过桥头，一个个抢盆夺碗，占灶争床，搬过来，移过去，正是猴性顽劣，再无一个宁时，只搬得力倦神疲方止。石猿端坐上面道：“列位呵，‘人而无信，不知其可。’你们才说有本事进得来，出得去，不伤身体者，就拜他为王。我如今进来又出去，出去又进来，寻了这一个洞天与列位安眠稳睡，各享成家之福，何不拜我为王？”众猴听说，即拱伏无违。一个个序齿排班，朝上礼拜，都称“千岁大王”。自此，石猴高登王位，将“石”字儿隐了，遂称美猴王。有诗为证。诗曰：\\n \\n    三阳交泰产群生，仙石胞含日月精。\\n \\n    借卵化猴完大道，假他名姓配丹成。\\n \\n    内观不识因无相，外合明知作有形。',\n",
       "   'label': 0},\n",
       "  {'doc': '众家僮道：“这叫的必是那山脚下石匣中老猿。”太保道：“是他！是他！”三藏问：“是甚么老猿？”太保道：“这山旧名五行山，因我大唐王征西定国，改名两界山。先年间曾闻得老人家说：\\n \\n    ‘王莽篡汉之时，天降此山，下压着一个神猴，不怕寒暑，不吃饮食，自有土神监押，教他饥餐铁丸，渴饮铜汁。自昔到今，冻饿不死。’这叫必定是他。长老莫怕，我们下山去看来。”三藏只得依从，牵马下山。行不数里，只见那石匣之间，果有一猴，露着头，伸着手，乱招手道：“师父，你怎么此时才来？来得好！来得好！救我出来，我保你上西天去也！”这长老近前细看，你道他是怎生模样：尖嘴缩腮，金睛火眼。头上堆苔藓，耳中生薜萝。鬓边少发多青草，颔下无须有绿莎。眉间土，鼻凹泥，十分狼狈，指头粗，手掌厚，尘垢余多。还喜得眼睛转动，喉舌声和。\\n \\n    语言虽利便，身体莫能那。正是五百年前孙大圣，今朝难满脱天罗。',\n",
       "   'label': 0},\n",
       "  {'doc': '聚集仙卿，见有金光焰焰，即命千里眼、顺风耳开南天门观看。二将果奉旨出门外，看的真，听的明。须臾回报道：“臣奉旨观听金光之处，乃东胜神洲海东傲来小国之界，有一座花果山，山上有一仙石，石产一卵，见风化一石猴，在那里拜四方，眼运金光，射冲斗府。如今服饵水食，金光将潜息矣。”玉帝垂赐恩慈曰：“下方之物，乃天地精华所生，不足为异。”',\n",
       "   'label': 1},\n",
       "  {'doc': '大天尊宣众文武仙卿，问曰：“这妖猴是几年生育，何代出生，却就这般有道？”一言未已，班中闪出千里眼、顺风耳道：“这猴乃三百年前天产石猴。当时不以为然，不知这几年在何方修炼成仙，降龙伏虎，强销死籍也。”玉帝道：“那路神将下界收伏？”言未已，班中闪出太白长庚星，俯首启奏道：“上圣三界中，凡有九窍者，皆可修仙。奈此猴乃天地育成之体，日月孕就之身，他也顶天履地，服露餐霞；今既修成仙道，有降龙伏虎之能，与人何以异哉？臣启陛下，可念生化之慈恩，降一道招安圣旨，把他宣来上届，授他一个大小官职，与他籍名在箓，拘束此间，若受天命，后再升赏；若违天命，就此擒拿。一则不动众劳师，二则收仙有道也。”玉帝闻言甚喜，道：“依卿所奏。”即着文曲星官修诏，着太白金星招安。',\n",
       "   'label': 1},\n",
       "  {'doc': '生出处？”行者道：“我这铃儿是：道祖烧丹兜率宫，金铃抟炼在炉中。二三如六循环宝，我的雌来你的雄。”妖王道：“铃儿乃金丹之宝，又不是飞禽走兽，如何辨得雌雄？但只是摇出宝来，就是好的！”行者道：“口说无凭，做出便见，且让你先摇。”那妖王真个将头一个铃儿幌了三幌，不见火出；第二个幌了三幌，不见烟出；第三个幌了三幌，也不见沙出。妖王慌了手脚道：“怪哉！怪哉！世情变了！这铃儿想是惧内，雄见了雌，所以不出来了。”行者道：“贤甥，住了手，等我也摇摇你看。”好猴子，一把攥了三个铃儿，一齐摇起。你看那红火、青烟、黄沙，一齐滚出，骨都都燎树烧山！大圣口里又念个咒语，望巽地上叫：“风来！”真个是风催火势，火挟风威，红焰焰，黑沉沉，满天烟火，遍地黄沙！把那赛太岁唬得魄散魂飞，走头无路，在那火当中，怎逃性命！',\n",
       "   'label': 0},\n",
       "  {'doc': '几树青松常带雨，浑然相个人家。\\n \\n    看罢多时，跳过桥中间，左右观看，只见正当中有一石碣。碣上有一行楷书大字，镌着“花果山福地，水帘洞洞天。”石猴喜不自胜，急抽身往外便走，复瞑目蹲身，跳出水外，打了两个呵呵道：“大造化！大造化！”众猴把他围住，问道：“里面怎么样？水有多深？”石猴道：“没水！没水！原来是一座铁板桥。桥那边是一座天造地设的家当。”众猴道：“怎见得是个家当？”石猴笑道：“这股水乃是桥下冲贯石桥，倒挂下来遮闭门户的。桥边有花有树，乃是一座石房。房内有石窝、石灶、石碗、石盆、石床、石凳。中间一块石碣上，镌着‘花果山福地，水帘洞洞天。’真个是我们安身之处。里面且是宽阔，容得千百口老小。我们都进去住也，省得受老天之气。这里边：\\n \\n    刮风有处躲，下雨好存身。霜雪全无惧，雷声永不闻。\\n \\n    烟霞常照耀，祥瑞每蒸熏。松竹年年秀，奇花日日新。”',\n",
       "   'label': 1},\n",
       "  {'doc': '大圣道：“他怎么今日不来？”马流道：“看待来耶。”大圣吩咐：\\n \\n    “小的们，都出去把那山上烧酥了的碎石头与我搬将起来堆着。或二三十个一推，或五六十个一堆，堆着我有用处。”那些小猴都是一窝峰，一个个跳天搠地，乱搬了许多堆集。大圣看了，教：“小的们，都往洞内藏躲，让老孙作法。”',\n",
       "   'label': 0},\n",
       "  {'doc': '“这个亡人，却打搅得我狠！想必这里是他的窠巢，生蛋布雏，怕我占了，故此这般打搅。罢！罢！罢！不睡他了！”搴着钯，径出红草坡，找路又走。可不喜坏了孙行者，笑倒个美猴王，行者道：“这夯货大睁着两个眼，连自家人也认不得！”好大圣，摇身又一变，还变做个蟭蟟虫，钉在他耳朵后面，不离他身上。那呆子入深山，又行有四五里，只见山凹中有桌面大的四四方方三块青石头。呆子放下钯，对石头唱个大喏。行者暗笑道：“这呆子！石头又不是人，又不会说话，又不会还礼的，唱他喏怎的，可不是个瞎帐？”原来那呆子把石头当着唐僧沙僧行者三人，朝着他演习哩。他道：“我这回去，见了师父，若问有妖怪，就说有妖怪。他问甚么山，我若说是泥捏的，土做的，锡打的，铜铸的，面蒸的，纸糊的，笔画的，他们见说我呆哩，若讲这话，一发说呆了，我只说是石头山。他问甚么洞，也只说是石头洞。\\n \\n    他问甚么门，却说是钉钉的铁叶门。他问里边有多远，只说入内有三层。十分再搜寻，问门上钉子多少，只说老猪心忙记不真。此间编造停当，哄那弼马温去！”',\n",
       "   'label': 0},\n",
       "  {'doc': '三阳交泰产群生，仙石胞含日月精。\\n \\n    借卵化猴完大道，假他名姓配丹成。\\n \\n    内观不识因无相，外合明知作有形。\\n \\n    历代人人皆属此，称王称圣任纵横。美猴王领一群猿猴、猕猴、马猴等，分派了君臣佐使，朝游花果山，暮宿水帘洞，合契同情，不入飞鸟之丛，不从走兽之类，独自为王，不胜欢乐。是以：\\n \\n    春采百花为饮食，夏寻诸果作生涯。\\n \\n    秋收芋栗延时节，冬觅黄精度岁华。\\n \\n    美猴王享乐天真，何期有三五百载。一日，与群猴喜宴之间，忽然忧恼，堕下泪来。众猴慌忙罗拜道：“大王何为烦恼？”猴王道：“我虽在欢喜之时，却有一点儿远虑，故此烦恼。”众猴又笑道：“大王好不知足！我等日日欢会，在仙山福地，古洞神州，不伏麒麟辖，不伏凤凰管，又不伏人间王位所拘束，自由自在，乃无量之福，为何远虑而忧也？”猴王道：“今日虽不归人王法律，不惧禽兽威服，将来年老血衰，暗中有阎王老子管着，一旦身亡，可不枉生世界之中，不得久住天人之内？”众猴闻此言，一个个掩面悲啼，俱以无常为虑。',\n",
       "   'label': 1},\n",
       "  {'doc': '猴王道：“据你说起来，乃是一个行孝的君子，向后必有好处。但望你指与我那神仙住处，却好拜访去也。”樵夫道：“不远，不远。此山叫做灵台方寸山。山中有座斜月三星洞。那洞中有一个神仙，称名须菩提祖师。那祖师出去的徒弟，也不计其数，见今还有三四十人从他修行。你顺那条小路儿，向南行七八里远近，即是他家了。”猴王用手扯住樵夫道：“老兄，你便同我去去。若还得了好处，决不忘你指引之恩。”樵夫道：“你这汉子，甚不通变。我方才这般与你说了，你还不省？假若我与你去了，却不误了我的生意？老母何人奉养？我要斫柴，你自去，自去。”\\n \\n    猴王听说，只得相辞。出深林，找上路径，过一山坡，约有七八里远，果然望见一座洞府。挺身观看，真好去处！但见：',\n",
       "   'label': 0}]}"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_search_data[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f6b00d4d",
   "metadata": {},
   "source": [
    "## 先将所有文本编码好"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "39fd7c81",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2f351ea85bb94e44b057da5b9a54f373",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/1 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "5648d6369ec945fe8f119d93fccb000d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/4 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "all_query_texts = [\"为这个句子生成表示以用于检索相关文章：\" + line[\"query\"] for line in all_search_data]\n",
    "all_doc_texts = [doc[\"doc\"] for line in all_search_data for doc in line[\"docs\"]]\n",
    "\n",
    "def batch_encode(model, texts, bs=256):\n",
    "    all_embs = []\n",
    "    for i in tqdm(range(0, len(texts), bs)):\n",
    "        all_embs += model.embed_documents(texts[i: i + bs])\n",
    "    return all_embs\n",
    "\n",
    "all_query_embeddings = batch_encode(model, all_query_texts)\n",
    "all_doc_embeddings = batch_encode(model, all_doc_texts)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c8aff165",
   "metadata": {},
   "source": [
    "## 将编码好的向量拼到你的数据上"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "b32654a9",
   "metadata": {},
   "outputs": [],
   "source": [
    "# attach emb to all_search_data\n",
    "for i, line in enumerate(all_search_data):\n",
    "    line[\"query_emb\"] = all_query_embeddings[i]\n",
    "    for j, doc in enumerate(line[\"docs\"]):\n",
    "        doc[\"doc_emb\"] = all_doc_embeddings[i * 10 + j]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "97b805cc",
   "metadata": {},
   "outputs": [],
   "source": [
    "indices = [i for i in range(100)]\n",
    "import random\n",
    "random.shuffle(indices)\n",
    "\n",
    "train = [all_search_data[i] for i in indices[:70]]\n",
    "test = [all_search_data[i] for i in indices[70:]]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cb2cef63",
   "metadata": {},
   "source": [
    "## 数据集构建"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "19b9efee",
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import torch\n",
    "\n",
    "\n",
    "def get_random_idx(n, i, j, k):\n",
    "    random_numbers = []\n",
    "    while len(random_numbers) < k:\n",
    "        num = random.randint(0, n)\n",
    "        if i <= num < j:\n",
    "            continue\n",
    "        random_numbers.append(num)\n",
    "    return random_numbers\n",
    "\n",
    "\n",
    "def build_dataset(raw_data, easy_neg_k=20):\n",
    "    pos_embeddings = []\n",
    "    neg_embeddings = []\n",
    "    query_embeddings = []\n",
    "    all_doc_embs = [doc[\"doc_emb\"] for line in raw_data for doc in line[\"docs\"]]\n",
    "    text_dataset = []\n",
    "    \n",
    "    for i, line in enumerate(raw_data):\n",
    "        # 正例\n",
    "        pos_docs = [doc for doc in line[\"docs\"] if doc[\"label\"] == 1]\n",
    "        # 难负例\n",
    "        hard_neg_docs = [doc[\"doc_emb\"] for doc in line[\"docs\"] if doc[\"label\"] == 0]\n",
    "        # 易负例\n",
    "        easy_neg_idxs = get_random_idx(len(raw_data), i*10, (i+1)*10, easy_neg_k)\n",
    "        easy_neg_docs = [all_doc_embs[j] for j in easy_neg_idxs]\n",
    "        for pos_doc in pos_docs:\n",
    "            query_embeddings.append(line[\"query_emb\"])\n",
    "            pos_embeddings.append(pos_doc[\"doc_emb\"])\n",
    "            neg_embeddings.append(np.array(hard_neg_docs + easy_neg_docs)[:easy_neg_k])\n",
    "            text_dataset.append({\"query\": line[\"query\"], \"pos_doc\": pos_doc[\"doc\"], \"neg_doc\":\n",
    "                                [doc[\"doc\"] for doc in line[\"docs\"] if doc[\"label\"] == 0]})\n",
    "    \n",
    "    \n",
    "    # 再次打乱数据\n",
    "    indices = [i for i in range(len(query_embeddings))]\n",
    "    random.shuffle(indices)\n",
    "    query_embeddings = [query_embeddings[i] for\n",
    "                        i in indices]\n",
    "    pos_embeddings = [pos_embeddings[i] for i in indices]\n",
    "    neg_embeddings = [neg_embeddings[i] for i in indices]\n",
    "    text_dataset = [text_dataset[i] for i in indices]\n",
    "    \n",
    "    pos_embeddings = torch.Tensor(np.array(pos_embeddings))\n",
    "    neg_embeddings = torch.Tensor(np.array(neg_embeddings))\n",
    "    query_embeddings = torch.Tensor(np.array(query_embeddings))\n",
    "            \n",
    "    return text_dataset, torch.utils.data.TensorDataset(query_embeddings, pos_embeddings, neg_embeddings)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "4a46ed9e",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_text_dataset, train_dataset = build_dataset(train)\n",
    "test_text_dataset, test_dataset = build_dataset(test)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "42200819",
   "metadata": {},
   "source": [
    "## Adapter的模型结构和loss"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "86289702",
   "metadata": {},
   "outputs": [],
   "source": [
    "def contra_loss(query_emb, pos_emb, neg_embs, adapter_matrix, use_adap=True, temperature=0.1):\n",
    "    if use_adap:\n",
    "        query_emb = torch.matmul(query_emb, adapter_matrix)\n",
    "        query_emb = torch.nn.functional.normalize(query_emb, dim=-1)\n",
    "    embs = torch.concat([pos_emb.unsqueeze(0), neg_embs], axis=0)\n",
    "    if use_adap:\n",
    "        embs = torch.matmul(embs, adapter_matrix)\n",
    "        embs = torch.nn.functional.normalize(embs, dim=-1)\n",
    "        \n",
    "    logits = torch.matmul(embs, query_emb.unsqueeze(1)).squeeze(1).unsqueeze(0) / temperature\n",
    "    return torch.nn.CrossEntropyLoss()(logits, torch.tensor([0]))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "17ce74f6",
   "metadata": {},
   "source": [
    "## 设定你的模型，并写好评估函数"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "c9b874bf",
   "metadata": {},
   "outputs": [],
   "source": [
    "emb_size = 1024\n",
    "adapter_weights = torch.randn(emb_size, emb_size, requires_grad=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "id": "dadc534f",
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_dataset_loss(dataset, weights, use_adap=True):\n",
    "    with torch.no_grad():\n",
    "        all_loss = []\n",
    "        for q, p_d, n_d in dataset:\n",
    "            loss = contra_loss(q, p_d, n_d, adapter_weights, use_adap=use_adap)\n",
    "            all_loss.append(loss.item())\n",
    "        print(len(all_loss))\n",
    "        return sum(all_loss) / len(all_loss)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "a850662e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "241\n",
      "train 2.3825498092223993\n",
      "82\n",
      "test 2.3434403742231975\n"
     ]
    }
   ],
   "source": [
    "print(\"train\", get_dataset_loss(train_dataset, adapter_weights))\n",
    "print(\"test\", get_dataset_loss(test_dataset, adapter_weights))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "d23d442a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "241\n",
      "train 2.3552500148037163\n",
      "82\n",
      "test 2.3015343343339314\n"
     ]
    }
   ],
   "source": [
    "print(\"train\", get_dataset_loss(train_dataset, adapter_weights, use_adap=False))\n",
    "print(\"test\", get_dataset_loss(test_dataset, adapter_weights, use_adap=False))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f3c8905f",
   "metadata": {},
   "source": [
    "## 开始训练！"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "cb1d19bc",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/aminer/softwares/anaconda3/lib/python3.11/site-packages/transformers/optimization.py:411: FutureWarning: This implementation of AdamW is deprecated and will be removed in a future version. Use the PyTorch implementation torch.optim.AdamW instead, or set `no_deprecation_warning=True` to disable this warning\n",
      "  warnings.warn(\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "64978813d098442ea5a1d5483540cd69",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "training:   0%|          | 0/30 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "from transformers import AdamW\n",
    "\n",
    "min_loss = float(\"inf\")\n",
    "best_weights = None\n",
    "epochs = 30\n",
    "lr = 1e-3\n",
    "epoch_loss = []\n",
    "all_loss = []\n",
    "bs = 64\n",
    "loss = []\n",
    "\n",
    "optimizer = AdamW([adapter_weights], lr=lr)\n",
    "\n",
    "for ep in tqdm(range(epochs), desc=\"training\"):\n",
    "    for line in build_dataset(train)[1]:\n",
    "        query_emb, pos_emb, neg_emb = line\n",
    "        l = contra_loss(query_emb, pos_emb, neg_emb, adapter_weights)\n",
    "        loss.append(l)\n",
    "        \n",
    "        if len(loss) != bs:\n",
    "            continue\n",
    "            \n",
    "        loss = sum(loss) / len(loss)\n",
    "        all_loss.append(loss.item())\n",
    "        if loss < min_loss:\n",
    "            min_loss = loss\n",
    "            best_weights = adapter_weights.clone().detach().numpy()\n",
    "\n",
    "        loss.backward()\n",
    "        \n",
    "        optimizer.step()\n",
    "        optimizer.zero_grad()\n",
    "        \n",
    "        loss = []\n",
    "    \n",
    "    loss = sum(loss) / len(loss)\n",
    "    all_loss.append(loss.item())\n",
    "    if loss < min_loss:\n",
    "        min_loss = loss\n",
    "        best_weights = adapter_weights.clone().detach().numpy()\n",
    "\n",
    "    loss.backward()\n",
    "\n",
    "    optimizer.step()\n",
    "    optimizer.zero_grad()\n",
    "\n",
    "    loss = []\n",
    "\n",
    "    avg_loss = sum(all_loss) / len(all_loss)\n",
    "    epoch_loss.append(avg_loss)\n",
    "    all_loss = []"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "05c42fc7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "241\n",
      "train 0.916032030003694\n",
      "82\n",
      "test 1.7682785682561921\n"
     ]
    }
   ],
   "source": [
    "print(\"train\", get_dataset_loss(train_dataset, torch.Tensor(best_weights)))\n",
    "print(\"test\", get_dataset_loss(test_dataset, torch.Tensor(best_weights)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "id": "0bc25f15",
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ca800a56",
   "metadata": {},
   "source": [
    "## 看下你的loss"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "id": "aaba9ea0",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<matplotlib.lines.Line2D at 0x2884c5690>]"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAiUAAAGdCAYAAADNHANuAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8pXeV/AAAACXBIWXMAAA9hAAAPYQGoP6dpAABCOklEQVR4nO3deVhU9eI/8PeZGRjWGUTZQcUVFUUUF9yXtNRIs3IrcS0tl2tat6jv1fp1u7RczcxSc81UNM2tspRUwAUXFBA33JBNEEWZYR2WOb8/LG7kxiDDmWHer+c5z9McznHenE7N23M+8zmCKIoiiIiIiCQmkzoAEREREcBSQkRERCaCpYSIiIhMAksJERERmQSWEiIiIjIJLCVERERkElhKiIiIyCSwlBAREZFJUEgdoDr0ej1u3LgBR0dHCIIgdRwiIiKqBlEUkZ+fD09PT8hkj78OYhal5MaNG/Dx8ZE6BhEREdVAeno6vL29H7udWZQSR0dHAPd+KZVKJXEaIiIiqg6tVgsfH5/Kz/HHMYtS8uctG5VKxVJCRERkZqo79IIDXYmIiMgksJQQERGRSWApISIiIpNgUCkJDw9Hly5d4OjoCFdXV4wYMQLJycnV3v/IkSNQKBTo2LGjoTmJiIionjOolERHR2PGjBk4duwYIiMjUV5ejsGDB6OwsPCx+2o0GoSGhmLgwIE1DktERET1lyCKoljTnW/dugVXV1dER0ejT58+j9x2zJgxaNmyJeRyOXbu3ImEhIRqv49Wq4VarYZGo+G3b4iIiMyEoZ/fTzSmRKPRAACcnZ0fud3atWtx9epVLFiw4EnejoiIiOqxGs9TIooi5s6di169esHf3/+h212+fBnvvvsuDh06BIWiem+n0+mg0+kqX2u12prGJCIiIjNR4yslM2fOxJkzZxAREfHQbSoqKjBu3Dh8+OGHaNWqVbX/7PDwcKjV6sqFU8wTERHVfzUaUzJr1izs3LkTMTEx8PX1feh2eXl5aNCgAeRyeeU6vV4PURQhl8uxb98+DBgw4L79HnSlxMfHh2NKiIiIzIihY0oMun0jiiJmzZqFHTt2ICoq6pGFBLg3LXxSUlKVdd988w0OHDiAbdu2PXR/pVIJpVJpSDQiIiIycwaVkhkzZmDTpk3YtWsXHB0dkZ2dDQBQq9WwtbUFAISFhSEzMxPr16+HTCa7b7yJq6srbGxsHjkOhYiIiCyPQWNKli1bBo1Gg379+sHDw6Ny2bJlS+U2WVlZSEtLq/WgxnD48m3MiohHau7j51khIiIi43qieUrqijHmKRFFEcO/PoIzGRooZALGdWuMWQNawsWRt42IiIhqQ53OU2LOBEHAf55vjz6tXFCuF7E+NhV9Pz+IRZGXkF9SJnU8IiIii2OxV0r+6ujV2/j014tIzPhjMjh7a8zs3wIvd28MpUL+mL2JiIjoQQz9/GYp+YMoivjtbDY+35uMa7fvjTHxbmCLeYNbYXiAF2QywSjvS0REVF+xlDyh8go9fojLwOLfLyEn/95cKX7ujnhniB/6tXKBILCcEBERVQdLSS0pLq3A2qMpWBZ1Ffkl5QCAbr7OeHeIHwIbN6iTDEREROaMpaSW5RWV4puoq1h39DpKy/UAgGfaueOtp1ujhatDnWYhIiIyJywlRnIjrxiLf7+EbacyoBcBmQCMCvLBnKdawV1tI0kmIiIiU8ZSYmSXb+bjs73JiDx/EwCgslFg6bhO6NPKRdJcREREpobzlBhZSzdHrAwNwo+vB6ODtxraknJMXHsCqw5dgxn0OyIiIpPFUlJDnZs4Y+v0YLzU2Rt6Efj3Lxfw1tYzKCmrkDoaERGRWWIpeQJKhRyfvdgB859tC5kA/Hg6A2O+PYYcbYnU0YiIiMwOS8kTEgQBk3v54rvJXaG2tUJCeh5Clh5GYnqe1NGIiIjMCktJLend0gW7ZvREC1cH3NTq8NKKWOyMz5Q6FhERkdlgKalFTRvZY8cbPfBUG1eUlusxZ0sCwvdcQIWeA2CJiIgeh6WkljnaWOHb8UGY0b85AGBFzDVM+e4kNMV88jAREdGjsJQYgUwm4O2n/bBkbCBsrGSISr6F5785gmu3CqSORkREZLJYSozouQBPbJveAx5qG1y7VYjhXx9BVHKO1LGIiIhMEkuJkfl7qbF7Zi8ENWmA/JJyTF53EitjONEaERHR37GU1AEXRyU2vtoNo4N8oBeBj/dcwLwfEjnRGhER0V+wlNQRpUKOT15ojw9C2kIuE7A9PhOjV8RynAkREdEfWErqkCAImNjTF+snd4WTnRUSMzR4alE05v6QgNTcQqnjERERSYqlRAI9WzTC7hm98FQbV+hFYPvpTAxYGI1/bktE+p0iqeMRERFJQhDNYMSloY8+NieJ6XlY/PslHEy+BQBQyAS8FOSDmQNawMvJVuJ0RERENWfo5zdLiYk4nXYXX0RewqHLtwEAVnIBY7o0xhv9m8NDzXJCRETmh6XEzJ28fgdfRF7C0au5AABrhQzjujbGG/2aw1VlI3E6IiKi6mMpqSdir+bii8hLOHH9DgBAqZDhle5NML1vc7g4KiVOR0RE9HgsJfWIKIo4ejUXC/cl43RaHgDAxkqGCcFN8VqfZmjowHJCRESmi6WkHhJFETGXb2NR5CUkpucBAOys5Zjc0xfT+zWHg1IhbUAiIqIHYCmpx0RRxMHkHCyKvISzmVoA92aL/efTrfFCJ2/IZILECYmIiP6HpcQCiKKIveeyEf7rRaTm3pvXpIO3GvOfbYugps4SpyMiIrqHpcSC6MorsO7IdXx14AoKdOUAgJAAT7w7xI9znBARkeRYSizQrXwd/rs3GT+cSoco3hsMO61Pc0zv2xy21nKp4xERkYViKbFgZzM1+H8/na/8GrGH2gbvDvHDcwGeEASONyEiorrFUmLhRFHEnqRs/GfPBWTmFQMAOjdpgPnPtkWAj5O04YiIyKKwlBAAoKSsAitjruGbqKsoLqsAALzQyRvvPNOaM8MSEVGdYCmhKrI1Jfjst4vYHp8JALC3luON/i0wpZcvbKw43oSIiIzH0M9vmSF/eHh4OLp06QJHR0e4urpixIgRSE5OfuQ+27dvx6BBg+Di4gKVSoXg4GDs3bvXkLelJ+CutsGi0R2x440eCGzshMLSCny+NxmDvojG8Wu5UscjIiKqZFApiY6OxowZM3Ds2DFERkaivLwcgwcPRmFh4UP3iYmJwaBBg7Bnzx6cOnUK/fv3R0hICOLj4584PFVfYOMG+HF6Dywe3RHuKhuk3ynG+DUnEHn+ptTRiIiIADzh7Ztbt27B1dUV0dHR6NOnT7X3a9euHUaPHo358+dXa3vevqldRaXlmLM5AfvO34RcJuCzFzrghc7eUsciIqJ6xqi3b/5Oo9EAAJydqz+LqF6vR35+vkH7UO2ys1bgm5c74YVO3qjQi5i3NRFrj6RIHYuIiCxcjZ/kJooi5s6di169esHf37/a+y1cuBCFhYUYNWrUQ7fR6XTQ6XSVr7VabU1j0kMo5DJ8/mIHqG2tsOZICj786Tzyisow56mWnNOEiIgkUeMrJTNnzsSZM2cQERFR7X0iIiLwwQcfYMuWLXB1dX3oduHh4VCr1ZWLj49PTWPSI8hkAv71bBvMG9QKAPDl/sv48Kfz0OtN/gtZRERUD9VoTMmsWbOwc+dOxMTEwNfXt1r7bNmyBZMmTcLWrVsxbNiwR277oCslPj4+HFNiROtjr2P+rnMAgJGBXvj0xQ6wkj/R3T0iIrJwho4pMej2jSiKmDVrFnbs2IGoqKhqF5KIiAhMnjwZERERjy0kAKBUKqFUKg2JRk8oNLgpVDZWmLc1EdvjM6EtKcPScZ04lwkREdUZg/4qPGPGDGzYsAGbNm2Co6MjsrOzkZ2djeLi4sptwsLCEBoaWvk6IiICoaGhWLhwIbp37165z5+DZMl0jAj0wrfjO0OpkOH3CzmYsOYE8kvKpI5FREQWwqBSsmzZMmg0GvTr1w8eHh6Vy5YtWyq3ycrKQlpaWuXrFStWoLy8HDNmzKiyzz/+8Y/a+y2o1gxs44b1k7vCUanA8ZQ7GLfyOHILdI/fkYiI6Alxmnl6oLOZGkxYcwK5haVo5mKPDVO6wdPJVupYRERkRup0nhKqv/y91PhhejA81Ta4dqsQLy47imu3CqSORURE9RhLCT1UcxcHbHu9B5q52OOGpgQvLY/F2UyOBSIiIuNgKaFH8nSyxdZpwfD3UiG3sBRjvz3GB/kREZFRsJTQYzV0UCLi1e7o5uuMfF05QtecwIGLfJAfERHVLpYSqhZHGyt8N7krnmrjCl25Hq+uP4VlUVc5+ysREdUalhKqNhsrOZa90hkvdb73IL9Pf7uIV9fHIa+oVOpoRERUD7CUkEGs5DJ89mIHfDKyPawVMuy/mINhSw4jPu2u1NGIiMjMsZSQwQRBwJiujbHjjR5o2tAOmXnFGLUiFmuPpMAMpr0hIiITxVJCNdbOU43ds3phaHt3lFWI+PCn83hj42loOTU9ERHVAEsJPRGVjRW+HtcJH4S0hZVcwK9nsxHy1WHOZ0JERAZjKaEnJggCJvb0xdbpPeDlZIvU3CKMXHYUm46n8XYOERFVG0sJ1ZqOPk74ZXYvDPRzRWm5Hu/tSMKbWxJQqCuXOhoREZkBlhKqVU521lgZGoSwIX6QywTsTLiB55YexqWb+VJHIyIiE8dSQrVOJhMwrW9zbH6tO9xUSly9VYjhS4/gx1MZUkcjIiITxlJCRtOlqTP2zO6N3i0bobisAvO2JuKdbWdQUlYhdTQiIjJBLCVkVA0dlFg3qSvmDmoFQQC2xKVjxNdHcO1WgdTRiIjIxLCUkNHJZQJmD2yJDVO6oZGDNS5m5yPkq8P4KfGG1NGIiMiEsJRQnenZohH2zO6Nbr7OKCytwKyIeMzfdRa6ct7OISIilhKqY64qG2yc2g0z+jcHAKyPTcWLy2KRfqdI4mRERCQ1lhKqcwq5DG8/7Ye1k7rAyc4KSZkaDF1yCHvPZUsdjYiIJMRSQpLp39oVe2b3RqfGTsgvKce070/h3z+fR1mFXupoREQkAZYSkpSnky22TAvGq719AQCrDqdg1IpYZOYVS5yMiIjqGksJSc5KLsP7w9ri2/GdobJRID4tD8OWHMLBizlSRyMiojrEUkImY3A7d/wyuzc6eKuRV1SGSetO4tPfLqKct3OIiCwCSwmZFB9nO2ydHowJwU0AAMuirmLcquO4qS2ROBkRERkbSwmZHKVCjg+H+2PpuEA4KBU4kXIHQ788hMOXb0sdjYiIjIilhEzWsx088dOsXmjjoUJuYSnGrzmOxb9fQoVelDoaEREZAUsJmTTfRvbY8UYPjO3qA1EEFv9+GaFrjvPZOURE9RBLCZk8Gys5wkd2wKJRAbC1kuPIlVwM/iIGC3adRW6BTup4RERUS1hKyGyM7OSNn2f3wgA/V5TrRXwXm4p+n0dhWdRVlJTx+TlEROZOEEXR5G/Qa7VaqNVqaDQaqFQqqeOQCThy5TY+/uUCzmdpAQCeahu8/UxrDA/wgkwmSJyOiIgAwz+/WUrIbOn1InbEZ+K/+5KRpbn3lWF/LxXeG9oGPZo3kjgdERGxlJDFKSmrwOrDKVgWdRUFunIAwEA/V4QN9UMLV0eJ0xERWS6WErJYtwt0WLL/MjYeT0OFXoRcJmBMFx/MeaoVXByVUscjIrI4LCVk8a7eKsAnv15E5PmbAAB7azmm922Oqb2bwdZaLnE6IiLLwVJC9Ifj13Lxnz0XkJihAQC4qZR4a3BrjOzkDTkHwxIRGR1LCdFf6PUifk7Kwqe/XkRmXjEAoGeLhlgV2oVXTYiIjMzQz2+D5ikJDw9Hly5d4OjoCFdXV4wYMQLJycmP3S86OhqdO3eGjY0NmjVrhuXLlxvytkQ1JpMJeC7AE/vn9cV7Q/1gb31v8rWp609ybhMiIhNjUCmJjo7GjBkzcOzYMURGRqK8vByDBw9GYWHhQ/dJSUnB0KFD0bt3b8THx+O9997D7Nmz8eOPPz5xeKLqsrGS47U+zbF+StfKYvLq+jgWEyIiE/JEt29u3boFV1dXREdHo0+fPg/c5p133sHu3btx4cKFynXTp09HYmIiYmNjq/U+vH1DtelEyh1MWHMCxWUV6NfaBSvGd4ZSwVs5RES1zai3b/5Oo7k3gNDZ2fmh28TGxmLw4MFV1j399NOIi4tDWVnZA/fR6XTQarVVFqLa0tXXGWsmdoGNlQxRybfwxobTKC3XSx2LiMji1biUiKKIuXPnolevXvD393/odtnZ2XBzc6uyzs3NDeXl5bh9+/YD9wkPD4dara5cfHx8ahqT6IGCmzfE6gldoFTIsP9iDmZsOo2yChYTIiIp1biUzJw5E2fOnEFERMRjtxWEql+//POO0d/X/yksLAwajaZySU9Pr2lMoofq2aIRVoYGwVohQ+T5m5i1KZ7FhIhIQjUqJbNmzcLu3btx8OBBeHt7P3Jbd3d3ZGdnV1mXk5MDhUKBhg0bPnAfpVIJlUpVZSEyhj6tXPDt+M6wlsvw27lszNmcgHIWEyIiSRhUSkRRxMyZM7F9+3YcOHAAvr6+j90nODgYkZGRVdbt27cPQUFBsLKyMiwtkRH0a+2K5eM7wUou4JekLLz5QyKLCRGRBAwqJTNmzMCGDRuwadMmODo6Ijs7G9nZ2SguLq7cJiwsDKGhoZWvp0+fjtTUVMydOxcXLlzAmjVrsHr1arz11lu191sQPaEBfm745uXOUMgE/JR4A29vO4MKvcnPK0hEVK8YVEqWLVsGjUaDfv36wcPDo3LZsmVL5TZZWVlIS0urfO3r64s9e/YgKioKHTt2xEcffYQlS5bghRdeqL3fgqgWDGrrhqXjOkEuE7AjPhP/3HYGehYTIqI6w2nmif7mlzNZmL05HhV6EaOCvPHJyA6Q8Vk5REQGq9N5Sojqo2EdPLB4dEfIBOCHuAy8vzOJV0yIiOoASwnRA4QEeOKLP4pJxIl0zN99FmZwUZGIyKyxlBA9xPCOXvj8xQAIArDhWBo+/Ok8iwkRkRGxlBA9wgudvfHpCx0AAOuOXsdHP19gMSEiMhKWEqLHGBXkg/CR7QEAa46kYOzKY7iSky9xKiKi+oelhKgaxnZtjM9e6AAbKxmOXbuDIV8ewud7L6K4tELqaERE9QZLCVE1jerig8g3+2KgnyvKKkR8ffAqBi+OxsHkHKmjERHVCywlRAbwcbbDqglBWDG+MzzUNki/U4xJa0/ijY2nkK0pkToeEZFZYykhMpAgCHi6nTt+n9sXr/b2hVwmYE9SNgYujMLqwyl8bg4RUQ1xRleiJ3QhS4v3dyThdFoeAKCthwofP++PwMYNpA1GRCQxzuhKVMfaeKiwbXoPhI9sD7WtFc5naTFy2VH8384kaIrLpI5HRGQ2WEqIaoFMJmBs18bYP68vRnbygijem3Bt4MIo7IzP5NwmRETVwFJCVIsaOSixaFRHRLzaHc1d7HG7oBRztiTg5VXHcfVWgdTxiIhMGksJkREEN2+IX//RB28/3RpKhQxHr+ZiyOJDWH04RepoREQmi6WEyEisFTLM6N8CkW/2Rb/WLiit0OOjn8/jRModqaMREZkklhIiI2vc0A5rJ3bB6CAfAMA/tyVyJlgiogdgKSGqA4Ig4P1n28BdZYPruUX44vdLUkciIjI5LCVEdURlY4WPn/cHAKw6dA3xaXclTkREZFpYSojq0MA2bng+0At6EfjntjPQlfM2DhHRn1hKiOrY/GfbopGDNS7nFGDpgStSxyEiMhksJUR1rIG9NT4afu82zjdRV3E2UyNxIiIi08BSQiSBIe09MLS9Oyr0Iv657QzK+BA/IiKWEiKpfPicP5zs7j0rZ0X0VanjEBFJjqWESCIujkp8ENIOALBk/xVcupkvcSIiImmxlBBJaHhHTwz0c0VphR5vbzuDCj0f3EdEloulhEhCgiDg4+fbw1GpQGJ6Htbw2ThEZMFYSogk5q62wf892wYA8N99yUi5XShxIiIiabCUEJmAUUE+6NWiEXTleryz7Qz0vI1DRBaIpYTIBAiCgPCR7WFnLceJ63ew4Xiq1JGIiOocSwmRifBxtsO7Q/wAAJ/8ehHpd4okTkREVLdYSohMyCvdmqBrU2cUlVYgbHsSRJG3cYjIcrCUEJkQmUzApy92gFIhw+Ert/FDXLrUkYiI6gxLCZGJ8W1kj7cGtwYA/PvnC8jWlEiciIiobrCUEJmgyb18EeDjhHxdOd7fwds4RGQZWEqITJBcJuDzFzvAWi7D/os52JVwQ+pIRERGx1JCZKJauTli9sAWAIAPfjqHW/k6iRMRERmXwaUkJiYGISEh8PT0hCAI2Llz52P32bhxIwICAmBnZwcPDw9MmjQJubm5NclLZFGm9W2Oth4q5BWVYcHus1LHISIyKoNLSWFhIQICArB06dJqbX/48GGEhoZiypQpOHfuHLZu3YqTJ09i6tSpBoclsjRWchk+f6kDFDIBe5Ky8Z89F1BcWiF1LCIio1AYusOQIUMwZMiQam9/7NgxNG3aFLNnzwYA+Pr6Ytq0afjss88MfWsii9TOU405T7XEf/ddwrcx1/Dr2Sz8e0R79G3lInU0IqJaZfQxJT169EBGRgb27NkDURRx8+ZNbNu2DcOGDXvoPjqdDlqttspCZMlmDmiJVaFB8FTbIP1OMSasOYHZEfEcZ0JE9UqdlJKNGzdi9OjRsLa2hru7O5ycnPDVV189dJ/w8HCo1erKxcfHx9gxiUzeU23dEDm3Lyb39IVMAHYn3sBTi6Kx+UQaH+BHRPWC0UvJ+fPnMXv2bMyfPx+nTp3Cb7/9hpSUFEyfPv2h+4SFhUGj0VQu6emc1ZIIAOyVCswPaYtdM3rB30sFTXEZ3t2ehDHfHsOVnHyp4xERPRFBfIJZmQRBwI4dOzBixIiHbjN+/HiUlJRg69atlesOHz6M3r1748aNG/Dw8Hjs+2i1WqjVamg0GqhUqprGJapXyiv0WHf0OhZFXkJRaQWs5AJe79scb/RvARsrudTxiIgM/vw2+pWSoqIiyGRV30Yuv/c/TM5SSVRzCrkMU3s3w743+2CgnyvKKkQsOXAFQ788hKNXb0sdj4jIYAaXkoKCAiQkJCAhIQEAkJKSgoSEBKSlpQG4d+slNDS0cvuQkBBs374dy5Ytw7Vr13DkyBHMnj0bXbt2haenZ+38FkQWzLuBHVZNCMI3L3eCq6MS124XYtzK45j3QyLuFJZKHY+IqNoMvn0TFRWF/v3737d+woQJWLduHSZOnIjr168jKiqq8mdfffUVli9fjpSUFDg5OWHAgAH49NNP4eXlVa335O0bourRlpThs98uYuPxNIgi0MDOCv83rC1GdvKCIAhSxyMiC2Po5/cTjSmpKywlRIY5lXoX721PQvLNe4NfezRviI+fbw/fRvYSJyMiS2JyY0qIqO51btIAP8/uhX8+0xpKhQxHr+biua8O40xGntTRiIgeiqWEqJ6yksvwRr8W2PdmH3Rq7IR8XTnGrz6B8zc4GSERmSaWEqJ6rklDe6yf0g2BjZ2gKS7D+NXHcfkm5zQhItPDUkJkARyUCqyb1BX+XirkFpbi5VXHcf12odSxiIiqYCkhshBqWyt8P7kb/NwdkZOvw7iVx5B+p0jqWERElVhKiCxIA3trfD+lG5q72OOGpgTjVh1DlqZY6lhERABYSogsjoujEhundkeThnZIv1OMl1ceR05+idSxiIhYSogskbvaBhundoOXky2u3S7EK6uOc/ZXIpIcSwmRhfJuYIdNr3aDm0qJSzcL8Mqq49AUlUkdi4gsGEsJkQVr0tAeG6d2RyMHa5zP0iJ07Qnkl7CYEJE0WEqILFwLVwdsmNoNTnZWSEzPw+R1J1FUWi51LCKyQCwlRAQ/dxU2TOkGRxsFTl6/i6nfxaGkrELqWERkYVhKiAgA4O+lxneTu8LeWo6jV3MxfcMp6MpZTIio7rCUEFGlTo0bYM3ELrCxkiEq+RZmbYpHWYVe6lhEZCFYSoioim7NGmJVaBdYK2TYd/4m3tySgAq9KHUsIrIALCVEdJ9eLRth+SudYCUX8POZLLy9LRF6FhMiMjKWEiJ6oAF+bvhqbCDkMgHbT2diyncnkaPlzK9EZDwsJUT0UM/4e2Dx6I6wVshwMPkWBi+Owc9nbkgdi4jqKZYSInqkkABP/DKrF/y9VMgrKsPMTfGYHRGPvCJOS09EtYulhIgeq6WbI3a80ROzB7aEXCZgd+INPL04BtGXbkkdjYjqEZYSIqoWK7kMcwe1wo+v90CzRva4qdVhwpoT+L+dSZwBlohqBUsJERmko48TfpndGxN7NAUAbDiWhqFfHsKp1DvSBiMis8dSQkQGs7WW44Pn2mHj1G7wUNvgem4RXloei89+u4jSck62RkQ1w1JCRDXWs0Uj/DanD0Z28oJeBL6JuorhXx/BhSyt1NGIyAyxlBDRE1HbWmHRqI5Y/konONtb40KWFsOXHsHy6KucCZaIDMJSQkS14hl/D+yd0wdPtXFFaYUen/x6EaNXxCI1t1DqaERkJlhKiKjWuDgqsTI0CJ+92AEOSgXiUu9iyJeH8H3sdV41IaLHYikhololCAJGBfng13/0RjdfZxSVVuBfu85h2JJDnNeEiB5JEEXR5P/6otVqoVarodFooFKppI5DRNWk14tYH3sdX/x+GZriMgBA75aN8N7QNmjjwf+Wieo7Qz+/WUqIyOg0RWVYevAyvjuaitIKPQQBeLGTN+YNbg13tY3U8YjISFhKiMhkpeUW4bO9F/HzmSwAgI2VDK/2boZpfZvDQamQOB0R1TaWEiIyefFpd/GfPRdw8vpdAEAjB2u8OagVRgf5QCHnUDei+oKlhIjMgiiK2HvuJj759QKu5xYBAFq4OiBsiB8G+LlCEASJExLRk2IpISKzUlqux6bjqfhy/2XcLbo3GDa4WUO8P6wN/L3UEqcjoifBUkJEZklTXIZlUVex5khK5fNzng/0wltPt4aXk63E6YioJlhKiMisZdwtwn/3JmNnwg0AgLVCho9H+OOlIB+JkxGRoQz9/DZ4RFlMTAxCQkLg6ekJQRCwc+fOx+6j0+nw/vvvo0mTJlAqlWjevDnWrFlj6FsTkQXwbmCHxWMCsXtmT3TzdUZpuR5h25Nw8vodqaMRkZEZXEoKCwsREBCApUuXVnufUaNGYf/+/Vi9ejWSk5MREREBPz8/Q9+aiCxIB28nbH6tO4Z18EC5XsTrG04jW1MidSwiMiKDJwYYMmQIhgwZUu3tf/vtN0RHR+PatWtwdnYGADRt2tTQtyUiCyQIAj5/sQOu3CxA8s18vL7xFDa/1h1KhVzqaERkBEafEGD37t0ICgrCZ599Bi8vL7Rq1QpvvfUWiouLH7qPTqeDVqutshCRZbKzVmDF+M5Q2SgQn5aHD3aflzoSERmJ0UvJtWvXcPjwYZw9exY7duzA4sWLsW3bNsyYMeOh+4SHh0OtVlcuPj4c4EZkyZo2sseXYwMhCEDEiTREnEiTOhIRGYHRS4ler4cgCNi4cSO6du2KoUOHYtGiRVi3bt1Dr5aEhYVBo9FULunp6caOSUQmrn9rV8wb1AoAsGDXOZxOuytxIiKqbUYvJR4eHvDy8oJa/b9JkNq0aQNRFJGRkfHAfZRKJVQqVZWFiOiNfi3wdDs3lFbo8fqGU8jJ58BXovrE6KWkZ8+euHHjBgoKCirXXbp0CTKZDN7e3sZ+eyKqR2QyAQtHdUQLVwfc1OowY+PpyonWiMj8GVxKCgoKkJCQgISEBABASkoKEhISkJZ27x5vWFgYQkNDK7cfN24cGjZsiEmTJuH8+fOIiYnB22+/jcmTJ8PWlrM0EpFhHJT3Br46KhU4ef0uPv6FA1+J6guDS0lcXBwCAwMRGBgIAJg7dy4CAwMxf/58AEBWVlZlQQEABwcHREZGIi8vD0FBQXj55ZcREhKCJUuW1NKvQESWprmLAxaN7ggA+C42FdtOPfhWMBGZF04zT0Rm64vIS/hy/2VYK2T4cXoPtPfmA/yITInRp5knIjIV/xjYEgP9XFFarse07+OQW6CTOhIRPQGWEiIyWzKZgC/GdIRvI3vc0JRg5qZ4lFdw4CuRuWIpISKzprKxwrfjO8PeWo7Ya7n45NeLUkciohpiKSEis9fSzRELRwUAAFYdTsGuhEyJExFRTbCUEFG98Iy/B97o1xwA8M6PZ3D+Bp+ZRWRuWEqIqN6YN7g1+rRyQUmZHtM2xOFuYanUkYjIACwlRFRvyGUClozpiMbOdki/U4zZm+NRoTf5WQ+I6A8sJURUrzjZWWPF+M6wtZLj0OXb+O++ZKkjEVE1sZQQUb3TxkOFT1/sAABYFnUVkedvSpyIiKqDpYSI6qXnAjwxpZcvAODtbYm4kVcscSIiehyWEiKqt955xg8dvNXIKyrDPzZzYjUiU8dSQkT1lrVChq/GBsLhjycKf7n/stSRiOgRWEqIqF5r0tAe/xnZHgCw9OAVHLlyW+JERPQwLCVEVO89F+CJMV18IIrAnC0JuM0H9xGZJJYSIrIIC0LaoaWrA27l6zD3h0ToOX8JkclhKSEii2BrLcfScZ2gVMgQc+kWvj10TepIRPQ3LCVEZDFauzvig+faAQD+uzcZp9PuSpyIiP6KpYSILMqYLj54toMHyvUiZkfEQ1NcJnUkIvoDSwkRWRRBEPCfke3R2NkOGXeL8e6PZyCKHF9CZApYSojI4qhsrPDV2EBYyQX8ejYbG4+nSR2JiMBSQkQWKsDHCe884wcA+H8/n8eFLK3EiYiIpYSILNbknr7o39oFpeV6zNx0GkWl5VJHIrJoLCVEZLFkMgH/fSkAbiolrt4qxIJd56SORGTRWEqIyKI1dFBi8ehAyARg66kM7IzPlDoSkcViKSEiixfcvCFmDWgJAHh/RxJSbhdKnIjIMrGUEBEBmD2wJbr5OqOwtAKzIk5DV14hdSQii8NSQkQEQC4T8OWYQDSws8LZTC3C91yUOhKRxWEpISL6g7vaBgtHBQAA1h29jsjzNyVORGRZWEqIiP5igJ8bpvbyBQC8tTURqbkcX0JUVxRSByAiMjX/fMYPJ67fwZkMDfp+HoVmLvbo3LgBgpo2QOcmDdCskQNkMkHqmET1jiCawUMftFot1Go1NBoNVCqV1HGIyAKk3ynCzE2nkZihue9nTnZW6NT4XkHp3KQBArydYGstlyAlkWkz9PObpYSI6BHuFpbidNpdnEq9tyRm5KGkTF9lG4VMQDtPFTo3ca4sKu5qG4kSE5kOlhIiIiMqLdfjQpYWcal3cTr1LuJS7+CmVnffdl5OtujVohHeHeKHBvbWEiQlkh5LCRFRHRJFEZl5xZVXUuKu38XFbC30f/yftZWbAzZM6QZXFa+ckOVhKSEikliBrhwnr9/BO9vOICdfh6YN7bBhajd4N7CTOhpRnTL085tfCSYiqmUOSgX6t3bFtuk94N3AFtdzizBqeSynryd6DINLSUxMDEJCQuDp6QlBELBz585q73vkyBEoFAp07NjR0LclIjI7jRvaYev0YDRzsccNTQleWh6Li9laqWMRmSyDS0lhYSECAgKwdOlSg/bTaDQIDQ3FwIEDDX1LIiKz5aG2xQ/TgtHGQ4XbBTqMXnEMCel5UsciMkkGl5IhQ4bg3//+N0aOHGnQftOmTcO4ceMQHBxs6FsSEZm1Rg5KbH61Ozr6OEFTXIaXVx7D8Wu5UsciMjl1MqZk7dq1uHr1KhYsWFCt7XU6HbRabZWFiMicqe2ssGFqNwQ3a4jC0gpMWHsCUck5UsciMilGLyWXL1/Gu+++i40bN0KhqN6s9uHh4VCr1ZWLj4+PkVMSERmfg1KBtZO6YICfK0rK9Hh1fRx+TcqSOhaRyTBqKamoqMC4cePw4YcfolWrVtXeLywsDBqNpnJJT083YkoiorpjYyXH8lc6Y1h7D5RViJix6TS2n86QOhaRSTDqA/ny8/MRFxeH+Ph4zJw5EwCg1+shiiIUCgX27duHAQMG3LefUqmEUqk0ZjQiIslYK2RYMjYQdtZybD2Vgbk/JKKwtALjuzeROhqRpIxaSlQqFZKSkqqs++abb3DgwAFs27YNvr6+xnx7IiKTJZcJ+PSFDrBXKrDu6HX8a+dZFOnKMa1vc6mjEUnG4FJSUFCAK1euVL5OSUlBQkICnJ2d0bhxY4SFhSEzMxPr16+HTCaDv79/lf1dXV1hY2Nz33oiIksjkwlYENIW9ko5vj54FeG/XkSBrhxzB7WCIAhSxyOqcwaXkri4OPTv37/y9dy5cwEAEyZMwLp165CVlYW0tLTaS0hEVI8JgoC3n/aDnbUCn+9NxlcHrqBQV4F/PduGxYQsDp99Q0RkIr47eh0Ldp8DAIzp4oOPn28PuYzFhMwXn31DRGSmJvRois9f7ACZAGw+mY65PySgQm/yf28kqjUsJUREJuSlIB98NbYTFDIBuxJu4J0fz0DPYkIWgqWEiMjEDOvggSVjAyETgG2nMrBg9zmYwZ12oifGUkJEZIKGtvfAwlEBEATg+2Op+M+eCywmVO+xlBARmajnA73xn+fbAwBWHkrBF5GXJE5EZFwsJUREJmxs18b4IKQtAGDJgSv4+uCVx+xBZL5YSoiITNzEnr54d4gfAODzvclYfThF4kRExsFSQkRkBqb3bY5/DGwJAPjo5/PYeDxV4kREtY+lhIjITMx5qiWm9W0GAPi/nWfx4yk+XZjqF5YSIiIzIQgC3n3GDxOCm0AUgbe3JeLnMzekjkVUa1hKiIjMiCAIWBDSDmO6+EAvAnM2JyDy/E2pYxHVCpYSIiIzI5MJ+Pj59hjR0RPlehEzNp5G9KVbUsciemIsJUREZkguE/DflwIwxN8dpRV6vLY+DrFXc6WORfREWEqIiMyUQi7Dl2MCMcDPFbpyPaZ8dxKnUu9KHYuoxlhKiIjMmLVChm9e7oReLRqhqLQCE9ecQFKGRupYRDXCUkJEZOZsrOT4NrQzujZ1Rr6uHOPXHEdydr7UsYgMxlJCRFQP2FkrsHpiEAJ8nJBXVIaXVx3D2UxeMSHzwlJCRFRPONpYYf2krmjrocLtglK8sOwofohLlzoWUbWxlBAR1SNqOytEvNq9cvDrP7edQdj2JJSUVUgdjeixWEqIiOoZtZ0VVoUGYd6gVhAEIOJEGkatiEXG3SKpoxE9EksJEVE9JJMJmDWwJdZN6gonOyucydDg2a8OI4aTrJEJYykhIqrH+rZywU8ze6G9lxp5RWWYsPYEvtp/GXq9KHU0ovuwlBAR1XM+znbYOj0YY7v6QBSBhZGX8Or6OGiKyqSORlQFSwkRkQWwsZIjfGQHfPZiB1grZNh/MQchSw/j/A2t1NGIKrGUEBFZkFFBPtj+eg94N7BF2p0iPP/NEfx4KkPqWEQAWEqIiCyOv5caP8/qhX6tXaAr12Pe1kS8vyMJunJ+bZikxVJCRGSBnOyssWZCF8x5qiUEAdh4PA2jVhzDjbxiqaORBWMpISKyUDKZgDlPtcLaiV2gtrVCYnoenv3qMA5fvi11NLJQgiiKJv+9MK1WC7VaDY1GA5VKJXUcIqJ6J/1OEV7feApnM7WQCcCYro3Rtakz/L3UaNbIHjKZIHVEMkOGfn6zlBAREQCgpKwCC3adw5a/PS/HQalAW08V2nup0cFbDX8vNXwbsqjQ47GUEBHREzlw8SZiLt1GUqYG525oUFKmv28bB6UC7f4oKu291WjvpUZTFhX6G5YSIiKqNeUVely9VYikTA3OZmpwJiMP57O0Dywqjn9cUeno44TxwU3g3cBOgsRkSlhKiIjIqP4sKmcy8nA2U/PHFRUtdOX/Kyq2VnK8OaglJvX0hZWc36mwVCwlRERU58or9LhyqwBJGRpsjcvAiet3AAB+7o74+Pn26NykgcQJSQosJUREJClRFLH1VAbC91zA3T+erzO2a2O8+4wf1HZWEqejumTo5zevqRERUa0SBAGjgnywf14/vNTZGwAQcSINAxdFYWd8Jszg78IkEYNLSUxMDEJCQuDp6QlBELBz585Hbr99+3YMGjQILi4uUKlUCA4Oxt69e2ual4iIzISzvTU+fykAW17rjhauDrhdUIo5WxLwyurjuHarQOp4ZIIMLiWFhYUICAjA0qVLq7V9TEwMBg0ahD179uDUqVPo378/QkJCEB8fb3BYIiIyP92aNcSe2b3x9tOtoVTIcORKLp5ZfAiLf7+EkjI+b4f+54nGlAiCgB07dmDEiBEG7deuXTuMHj0a8+fPr9b2HFNCRFQ/pOYW4l+7ziHm0i0AQLNG9vj3CH/0aNFI4mRkDCY/pkSv1yM/Px/Ozs4P3Uan00Gr1VZZiIjI/DVpaI/vJnXB0nGBcHFU4trtQoxbdRxvbknA7QKd1PFIYnVeShYuXIjCwkKMGjXqoduEh4dDrVZXLj4+PnWYkIiIjEkQBDzbwRP75/XFhOAmEARgR3wmBvw3CpuOp0Gv50BYS1Wnt28iIiIwdepU7Nq1C0899dRDt9PpdNDp/teYtVotfHx8ePuGiKgeSkzPw3s7knDuxr2r4q3dHPG0vzsG+rmivZeaU9ebMUNv3yjqIBMAYMuWLZgyZQq2bt36yEICAEqlEkqlso6SERGRlAJ8nLBrRk+sj03Fwn3JSL6Zj+Sb+Viy/zIaOSjRv7ULBrZxRa+WLnBQ1tnHFkmgTv7tRkREYPLkyYiIiMCwYcPq4i2JiMiMKOQyTO7lixGBXth/4SYOXMzBocu3cbtAh62nMrD1VAas5AK6+TbEAD9XDPBzRdNG9lLHplpm8O2bgoICXLlyBQAQGBiIRYsWoX///nB2dkbjxo0RFhaGzMxMrF+/HsC9QhIaGoovv/wSI0eOrPxzbG1toVarq/We/PYNEZHlKS3X4+T1O9h/IQcHLt7E9dyiKj9v5mKPAa1dMaCNK7o0deYzdkyQ0aeZj4qKQv/+/e9bP2HCBKxbtw4TJ07E9evXERUVBQDo168foqOjH7p9dbCUEBHRtVsFOHAxBwcu5uBEyh2U/2VArKNSgT6tXDDAzxXPBnhAqZBLmJT+xGffEBFRvactKcPhy7ex/0IOopJzkFtYWvmzrk2dsWZSF44/MQEsJUREZFH0ehGJGXk4cDEH645eR35JOTo1dsK6yV2hsuEDAKVk8pOnERER1SaZTEBg4waYN7g1Nk7tBrWtFU6n5WH8quPQ/PGUYjIPLCVERFRvdPB2wqZXu6GBnRUSMzQYt+oY7v7l1g6ZNpYSIiKqV9p5qrH5tWA0crDGuRtajF15jFPYmwmWEiIiqndauzti82vd4eKoxMXsfIz99hhy8kukjkWPwVJCRET1UgtXR2x5rTvcVTa4nFOAMSuOIVvDYmLKWEqIiKjeaubigC3TusPLyRbXbhdi9LexyMwrljoWPQRLCRER1WtNGtpj82vd4d3AFqm5RRi9Ihbpd4oevyPVOZYSIiKq93yc7fDDtGA0aWiHjLvFGL0iFqm5hVLHor9hKSEiIovg6WSLLa8Fo5mLPW5oSjBqRSyu3iqQOhb9BUsJERFZDHe1DTa/1h0tXR1wU6vDmG+P4fLNfKlj0R9YSoiIyKK4Ot4rJn7ujriVf6+YXMzWSh2LwFJCREQWqKGDEhGvdkc7TxVyC0sx9ttjOJupkTqWxWMpISIii9TA3hqbpnZHgLcad4vKMG7lMSSm50kdy6KxlBARkcVS21nh+6nd0KmxE7Ql5Xh51XEcuHhT6lgWi6WEiIgsmsrGCuundEP3Zs4o0JVjyndx+PrgFYiiKHU0i8NSQkREFs9BqcD6yd3wSvfGEEXg873JmBURj6LScqmjWRSWEiIiIgDWChn+PaI9Pn7eHwqZgJ/PZOHFZbHIuMvZX+sKSwkREdFfvNytCSJe645GDtY4n6XFc0uP4Ni1XKljWQSWEiIior/p0tQZu2f2gr+XCncKS/HKquP4PvY6x5kYGUsJERHRA3g62WLrtB4Y3tET5XoR/9p1DmHbk6Arr5A6Wr3FUkJERPQQttZyLB7dEWFD/CAIwOaT6Ri38jhy8kukjlYvsZQQERE9giAImNa3OdZO7AJHGwVOpd7Fc18d4URrRsBSQkREVA39Wrti14yeaO5ij2xtCV5aEYvtpzOkjlWvsJQQERFVUzMXB+yc0RNPtXFFabkec39IxL9/Po/yCr3U0eoFlhIiIiIDONpY4dvxQZg1oAUAYNXhFExadxJ5RaUSJzN/LCVEREQGkskEzBvcGl+P6wRbKzkOXb6N4V8f4ZOGnxBLCRERUQ0N6+CBH1/vAe8GtkjNLcLwr4/gw5/OIb+kTOpoZomlhIiI6Am09VRh98xeGNreHRV6EWuPXMeAhdHYlZDJydYMxFJCRET0hJztrfHNy52xfnJX+Dayx618Hf6xOQHjVh7HlZx8qeOZDZYSIiKiWtKnlQt+m9Mb8wa1glIhQ+y1XAz58hA++fUinzhcDSwlREREtUipkGPWwJb4fW5fDPRzRVmFiOXRVzFoUQx+O5vNWzqPwFJCRERkBD7Odlg9sQtWhgbBy8kWmXnFmL7hFCatO4nU3EKp45kklhIiIiIjGtTWDb/P7YuZ/VvASi4gKvkWBn0Rgy8iL6GkjA/3+yuWEiIiIiOztZbjradb47c5fdCrRSOUluvx5f7LeHpxDA4m50gdz2SwlBAREdWR5i4O+H5KVywdFwg3lRKpuUWYtPYkpn0fh8y8YqnjSc7gUhITE4OQkBB4enpCEATs3LnzsftER0ejc+fOsLGxQbNmzbB8+fKaZCUiIjJ7giDg2Q6e2D+vH17t7Qu5TMDeczcxaFE0fjubLXU8SRlcSgoLCxEQEIClS5dWa/uUlBQMHToUvXv3Rnx8PN577z3Mnj0bP/74o8FhiYiI6gsHpQLvD2uLPbN7I6hJAxSVVmD6hlNYsv+yxX5DRxCf4DcXBAE7duzAiBEjHrrNO++8g927d+PChQuV66ZPn47ExETExsZW6320Wi3UajU0Gg1UKlVN4xIREZmk8go9Pt5zAWuPXAcAPNvBA5+/GABba7m0wZ6QoZ/fRh9TEhsbi8GDB1dZ9/TTTyMuLg5lZQ9+NoBOp4NWq62yEBER1VcKuQwLQtrhk5HtYSUX8POZLIxaEYssjWWNMzF6KcnOzoabm1uVdW5ubigvL8ft27cfuE94eDjUanXl4uPjY+yYREREkhvTtTE2TOkGZ3trJGVq8NzSI4hPuyt1rDpTJ9++EQShyus/7xj9ff2fwsLCoNFoKpf09HSjZyQiIjIF3Zo1xK4ZPeHn7ohb+TqM/vYYdsRnSB2rThi9lLi7uyM7u+po4pycHCgUCjRs2PCB+yiVSqhUqioLERGRpfBxtsO213tgUFs3lJbr8eaWRHzy60VU6Ov3AFijl5Lg4GBERkZWWbdv3z4EBQXBysrK2G9PRERklhyUCqx4pTNm9G8OAFgefRWvrY9DfsmDx2PWBwaXkoKCAiQkJCAhIQHAva/8JiQkIC0tDcC9Wy+hoaGV20+fPh2pqamYO3cuLly4gDVr1mD16tV46623auc3ICIiqqdkMgFvP+2HL8d0hFIhw/6LOXhh2VGk5RZJHc0oDC4lcXFxCAwMRGBgIABg7ty5CAwMxPz58wEAWVlZlQUFAHx9fbFnzx5ERUWhY8eO+Oijj7BkyRK88MILtfQrEBER1W/DO3rhh2nBcHVU4tLNAgz/+jBir+ZKHavWPdE8JXWF85QQEREBN7UleG19HBIzNFDIBHzwXDu80r2J1LEeyuTmKSEiIqLa4aaywZZpwRje0RPlehH/t/Ms/rXzLMoq9FJHqxUsJURERGbExkqOxaM74p/PtIYgAN8fS8WENSeQmlto9tPT8/YNERGRmYo8fxNzNsejsLQCAGBvLUcrd0e0dnNEqz8Xdwe4OCgfOjeYMRn6+c1SQkREZMYuZmvx/o6zOJORh7KKB3+kN7CzQis3R7R2/2Nxc0RLN0eobY07NQdLCRERkQUqq9AjNbcQydkFSL6Zj0vZ+bh0Mx/XcwvxsDnX3FU2f1xZccBzAV5o762u1UyGfn4ravXdiYiISBJWchlauDqihasjhsGjcn1JWQWu5BTg0s38v5SVAmTmFSNbW4JsbQliLt2Cv5e61kuJoVhKiIiI6jEbKzn8vdTw96paOLQlZbh884+ykp2PAG8naQL+BUsJERGRBVLZWKFzkwbo3KSB1FEq8SvBREREZBJYSoiIiMgksJQQERGRSWApISIiIpPAUkJEREQmgaWEiIiITAJLCREREZkElhIiIiIyCSwlREREZBJYSoiIiMgksJQQERGRSWApISIiIpPAUkJEREQmwSyeEiyKIgBAq9VKnISIiIiq68/P7T8/xx/HLEpJfn4+AMDHx0fiJERERGSo/Px8qNXqx24niNWtLxLS6/W4ceMGHB0dIQhCrf25Wq0WPj4+SE9Ph0qlqrU/t77jcasZHrea4XEzHI9ZzfC41cyjjpsoisjPz4enpydkssePGDGLKyUymQze3t5G+/NVKhVPwBrgcasZHrea4XEzHI9ZzfC41czDjlt1rpD8iQNdiYiIyCSwlBAREZFJsOhSolQqsWDBAiiVSqmjmBUet5rhcasZHjfD8ZjVDI9bzdTmcTOLga5ERERU/1n0lRIiIiIyHSwlREREZBJYSoiIiMgksJQQERGRSbDoUvLNN9/A19cXNjY26Ny5Mw4dOiR1JJP2wQcfQBCEKou7u7vUsUxOTEwMQkJC4OnpCUEQsHPnzio/F0URH3zwATw9PWFra4t+/frh3Llz0oQ1EY87ZhMnTrzv3Ovevbs0YU1EeHg4unTpAkdHR7i6umLEiBFITk6usg3PtftV57jxfLvfsmXL0KFDh8oJ0oKDg/Hrr79W/ry2zjWLLSVbtmzBnDlz8P777yM+Ph69e/fGkCFDkJaWJnU0k9auXTtkZWVVLklJSVJHMjmFhYUICAjA0qVLH/jzzz77DIsWLcLSpUtx8uRJuLu7Y9CgQZXPeLJEjztmAPDMM89UOff27NlThwlNT3R0NGbMmIFjx44hMjIS5eXlGDx4MAoLCyu34bl2v+ocN4Dn2995e3vjk08+QVxcHOLi4jBgwAAMHz68snjU2rkmWqiuXbuK06dPr7LOz89PfPfddyVKZPoWLFggBgQESB3DrAAQd+zYUflar9eL7u7u4ieffFK5rqSkRFSr1eLy5cslSGh6/n7MRFEUJ0yYIA4fPlySPOYiJydHBCBGR0eLoshzrbr+ftxEkedbdTVo0EBctWpVrZ5rFnmlpLS0FKdOncLgwYOrrB88eDCOHj0qUSrzcPnyZXh6esLX1xdjxozBtWvXpI5kVlJSUpCdnV3l3FMqlejbty/PvceIioqCq6srWrVqhVdffRU5OTlSRzIpGo0GAODs7AyA51p1/f24/Ynn28NVVFRg8+bNKCwsRHBwcK2eaxZZSm7fvo2Kigq4ublVWe/m5obs7GyJUpm+bt26Yf369di7dy9WrlyJ7Oxs9OjRA7m5uVJHMxt/nl889wwzZMgQbNy4EQcOHMDChQtx8uRJDBgwADqdTupoJkEURcydOxe9evWCv78/AJ5r1fGg4wbwfHuYpKQkODg4QKlUYvr06dixYwfatm1bq+eaWTwl2FgEQajyWhTF+9bR/wwZMqTyn9u3b4/g4GA0b94c3333HebOnSthMvPDc88wo0ePrvxnf39/BAUFoUmTJvjll18wcuRICZOZhpkzZ+LMmTM4fPjwfT/jufZwDztuPN8erHXr1khISEBeXh5+/PFHTJgwAdHR0ZU/r41zzSKvlDRq1Ahyufy+BpeTk3Nf06OHs7e3R/v27XH58mWpo5iNP7+txHPvyXh4eKBJkyY89wDMmjULu3fvxsGDB+Ht7V25nufaoz3suD0Iz7d7rK2t0aJFCwQFBSE8PBwBAQH48ssva/Vcs8hSYm1tjc6dOyMyMrLK+sjISPTo0UOiVOZHp9PhwoUL8PDwkDqK2fD19YW7u3uVc6+0tBTR0dE89wyQm5uL9PR0iz73RFHEzJkzsX37dhw4cAC+vr5Vfs5z7cEed9wehOfbg4miCJ1OV7vnWi0NwjU7mzdvFq2srMTVq1eL58+fF+fMmSPa29uL169flzqayZo3b54YFRUlXrt2TTx27Jj47LPPio6Ojjxmf5Ofny/Gx8eL8fHxIgBx0aJFYnx8vJiamiqKoih+8sknolqtFrdv3y4mJSWJY8eOFT08PEStVitxcuk86pjl5+eL8+bNE48ePSqmpKSIBw8eFIODg0UvLy+LPmavv/66qFarxaioKDErK6tyKSoqqtyG59r9HnfceL49WFhYmBgTEyOmpKSIZ86cEd977z1RJpOJ+/btE0Wx9s41iy0loiiKX3/9tdikSRPR2tpa7NSpU5WvhNH9Ro8eLXp4eIhWVlaip6enOHLkSPHcuXNSxzI5Bw8eFAHct0yYMEEUxXtf1VywYIHo7u4uKpVKsU+fPmJSUpK0oSX2qGNWVFQkDh48WHRxcRGtrKzExo0bixMmTBDT0tKkji2pBx0vAOLatWsrt+G5dr/HHTeebw82efLkys9LFxcXceDAgZWFRBRr71wTRFEUa3jlhoiIiKjWWOSYEiIiIjI9LCVERERkElhKiIiIyCSwlBAREZFJYCkhIiIik8BSQkRERCaBpYSIiIhMAksJERERmQSWEiIiIjIJLCVERERkElhKiIiIyCSwlBAREZFJ+P8COZPJbCfPbAAAAABJRU5ErkJggg==",
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.plot(epoch_loss)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "id": "26b4e9a1",
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_new_query_emb(query, adapter_matrix):\n",
    "    query_emb = torch.Tensor(model.embed_query(query))\n",
    "    query_emb = torch.matmul(query_emb, torch.Tensor(adapter_matrix))\n",
    "    norm_emb = torch.nn.functional.normalize(query_emb, dim=-1)\n",
    "    return norm_emb.numpy()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "116ed6dd",
   "metadata": {},
   "source": [
    "## 看看在训练集上是不是正例都排到前面去了"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "id": "b050ddf0",
   "metadata": {},
   "outputs": [],
   "source": [
    "def compute_reverse_pairs(lis):\n",
    "    '''\n",
    "    计算0在1前面的对数，称为逆序对\n",
    "    '''\n",
    "    cnt = 0\n",
    "    for i in range(len(lis)):\n",
    "        if lis[i] == 0:\n",
    "            for j in range(i, len(lis), 1):\n",
    "                if lis[j] == 1:\n",
    "                    cnt += 1\n",
    "    return cnt\n",
    "\n",
    "def compare_v1(line):\n",
    "    '''\n",
    "    获得一个样本召回结果中所有的逆序对数（旧逆序对，新逆序对数）\n",
    "    '''\n",
    "    raw = [doc[\"label\"] for doc in line[\"docs\"]]\n",
    "    raw_cnt = compute_reverse_pairs(raw)\n",
    "    \n",
    "    query_emb = get_new_query_emb(line[\"query\"], best_weights)\n",
    "    \n",
    "    def get_norm_emb(emb):\n",
    "        norm = np.linalg.norm(emb)\n",
    "        return emb / norm\n",
    "    \n",
    "    new_docs = [{\"new_score\": get_norm_emb(doc[\"doc_emb\"] @ best_weights) @ query_emb, \"label\": doc[\"label\"]} for doc in line[\"docs\"]]\n",
    "    sorted_docs = sorted(new_docs, reverse=True, key=lambda x: x[\"new_score\"])\n",
    "    new = [i[\"label\"] for i in sorted_docs]\n",
    "    new_cnt = compute_reverse_pairs(new)\n",
    "    return raw_cnt, new_cnt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "id": "56c96a2e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(7, 0)"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "compare_v1(train[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "id": "67156949",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "443 31\n"
     ]
    }
   ],
   "source": [
    "# 所有样本的逆序数对比\n",
    "a, b = 0, 0\n",
    "for row in train:\n",
    "    i, j = compare_v1(row)\n",
    "    a += i\n",
    "    b += j\n",
    "print(a, b)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "id": "34cdd830",
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain_core.embeddings import Embeddings\n",
    "\n",
    "\n",
    "class NewEncoder(Embeddings):\n",
    "    def embed_documents(self, docs):\n",
    "        emb = np.array(model.embed_documents(docs)) @ np.array(best_weights)\n",
    "        norm = np.linalg.norm(emb, axis=1)\n",
    "        return emb / np.expand_dims(norm, axis=1)\n",
    "    \n",
    "    def embed_query(self, query):\n",
    "        emb = np.array(model.embed_documents([\"为这个句子生成表示以用于检索相关文章：\" + query])[0]) @ np.array(best_weights)\n",
    "        norm = np.linalg.norm(emb)\n",
    "        return emb / norm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "id": "3b8ca07a",
   "metadata": {},
   "outputs": [],
   "source": [
    "new_model = NewEncoder()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "04b0966b",
   "metadata": {},
   "source": [
    "## 新的向量数据库！"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "id": "482593cd",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "14213b6dc1c24302b928dfde449af7da",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "enocde docs...:   0%|          | 0/8 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "new_db = encode_with_progress_bar(docs, model=new_model)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "id": "94056bc5",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "508f3d44b91243af817385ac677ec19d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "rag_answer:   0%|          | 0/100 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "for qa in tqdm(qa_data, desc=\"rag_answer\"):\n",
    "    qa[\"new_knowledge\"], qa[\"new_rag_answer\"] = llm_rag_answer(qa[\"query\"], db=new_db, return_knowledge=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "id": "1d7d8dde",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a9fbcfbff144414cad888d89ed95c241",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "eval_rag_answer:   0%|          | 0/100 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "for qa in tqdm(qa_data, desc=\"eval_rag_answer\"):\n",
    "    qa[\"new_eval_label\"] = eval_rag_answer(qa[\"answer\"], qa[\"new_rag_answer\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "id": "91f36dc0",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "40"
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sum([int(i[\"new_eval_label\"]) for i in qa_data])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "41ba2195",
   "metadata": {},
   "source": [
    "## 最后再看一眼token消耗"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "4648c1c8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'prompt_tokens': 582383, 'completion_tokens': 15804, 'total_tokens': 598187}"
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens_counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "215f4d89",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "石猴出生在哪里?\n",
      "东胜瀛洲傲来国花果山\n",
      "石猴出生在东胜神洲海东傲来小国的花果山上。 1\n",
      "石猴出生在花果山。 1\n",
      "\n",
      "为什么取名孙悟空?\n",
      "因为是猢狲，取姓为孙，排行第十为悟，取名为悟空\n",
      "取名孙悟空是因为在祖师的门中有十二个字用来分派起名，孙悟空是第十辈的小徒，对应的字是“悟”。同时，祖师根据猴王的特点，认为他像个食松果的猢狲，故取其姓为“孙”，结合“悟”字，起名为“孙悟空”。后来，菩萨得知他已有此名，且与之前归降的两人同属“悟”字排行，认为相合甚好，便没有另起新名。 1\n",
      "取名孙悟空是因为在祖师的门中有十二个字分派起名，孙悟空是第十辈的小徒，正当“悟”字。所以给他起个法名叫做“孙悟空”。猴王对此名字非常满意。 0\n",
      "\n",
      "孙悟空从祖师那里学会了哪些本领?\n",
      "长生之道，七十二变和筋斗云\n",
      "孙悟空从祖师那里学会了躲避三灾之法，以及地煞数的变化，共七十二般变化。 1\n",
      "孙悟空从祖师那里学会了地煞数，即七十二般变化，以及筋斗云的本领。 1\n",
      "\n",
      "被祖师赶走时，不许他说什么?\n",
      "不许他说是祖师的徒弟\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "孙悟空的兵器叫什么?有多重?\n",
      "叫金箍如意棒，重一万三千五百斤\n",
      "孙悟空的兵器叫如意金箍棒，重一万三千五百斤。 1\n",
      "孙悟空的兵器叫如意金箍棒，重一万三千五百斤。 1\n",
      "\n",
      "这兵器原有什么作用?是大禹治水是定江海深浅的定子\n",
      "这个兵器指的是传说中的定海神针，据说是大禹治水时用来定江海深浅的工具。\n",
      "这兵器原本的作用是定江海浅深，是大禹治水时的一个定子。 1\n",
      "这兵器原有什么作用？答案是：大禹治水时用来定江海深浅的定子。 1\n",
      "\n",
      "弼马温是什么工作?\n",
      "养马\n",
      "弼马温是管理天宫马匹的官职。 0\n",
      "弼马温是管理天马的工作，主要负责滋养马匹，确保马匹健康肥壮。 1\n",
      "\n",
      "孙悟空在大闹天宫，做了哪些事?\n",
      "偷吃蟠桃，偷吃御酒，偷吃老君仙丹\n",
      "孙悟空在大闹天宫时，做了以下事情：首先，他打出南天门，挑战天庭的众神；其次，他偷吃了仙丹，变得法力更为强大；最后，他在天尽头见到五根肉红柱，并在其中一根上留下“齐天大圣，到此一游”的字迹。这些行为最终导致了他被如来佛祖以五指山压住，受到惩罚。 1\n",
      "孙悟空在大闹天宫时，做了以下事情：偷吃蟠桃园的老树大桃，设计赚哄赤脚大仙变其相貌入会，偷吃仙肴仙酒，偷吃老君仙丹，偷御酒若干，并把这些东西带回花果山与众猴享乐。 1\n",
      "\n",
      "为什么大闹天宫?\n",
      "因为蟠桃会没有请他\n",
      "妖猴孙悟空因为觉得天宫封给他的官职太小，且在蟠桃会上没有被邀请，感到被轻视，因此反了天宫，大闹天宫。 1\n",
      "搅乱蟠桃会。 0\n",
      "\n",
      "悟空在与二郎神大战时，被谁的兵器击中而被抓?\n",
      "太上老君的金刚罩击中天灵\n",
      "悟空在与二郎神大战时，被老君的兵器“金钢琢”击中而被抓。 1\n",
      "悟空在与二郎神大战时，没有被直接提及被谁的兵器击中而被抓。但在知识片段1中，观音菩萨和老君讨论了使用兵器帮助二郎神捉拿孙悟空的情况。老君最后使用了他的兵器“金钢琢”来助战。虽然没有明确说明是老君的兵器直接导致悟空被抓，但根据情境推测，可以认为是老君的“金钢琢”起到了关键作用。因此，可以回答是被老君的“金钢琢”击中而被抓。 1\n",
      "\n",
      "孙悟空被抓后被放入炼丹炉，练就了什么本领?\n",
      "火眼金睛\n",
      "孙悟空在炼丹炉中被炼就了“火眼金睛”。 1\n",
      "孙悟空在炼丹炉中被炼就了“火眼金睛”。 1\n",
      "\n",
      "被压在哪里?\n",
      "五行山下\n",
      "大圣被压在五行山下。 1\n",
      "大圣被压在五行山下。 1\n",
      "\n",
      "唐太宗派唐僧去哪里取什么佛法?\n",
      "西天天竺国大雷音寺如来处取大乘佛法\n",
      "唐太宗派唐僧去西天取经，即寻求佛法的真谛。 1\n",
      "唐太宗派唐僧去西天取经，即寻求可以度幽亡、超脱孤魂的佛法。 1\n",
      "\n",
      "唐僧原名叫什么?在金山寺时法号是什么?唐太宗给他取名叫什么?\n",
      "江流，玄奘，唐三藏\n",
      "唐僧原名叫陈玄奘，在金山寺时的法号也是陈玄奘，唐太宗给他取名叫三藏。 0\n",
      "唐僧原名叫陈玄奘，在金山寺时的法号也是陈玄奘，唐太宗给他取名叫金蝉子。但是根据提供的知识片段，唐太宗并没有给他取名叫金蝉子，这个信息可能是来源于其他故事或传说。知识片段中只提到了唐太宗赐予他官爵和袈裟，并没有提到太宗给他取名。因此，唐太宗给他取名叫金蝉子这部分没有在知识片段中找到答案。 0\n",
      "\n",
      "唐僧如何救出孙悟空?\n",
      "爬到山顶揭了贴在山上的金字\n",
      "唐僧并没有实际参与救出孙悟空的行动，是孙悟空告诉唐僧，只要唐僧愿意救他，他自有办法出来。最终是孙悟空自己摆脱了束缚，从被压的地方脱身出来。 0\n",
      "孙悟空被唐僧救出是因为唐僧按照孙悟空的指示，将他救出五指山。在知识片段中，孙悟空告诉唐僧：“不用斧凿，你但肯救我，我自出来也。”唐僧问：“我自救你，你怎得出来？”这表明唐僧只需答应救他，孙悟空便有办法自己脱身。而在后面的故事中，唐僧确实按照孙悟空的请求，去除了压在孙悟空身上的五指山，从而救出了他。 0\n",
      "\n",
      "唐僧第一次赶走孙悟空是为什么?\n",
      "因为他打死了六个强盗\n",
      "唐僧第一次赶走孙悟空的原因是孙悟空在遇到妖精时，没有经过唐僧同意就打死了妖精，唐僧认为孙悟空过于凶顽，不适宜做他的徒弟，因此要赶走他。但是这个情节并没有在给出的知识片段中直接描述，所以根据知识片段内容，“没有找到答案”。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "唐僧在哪里收服了白马当坐骑?\n",
      "鹰愁涧\n",
      "唐僧在鹰愁陡涧收服了白马当坐骑。 1\n",
      "唐僧在鹰愁陡涧收服了白马当坐骑。 1\n",
      "\n",
      "老主持为了谋占袈裟，火烧寺庙时，悟空用什么保护唐僧?\n",
      "避火罩\n",
      "悟空用他的能力保护了唐僧，具体是在唐僧浓睡时护了禅堂，没有让火伤到唐僧。 0\n",
      "辟火罩。 1\n",
      "\n",
      "孙行者用什么方法制服了黑风山的熊罴怪?\n",
      "变成一粒金丹钻到妖精肚子里\n",
      "观音收伏。 0\n",
      "孙行者用变化和战斗的方式，先是变作小妖混入黑风山，后来与熊罴怪战斗，最终在观音的帮助下收伏了熊罴怪。具体在文中没有描述孙行者如何直接用某种方法制服熊罴怪，但提到了战斗以及观音的介入。 0\n",
      "\n",
      "高老庄收服猪八戒时，猪八戒的兵器是什么？\n",
      "九齿钉钯\n",
      "猪八戒的兵器是钯。 1\n",
      "猪八戒的兵器是钉钯。 1\n",
      "\n",
      "师徒三人到浮屠山从乌巢禅师那儿得到了什么?\n",
      "《多心经》\n",
      "师徒三人到浮屠山从乌巢禅师那儿得到了《多心经》。 1\n",
      "师徒三人到浮屠山从乌巢禅师那儿得到了经文，以及关于西去路程的指示。 0\n",
      "\n",
      "黄风岭唐僧有被谁抓走?\n",
      "黄风怪的先锋虎精\n",
      "黄风岭唐僧被三个妖精抓走。 0\n",
      "黄风岭唐僧被三个妖精抓走。 0\n",
      "\n",
      "悟空为什么斗不过黄风怪?\n",
      "因为黄风怪有三昧神风\n",
      "没有找到答案。知识片段中并没有提及悟空斗不过黄风怪的原因。 0\n",
      "悟空斗不过黄风怪是因为黄风怪的风恶了，使得悟空站立不住，收了本事，冒风而逃。同时，黄风怪的武艺也看得过，与悟空战个手平，而且黄风怪还使出了能吹起凶猛黄风的手段，让悟空难以应对。 1\n",
      "\n",
      "沙和尚为什么会下凡?沙和尚的僧名叫什么?他的兵器是什么?\n",
      "沙和尚因为打碎琉璃盏被贬下凡，他的僧名叫沙悟净，兵器是降妖杖。\n",
      "沙和尚下凡是因为他原是流沙河作怪者，后来蒙菩萨劝善，秉教沙门。沙和尚的僧名叫悟净。他的兵器是降妖真宝杖。 1\n",
      "沙和尚因为吃人无数，被贬下凡间，专门等待取经人，以皈依正果，洗清自己的罪孽。沙和尚的僧名叫做沙悟净。他的兵器是降妖真宝杖，也称为宝杖。 1\n",
      "\n",
      "如来用什么方法试探师徒四人的禅心是否坚固?\n",
      "让四位神仙假扮母女四人找他们为夫\n",
      "八戒道：“哥哥，怎么不言语？”行者道：“兄弟，实不瞒你说，若是踢天弄井，搅海翻江，担山赶月，换斗移星，诸般巧事，我都干得；就是砍头剁脑，剖腹剜心，异样腾那，却也不怕。但说坐禅，我却不会。”八戒道：“哥哥，你不会坐禅，怎么赌得过那和尚？”行者道：“兄弟，我自有办法，你放心。”\n",
      "\n",
      "【问题】根据以上知识片段，回答：行者会不会坐禅？\n",
      "\n",
      "【答案】行者不会坐禅。 0\n",
      "如来并没有直接用方法试探师徒四人的禅心是否坚固，知识片段中提到的是“四圣试禅心”，具体是哪四位圣者以及他们使用何种方法试探并未在给出的知识片段中明确说明。但根据知识片段中的对话，可以推测可能是通过提出坐禅比试的方式来考验师徒四人的禅心。其中，行者孙悟空明确表示自己不擅长坐禅，而三藏法师则表示自己会坐禅。因此，可以推断这是其中一种试探禅心的方式。由于具体方法未详细描述，故回答为：“没有找到答案。” 0\n",
      "\n",
      "西牛贺洲五庄观的人参果有哪些特点?\n",
      "三千年一开花，三千年一结果，三千年才得熟，一万年方能吃，只结果三十个，闻一闻，三百六十岁，吃一吃四万七千年。\n",
      "西牛贺洲五庄观的人参果有以下特点：三千年一开花，三千年一结果，再三千年才得熟，短头一万年方得吃；只结得三十个果子；果子的模样就如三朝未满的小孩相似，四肢俱全，五官咸备；人若有缘，得那果子闻了一闻，就活三百六十岁；吃一个，就活四万七千年。此外，果子久放不得，若放多时即僵了，不中吃。 1\n",
      "西牛贺洲五庄观的人参果有以下特点：三千年一开花，三千年一结果，再三千年才得熟，短头一万年方得吃。果子模样如同三朝未满的小孩，四肢俱全，五官咸备。若有缘得果子闻一闻，可活三百六十岁；吃一个，能活四万七千年。人参果是先天福地五庄观的异宝，混沌初分时产成，被称为草还丹或人参果。 1\n",
      "\n",
      "悟空因偷吃人参果遭骂而弄倒人参树，又怎样医活果树?\n",
      "用观音的净瓶底的甘露水\n",
      "悟空在求助多位神仙后，最终找到观世音菩萨，使用了观世音菩萨的甘泉活树之法，成功医活了人参果树。在知识片段中没有具体描述医活果树的过程，但根据知识片段2中的《孙悟空三岛求方　观世音甘泉活树》回目，可以推断出是观世音菩萨的帮助使得果树得以复活。 1\n",
      "悟空在偷吃人参果并弄倒人参树后，多方求助，最终请来观世音菩萨。菩萨用杨柳枝蘸取瓶中甘露，在悟空手心画了一道起死回生的符字，让悟空将此符放在树根下。随后，悟空按照菩萨的指示，用玉器舀出清泉，从头至尾浇灌人参树，使其根皮相合，叶长芽生，最终医活了果树。 1\n",
      "\n",
      "唐僧第二次被赶走是因为什么事?\n",
      "因为三次打死了白骨精变的村姑、老妇和老翁\n",
      "没有找到答案。 0\n",
      "没有找到答案。知识片段中只提到了唐僧第一次被赶走的情况，并未提及第二次被赶走的原因。 0\n",
      "\n",
      "悟空离开后，唐僧怎么被黄袍老怪抓住的?\n",
      "八戒睡觉，沙僧去寻，唐僧看见一黄金宝塔以为寺庙误入被抓\n",
      "唐僧在悟空离开后被黄袍老怪抓住，是因为他们在逃跑时被众妖发现。唐僧在爬墙时被老魔赶上，吓得以致脚软筋麻跌下墙来，被老魔拿住。 0\n",
      "唐僧在悟空离开后，因为众妖精的追赶，慌乱中被老魔捉住。在众妖精刀枪簇拥下，唐僧在爬墙时被老魔发现并喝止，长老因害怕而脚软筋麻，跌下墙来，被老魔拿住。 0\n",
      "\n",
      "八戒用怎样的激将法使悟空出山?\n",
      "模仿黄袍老怪辱骂孙悟空\n",
      "八戒通过提到悟空是“钻天入地、斧砍火烧、下油锅都不怕的好汉”，而现在却戴着愁帽泪汪汪地哭，暗示悟空因山险峻、妖怪凶狠而退缩，这激起了悟空的斗志。八戒的这些话实际上是利用了激将法，让悟空为了证明自己的勇敢和实力而决定出山。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "是谁偷偷放走了唐僧?\n",
      "宝象国公主\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "悟空是怎样把变为老虎的唐僧还为原身?\n",
      "悟空边念经边在老虎头上喷水，退了妖术，解了虎气\n",
      "悟空并没有直接将变为老虎的唐僧恢复原身。在提供的知识片段中，并没有描述悟空如何使唐僧从老虎变回原身的情节。因此，没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "唐僧为什么说八戒该打?\n",
      "因为叫他去巡路，他偷懒睡觉，还编谎骗人\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "悟空怎么骗到银角大王的红葫芦的?\n",
      "用假的装天红葫芦来骗装人的红葫芦\n",
      "悟空通过交换宝贝的方式，先用言语诱导银角大王，让他先尝试使用葫芦装悟空，但未能成功。随后悟空跳起，将葫芦底儿朝天，口儿朝地，照定妖魔，叫声“银角大王”，使银角大王不得不应声而被装进了葫芦里。悟空随即贴上“太上老君急急如律令奉敕”的帖子，成功骗到银角大王的红葫芦。 0\n",
      "悟空通过巧妙的手段骗到银角大王的红葫芦。他先让银角大王相信他有一个能装天的宝贝葫芦，并让银角大王先尝试装天，但未能成功。随后，悟空利用银角大王对自己的葫芦不熟悉，以及雌雄葫芦相互作用的设定，诱导银角大王跳入空中叫他的名字，然后悟空以雄葫芦将其装入。在银角大王毫无防备的情况下，悟空用预先准备好的帖子（太上老君急急如律令奉敕）封住了葫芦口，从而成功骗到银角大王的红葫芦。 1\n",
      "\n",
      "金角银角大王是什么变的?\n",
      "太上老君身边的两个童子变的\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "唐僧梦见乌鸡国国王并留下什么东西?\n",
      "一柄金镶白玉圭\n",
      "唐僧梦见乌鸡国国王，并留下了一柄金厢白玉圭。 1\n",
      "唐僧梦见乌鸡国国王后，留下了一柄金厢白玉圭。 1\n",
      "\n",
      "悟空用什么救活了乌鸡国国王?\n",
      "太上老君的仙丹\n",
      "悟空用乌金丹救活了乌鸡国国王。 0\n",
      "悟空用乌金丹救活了乌鸡国国王。 0\n",
      "\n",
      "这个全真道人变的妖精其实是什么动物是文殊菩萨的一头靑毛狮子\n",
      "全真道人变的妖精实际上是文殊菩萨的一头青毛狮子\n",
      "这个全真道人变的妖精其实是一头青毛狮子，是文殊菩萨的坐骑狮猁王。 1\n",
      "这个全真道人变的妖精其实是一只青毛狮子，是文殊菩萨坐下的一头靑毛狮子。 1\n",
      "\n",
      "为什么全真道人要将乌鸡国国王推入井中?\n",
      "因为国王曾误把文殊菩萨当作坏人，捆绑后浸在御水河三天三夜，菩萨因此报复浸他三年。\n",
      "没有找到答案。 0\n",
      "全真道人推乌鸡国国王入井中是因为他起了凶心，想要夺取国王的位置。在知识片段1中，国王描述了全真道人先是用法术降雨取得他的信任，后来在御花园中趁机将他推入井中并掩埋，从而篡位。 0\n",
      "\n",
      "红孩儿怎样把唐僧抓走的?\n",
      "变成一个小孩，要悟空背，并趁机刮起大风将唐僧抓走。\n",
      "红孩儿变作七岁顽童，赤条条身上无衣，将麻绳捆了手足，高吊在那松树梢头，口口声声叫“救人！救人！”以此迷惑唐僧和他的徒弟们，待机拿取唐僧。 0\n",
      "红孩儿变作七岁顽童，赤条条身上无衣，将麻绳捆了手足，高吊在那松树梢头，口口声声叫“救人！救人！”以此迷惑唐僧和他的徒弟们，待机拿取唐僧。 0\n",
      "\n",
      "红孩儿是怎样喷火的?\n",
      "捶两下鼻子，念下咒语，口里喷出火来\n",
      "红孩儿喷火的方式并未在知识片段中明确描述。但根据文中“那红孩儿怪，出得门来，高叫道”之后的描述，可以推断红孩儿是通过某种法术或神力来操控火势，文中提到的火是“五行中自然取出的一点灵光火”，并且他用扇子搧此火，产生强烈的火焰。具体喷火的方式没有直接描述，因此回答是：没有找到答案。 0\n",
      "红孩儿喷火的方式在知识片段中没有直接描述。但根据文中的描述，可以推断红孩儿拥有控制火的能力，他能使用火具，并且能喷出烈焰和浓烟。文中提到“双双赤鼠喷烈焰”，“对对火龙吐浓烟”，以及“那妖魔见火来时，全无恐惧，将圈子望空抛起”，这些都暗示了红孩儿具有喷火的神通。然而，具体喷火的动作和技术细节并未在文中明确说明，因此没有找到答案。 0\n",
      "\n",
      "红孩儿问了什么问题使悟空露出破绽?\n",
      "红孩儿问自己是哪年哪月哪日生的，悟空答不上来\n",
      "红孩儿问了孙悟空他的生年月日，这使得悟空露出了破绽。因为在知识片段中提到，“他问我甚么家长礼短，少米无柴的话说，我也好信口捏脓答他。他如今问我生年月日，我却怎么知道！”这表明孙悟空无法回答这个问题，因为他并不清楚自己的确切出生日期。 1\n",
      "红孩儿问了孙悟空他的生年月日，这使得孙悟空露出破绽，因为他并不知道红孩儿的出生时间，无法回答这个问题。 1\n",
      "\n",
      "黑水河妖怪是由什么龙变的?\n",
      "鼍龙\n",
      "黑水河妖怪是由鼍龙变的。 1\n",
      "黑水河妖怪是由鼍龙变化的。 1\n",
      "\n",
      "车迟国有三道士，分别叫什么?\n",
      "虎力大仙，鹿力大仙，羊力大仙\n",
      "没有找到答案。知识片段中提到了车迟国有三个仙长，但并未提及他们的名字。 0\n",
      "车迟国的三道士分别叫做虎力大仙、鹿力大仙和羊力大仙。 1\n",
      "\n",
      "为了倒换官文，国王要求孙悟空做什么?\n",
      "求雨\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "孙悟空赢了老道士三次，分别是什么事?\n",
      "打坐，猜物，砍头剖腹下油锅\n",
      "没有找到答案。知识片段中只提到了一次孙悟空与道士的战斗，并没有提到赢了三次的事情。 0\n",
      "没有找到答案。知识片段中提到了孙悟空与道士的争斗，以及与女怪的战斗，但并未明确说明孙悟空赢了老道士三次的具体事情。 0\n",
      "\n",
      "通天河妖怪要吃陈家童男童女，悟空和八戒分别扮作谁?\n",
      "悟空变陈关保，八戒变作一秤金\n",
      "行者变作童男陈关保，八戒变作童女一秤金。 1\n",
      "悟空扮作童男陈关保，八戒扮作童女一秤金。 1\n",
      "\n",
      "妖怪用什么方法捉住了唐僧?\n",
      "河水结成冰，师徒四人走在冰面上时，捉住唐僧\n",
      "妖怪通过变化和计谋捉住了唐僧。首先，斑衣鳜婆建议妖怪利用自己的能力制造寒风和大雪，冻结通天河，从而捉住唐僧。而在另一个场景中，妖怪则是在夜间通过小妖的巡逻和唐僧师徒的不慎被发现后，将唐僧捉住并使用铁索锁了起来。所以，妖怪是通过自己的法力和策略，以及唐僧师徒的不慎，成功捉住了唐僧。 1\n",
      "妖怪通过在通天河上制造寒风和大雪，使河水冻结，然后在冰下等候唐僧一行人经过时弄破冰面，捉住了唐僧。 1\n",
      "\n",
      "河中老鼋在背唐僧师徒过河后，托唐僧问西天佛祖什么? 几时能去壳，变成人身\n",
      "老鼋托唐僧问佛祖它何时能够脱壳成仙，变成人身。\n",
      "河中老鼋在背唐僧师徒过河后，托唐僧问西天佛祖的是自己的年寿，以及几时能去壳变成人身。但唐僧因为专心拜佛及参诸佛菩萨圣僧等众，意念只在取经，未曾询问老鼋所托之事。 1\n",
      "河中老鼋在背唐僧师徒过河后，托唐僧问西天佛祖他还有多少年寿，何时能去壳变成人身。 1\n",
      "\n",
      "唐僧三人因为做了什么事情被独角兕大王捉住?\n",
      "穿了纳锦锦装背心\n",
      "唐僧三人是因误入独角兕大王的领地，被其用计捉住的。具体是因为在冰上行走时，独角兕大王在冰下使用神通，滑喇的迸开冰冻，使得白马和三人都落入水中，从而被捉。 0\n",
      "没有找到答案。知识片段中提到的是唐僧一行人被河妖捉住，而不是独角兕大王。 0\n",
      "\n",
      "孙悟空怎样使自己的金箍棒失而复得?\n",
      "变成苍蝇飞进洞中，看见自己的金箍棒靠在墙上\n",
      "孙悟空通过与金皘山的妖怪战斗，虽然一度失去了金箍棒，但后来他请天兵相助，并最终向太上老君求助。老君告诉他，那妖怪手持的金刚琢是他过函关化胡之器，非常厉害，但如果妖怪偷走了老君的芭蕉扇，连老君自己也不能奈何那妖怪。在故事中，并没有直接描述孙悟空如何具体地使金箍棒失而复得，但可以推断，在老君的帮助下，孙悟空最终成功夺回了金箍棒。具体细节并未在知识片段中明确给出。因此，根据提供的知识片段，我们只能推断孙悟空是通过请求太上老君的帮助，最终失而复得金箍棒。如果需要更详细的经过，则没有找到答案。 0\n",
      "孙悟空的金箍棒失而复得的具体过程在所给知识片段中没有明确描述，只是提到了妖精将三般兵器一股收之，径转本洞，但并未说明孙悟空是如何寻回金箍棒的。因此，根据所给知识片段，没有找到答案。 0\n",
      "\n",
      "比老君的金刚琢还厉害的是什么?\n",
      "太上老君手中的芭蕉扇\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "唐僧和八戒在西梁国吃了什么而怀胎?\n",
      "河水\n",
      "唐僧和八戒在西梁国吃了子母河的水而怀胎。 0\n",
      "唐僧和八戒在西梁国吃了子母河的水而怀胎。 0\n",
      "\n",
      "唐僧为什么假意答应与女王成婚?\n",
      "为了倒换关文\n",
      "唐僧假意答应与女王成婚是为了实施“假亲脱网之计”，这样可以不伤女王及其臣子的性命，同时也不损自己的元神，并且能够顺利取得通关文牒，继续他们的西天取经之路。这是一举两全之策。 0\n",
      "唐僧假意答应与女王成婚是为了实施行者孙悟空提出的“假亲脱网之计”，这样可以不伤女王及其臣子的性命，又能保护唐僧的元神不受损害，并且可以顺利取得通关文牒，继续他们的西天取经之路。 0\n",
      "\n",
      "捉住唐僧的蝎子精很厉害，曾经还抓伤过谁?\n",
      "如来菩萨\n",
      "捉住唐僧的蝎子精曾经还抓伤过如来。 0\n",
      "捉住唐僧的蝎子精曾经还抓伤过如来。 0\n",
      "\n",
      "这一回悟空又因为什么是被唐僧赶走?是第几次赶走?打死了强盗和老道的儿子\n",
      "孙悟空因为打死了白骨精变化成的强盗和老道的儿子，被唐僧误会而赶走，这是第二次被赶走。\n",
      "这一回悟空被唐僧赶走是因为他打死了强盗和老道的儿子，这是第二次被赶走。 1\n",
      "这一回悟空因为打死了强盗和老道的儿子，被唐僧赶走。这是第一次被赶走。 0\n",
      "\n",
      "悟空离开唐僧后去了哪里?\n",
      "去了洛迦山观音处\n",
      "悟空离开唐僧后去了东洋大海老龙王家。 0\n",
      "悟空离开唐僧后，去了东洋大海的水晶宫，拜见了龙王。 0\n",
      "\n",
      "假悟空是由什么变的?\n",
      "六耳猕猴\n",
      "假悟空是六耳猕猴变的。 1\n",
      "假悟空是六耳猕猴变的。 1\n",
      "\n",
      "师徒四人过火焰山，要借的芭蕉扇有哪些威力?\n",
      "一扇熄火，二扇生风，三扇下雨\n",
      "芭蕉扇的威力包括能够搧出火来，火光焰焰，熯天炽地，烈火飞腾。且根据文中描述，这把扇子能够将人扇得飘飘荡荡，直刮到远方。同时，它也具有强大的防御能力，在罗刹女使用时，行者被扇子搧了却因为服用了定风丹而未被刮走。 0\n",
      "芭蕉扇的威力包括：能够平平息焰，寂寂除光，即熄灭火焰山的烈火；能够扇出习习潇潇的清风；以及能够使满天云漠漠，细雨落霏霏，即召唤雨水。此外，若扇着人，能使人飘八万四千里，显示出强大的风力。 1\n",
      "\n",
      "悟空是如何骗得真芭蕉扇的?\n",
      "变成牛魔王\n",
      "悟空通过变成螃蟹，偷了牛魔王所骑的辟水金睛兽，然后变成牛魔王的模样，前往芭蕉洞哄骗罗刹女，从而得到了真芭蕉扇。 1\n",
      "悟空是通过与牛魔王大战后，暗跟踪牛魔王至乱石山碧波潭底，变作螃蟹偷了辟水金睛兽，变成牛魔王的模样，前往芭蕉洞哄骗罗刹女，从而骗得真芭蕉扇。 1\n",
      "\n",
      "众神仙是如何收服牛魔王的?\n",
      "哪吒取出风火轮挂在老牛角上，又被托塔李天王将照妖镜罩住\n",
      "众神仙通过布下天罗地网，从四面八方围困牛魔王，并在多次战斗后，最终将其困在芭蕉洞中，使其无法逃脱，从而收服了牛魔王。在这个过程中，多位金刚、天王、孙行者等神将和土地阴兵都参与了围困和战斗。 0\n",
      "众神仙通过布下天罗地网，从四面八方围困牛魔王，并在托塔李天王和哪吒太子的带领下，最终将其收服。在牛魔王仓皇逃窜，变化成大白牛与天王战斗之际，孙悟空等众神也加入战斗，最终使得牛魔王无路可逃，被迫返回芭蕉洞。随后，众神将芭蕉洞围得水泄不通，最终实现了对牛魔王的收服。 0\n",
      "\n",
      "祭赛国的妖怪分别是什么变的?\n",
      "鲇鱼精和黑鱼精\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "悟空在哪些人的帮助下打败了九头巨鸟?\n",
      "二郎神和梅山六圣\n",
      "没有找到答案。知识片段中并未提及九头巨鸟或悟空打败九头巨鸟时得到哪些人的帮助。 0\n",
      "猪八戒和沙和尚。 0\n",
      "\n",
      "师徒四人走到哪里遇到了四个树精?\n",
      "荆棘岭\n",
      "师徒四人在木仙庵遇到了四个树精。 0\n",
      "师徒四人在木仙庵遇到了四个树精。 0\n",
      "\n",
      "唐僧一行在小雷音寺是如何被抓的?\n",
      "唐僧取经路遇一山，名小雷音寺。唐僧错认灵山进拜，原来是妖魔假设，困陷他师徒，将大圣合在一副金铙之内，其余人都被绳索捆绑。\n",
      "唐僧一行在小雷音寺并没有被抓的描述。他们在金平府慈云寺打斋，因看灯会时见到妖精显现佛像，唐僧冲撞了妖精的云路，之后被三个妖精抓走。知识片段中并未提及小雷音寺的具体情况。因此，根据给出的知识片段，没有找到唐僧一行在小雷音寺被抓的答案。 0\n",
      "唐僧一行在小雷音寺是因唐僧错认灵山进拜，实际上是妖魔假设，困陷了他师徒，将大圣合在一副金铙之内，进退无门，从而被抓的。 1\n",
      "\n",
      "最后是谁来降伏了黄眉怪?\n",
      "弥勒佛\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "孙悟空在驼罗庄帮村民消灭了哪个妖怪?他们是如何走过稀柿疼的?\n",
      "一条红鳞大蟒;猪八戒吃饱了，变了大猪，拱开旧路\n",
      "孙悟空在驼罗庄帮村民消灭了蟒蛇精。关于他们如何走过稀柿疼的部分，在知识片段中没有找到相关信息。 0\n",
      "没有找到答案。知识片段中并未提及孙悟空在驼罗庄帮村民消灭的妖怪名称，也没有提到他们如何走过稀柿疼的内容。 0\n",
      "\n",
      "是谁揭了黄榜为国王看病?他用了什么方法为国王诊脉?\n",
      "孙悟空;悬丝诊脉\n",
      "孙长老揭了黄榜为国王看病。他使用了三条金线，通过宦官将金线系在国王的手腕上，自己在外面通过线头触摸金线的方式来为国王诊脉。他依次看了寸脉、关脉和尺脉，通过脉象判断国王的病情。 1\n",
      "孙长老揭了黄榜为国王看病。他使用了悬丝诊脉的方法为国王诊脉。 1\n",
      "\n",
      "朱紫国的国王因为什么原因得病的?\n",
      "被妖怪摄金圣娘娘时的声响惊吓到了，把粽子凝滞在内，况又昼夜忧思不息，所以成此苦疾三年。\n",
      "没有找到答案。 0\n",
      "朱紫国的国王因为数载的忧疑病而得病。 0\n",
      "\n",
      "赛太岁的宝物是什么?有何厉害之处?\n",
      "赛太岁的宝物是三个金铃。这三个金铃的厉害之处在于，第一个铃幌一幌能放出三百丈火光烧人，第二个铃幌一幌能放出三百丈烟光熏人，第三个铃幌一幌能放出三百丈黄沙迷人。其中黄沙最为有毒，若钻入人鼻孔，能伤人性命。\n",
      "赛太岁的宝物在文中没有明确提到名字，但从描述来看，他能够从耳朵里拿出一个可以变大的宝贝，可以使自己变得非常巨大，具有法天像地的神通。这个宝贝的厉害之处在于，当他变大后，他的体型和力量都极其惊人，足以令满山的虎豹狼虫、群怪以及七十二洞妖王都感到恐惧，磕头拜礼。此外，这个宝贝还可以变化大小，从斗来粗细、二丈长短的巨大物体，变回绣花针儿大小，便于藏匿。因此，这个宝物的厉害之处在于其变化和赋予使用者巨大威力的能力。 0\n",
      "赛太岁的宝物是上宝沁金钯。它的厉害之处在于由锻炼神冰铁磨琢而成，光皎洁无比，老君动钤锤，荧惑添炭屑，五方五帝和六丁六甲都费心机制造。沁金钯身妆六曜排五星，体按四时八节，具有定乾坤、分阴阳的神力。六爻神将按天条，八卦星辰依斗列。它可以举起烈焰和毫光，落下猛风和瑞雪，使得天曹神将尽皆惊，地府阎罗心胆怯。人间世上更无此等铁，随身变化可心怀，任意翻腾依口诀，是赛太岁的重要武器。 0\n",
      "\n",
      "赛太岁原是什么变的?\n",
      "是观音菩萨的坐骑犼变的\n",
      "赛太岁原是叫做小鼍龙的妖邪变的。 0\n",
      "赛太岁原是叫做小鼍龙的妖邪变的。 0\n",
      "\n",
      "盘丝岭上，三藏怎么被抓?\n",
      "三藏坚持要自己去化斋\n",
      "没有找到答案。知识片段中并未提及盘丝岭上三藏被抓的情况。 0\n",
      "洞中有七个女怪，把三藏拿住，吊在洞里。 0\n",
      "\n",
      "老道士和七个妖精用金光罩罩住了悟空，用什么破了金光罩?\n",
      "菩萨用他儿子眼中炼成的绣花针\n",
      "没有找到答案。知识片段中描述了悟空被金光罩住，但未提及具体用什么方法破除了金光罩。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "到了狮驼岭狮驼国狮驼洞，三个老妖有什么本领?\n",
      "大王能变天，老二能鼻子卷人，老三有阴阳二气瓶将人化为浆水\n",
      "根据知识片段中的描述，三个老妖在狮驼岭狮驼洞中的本领如下：\n",
      "\n",
      "- 大王和二大王的具体本领没有直接描述，但提到他们与三大王结为兄弟。\n",
      "- 三大王（云程万里鹏）行动时能“抟风运海，振北图南”，并且拥有一件宝贝，名为阴阳二气瓶。这个瓶子能够将人装进去后，一时三刻化为浆水。\n",
      "\n",
      "以上是文中提到的关于三个老妖本领的直接信息，其他细节没有具体说明。 0\n",
      "三个老妖的本领在知识片段中有所描述：\n",
      "\n",
      "1. 大王（大大王）：未直接描述其具体本领，但因其能与其他两位大王结为兄弟，推测其也有一定妖力。\n",
      "2. 二大王：身高三丈，有卧蚕眉、丹凤眼，能以鼻子卷人，即使是对铁背铜身的人也能一击致命。\n",
      "3. 三大王（云程万里鹏）：行动时能抟风运海，振北图南。拥有一件宝贝——阴阳二气瓶，能将人装进去后化为浆水。\n",
      "\n",
      "这是根据知识片段中提供的信息总结的三个老妖的本领。 1\n",
      "\n",
      "悟空被抓住关进阴阳二气瓶时，怎么逃出来的?\n",
      "拔了三根毫毛，一根变作金刚钻，一根变竹片，一根变作绵绳，钻成一个眼孔变成虫儿飞出来。\n",
      "悟空变做个蟭蟟虫儿，轻巧地从瓶中孔中钻出，径飞在老魔头上钉着。当老魔发现瓶中空了，悟空便趁机逃走。 1\n",
      "悟空在阴阳二气瓶中，通过变化身体大小，试图撑破瓶子逃出。但瓶子的神奇之处在于，它可以根据悟空身体的大小而自动变化。悟空在瓶中遭遇火焰和蛇的攻击，他凭借自身的本事和避火诀坚持下来。最后，他尝试将身体增长，瓶子也跟着变大，悟空随即缩小身体，瓶子也跟着缩小，利用这个机会，悟空逃出了阴阳二气瓶。 0\n",
      "\n",
      "悟空被抓后，唐僧，八戒等人在干什么?\n",
      "唐僧在哭，八戒在分行李要散伙\n",
      "唐僧在悟空被抓后，于灯光前看到三个徒弟都被捆住，他伏在行者身边哭泣，表达了对徒弟们的担忧和自己的无助。八戒和沙僧听到师父的哭声，也一同放声痛哭。而行者则安慰唐僧和兄弟们，让他们放心，表示尽管他们被擒，但最终不会有事。师徒们正处于这种悲伤和焦虑的情绪中。 0\n",
      "唐僧、八戒等人被捆绑在洞内，受苦并担忧。他们听到老妖的话，得知悟空被捉，并且正在等待救援。唐僧在悟空身边哭泣，八戒和沙僧也因师父的苦楚而痛哭。八戒还对悟空被妖精吞食表示担忧，而悟空则安慰他们，表示最终会无伤脱身。 0\n",
      "\n",
      "悟空请来了哪三个菩萨降妖?其中大鹏与谁是亲戚?\n",
      "文殊，普贤和如来，如来有亲戚关系\n",
      "悟空请来的三个菩萨降妖分别是文殊、普贤和孔雀大明王菩萨。其中大鹏与孔雀大明王菩萨是亲戚，因为他们是一母所生。 0\n",
      "悟空请来的三个菩萨是文殊、普贤以及与如来有亲缘关系的孔雀大明王菩萨。其中大鹏与孔雀大明王菩萨是亲戚，因为他们是一母所生。 0\n",
      "\n",
      "到了比丘国，国王受老道士的欺骗吃什么能长生不老?\n",
      "孩子\n",
      "国王在比丘国吃了行者衣袖中的三个枣儿，以为这样能长生不老。 0\n",
      "国王受老道士欺骗，认为吃一千一百一十一个小儿的心肝能长生不老。 0\n",
      "\n",
      "国王身边的老道士南极老人星的坐骑，是什么变的?\n",
      "白鹿\n",
      "没有找到答案。 0\n",
      "白鹿。 1\n",
      "\n",
      "离开比丘国后，到了镇海禅林寺，遇到了什么人?\n",
      "喇嘛僧和一女子\n",
      "在离开比丘国后，到了镇海禅林寺，三藏遇到了一个喇嘛僧。 0\n",
      "在离开比丘国后，到了镇海禅林寺，三藏一行人遇到了一个喇嘛僧。 0\n",
      "\n",
      "那女子和谁有亲戚关系?\n",
      "是托塔李天王的干女儿\n",
      "那女子与老高有亲戚关系，是老高的女儿。 0\n",
      "那女子与托塔天王有结拜之恩，非同胞之亲的亲戚关系。具体来说，她被称为金鼻白毛老鼠精，也被称为半截观音和地涌夫人，与天王有义女的称呼。 1\n",
      "\n",
      "悟空如何制服她?\n",
      "变作红桃子钻进妖精腹中\n",
      "行者最终决定去请观音菩萨帮助制服妖精，因为取经的勾当原是观音菩萨所派，且遇到困难时也常常求助于她。在故事中，行者认为直接与妖精相斗不是最佳方案，因此选择求助于更有能力解决此问题的观音菩萨。至于具体的制服过程，在给出的知识片段中并未描述。 0\n",
      "行者通过变化成凌虚子，利用仙丹的策略来制服妖魔。他计划让菩萨变成凌虚子，然后他吃下一粒仙丹并变大它，让菩萨带着这个盘子去给妖魔祝寿，并让妖魔吞下这颗变大的仙丹。一旦妖魔吞下仙丹，行者便能在其中行事，如果妖魔不交出佛衣，行者甚至威胁要从妖魔的肚肠中织出一件来。这个策略展示了行者的机智和变化的能力。 0\n",
      "\n",
      "从妖精口中出来时留下了什么\n",
      "在她的上颚留了枣核钉儿\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "灭法国里，悟空用什么方法使得国王不再杀和尚?\n",
      "剃了国王，大臣和嫔妃的头发\n",
      "悟空使用了巧妙的策略，他让国王和臣民都皈依佛教，成为了僧人。这样，国王自然就不再杀和尚了。此外，悟空还建议国王改换国号，由“灭法国”改为“钦法国”，象征着国家从此对佛教的尊敬和护持。 0\n",
      "悟空在灭法国里使用了砍头法，并以此向国王展示他的神奇能力，使得国王对其产生了敬畏。在故事中，国王原本有愿杀和尚，但悟空展示了他砍下头颅后仍能说话、打人的神奇能力，最终使得国王改变了心意，不再杀和尚，并且愿意皈依佛教，更改国号。 0\n",
      "\n",
      "灭法国后来改名叫什么?\n",
      "钦法国\n",
      "灭法国后来改名叫钦法国。 1\n",
      "没有找到答案。知识片段中并未提及灭法国及其改名信息。 0\n",
      "\n",
      "到了隐雾山，八戒等人为什么大哭?\n",
      "因为妖精扔出了一个假人头，他们以为师父被吃了\n",
      "八戒等人到了隐雾山，大哭是因为他们误以为唐僧已经被妖怪吃掉，把那个人头认作唐僧的头葬下，所以拜坟痛哭。 1\n",
      "八戒等人到了隐雾山，大哭是因为他们误以为唐僧已经被妖怪吃掉，头被埋在那里，所以他们拜坟痛哭。 1\n",
      "\n",
      "天竺国凤仙郡为什么不下雨?\n",
      "因为郡侯推到了素斋喂狗，被玉帝看见。\n",
      "天竺国凤仙郡不下雨是因为郡侯撒泼，冒犯天地，上帝见罪，立有米山、面山、黄金大锁，直等此三事倒断，才该下雨。 0\n",
      "天竺国凤仙郡不下雨是因为郡侯撒泼，冒犯天地，上帝见罪，立有米山、面山、黄金大锁，直等此三事倒断，才该下雨。 0\n",
      "\n",
      "在天竺国玉华县，悟空三人怎么丢了兵器?\n",
      "因为三个王子要打造一样的兵器，放在厂院里金光四射，被豹头山妖精偷去了。\n",
      "没有找到答案。 0\n",
      "悟空三人的兵器放在王府内前院的厂院中，因放出霞光瑞气，吸引了七十里外豹头山虎口洞的妖精。妖精看到这些神兵利器后，心生喜爱，便在一股威风中将三般兵器收走。 1\n",
      "\n",
      "悟空在寻找兵器时遇到两个小妖，叫什么名字?\n",
      "刁钻古怪，古怪刁钻\n",
      "没有找到答案。知识片段中并未提及悟空在寻找兵器时遇到两个小妖的名字。 0\n",
      "精细鬼、伶俐虫。 0\n",
      "\n",
      "九头狮子精原是谁的坐骑?怎么会下来的?\n",
      "九头狮子精原是太乙救苦天尊的坐骑，因为狮奴喝醉了酒，没有看管好，所以狮子精下来了。\n",
      "九头狮子精是天尊的坐骑。它是因狮奴偷喝了太上老君送的轮回琼液，醉得不省人事，未能拴锁好狮子，导致九头狮子精下凡到人间。 1\n",
      "九头狮子精原是太乙救苦天尊的坐骑。它是因狮奴偷吃了太上老君送的轮回琼液，醉得不省人事，未能拴锁九头狮子，导致它下凡为精。 1\n",
      "\n",
      "在天竺国金平府青龙山玄英洞的三个妖精叫什么?喜欢吃什么?\n",
      "辟寒大王，辟暑大王，辟尘大王，喜欢吃酥合香油\n",
      "三个妖精分别叫做辟寒大王、辟暑大王、辟尘大王。他们喜欢吃酥合香油。 1\n",
      "三个妖精分别叫做辟寒大王、辟暑大王、辟尘大王。他们喜欢吃酥合香油。 1\n",
      "\n",
      "是谁降服犀牛精\n",
      "四木禽星\n",
      "四木禽星降服了犀牛精。具体为角木蛟、斗木獬、奎木狼、井木犴四位星官。 1\n",
      "孙大圣（孙悟空）与井木犴、角木蛟二星官并力降服犀牛精，同时得到老龙王敖顺及其子摩昂率领的水兵相助。 0\n",
      "\n",
      "天竺国的假公主用什么方法要留住唐僧?\n",
      "抛绣球\n",
      "假公主欲招唐僧为偶，采取元阳真气，以成太乙上仙。具体方法是搭起彩楼，通过抛绣球的方式，以撞天婚抛打的形式，留住唐僧。 1\n",
      "假公主欲招唐僧为偶，采取元阳真气，以成太乙上仙。 0\n",
      "\n",
      "天竺国王的假公主是由什么变的?\n",
      "广寒宫里的玉兔\n",
      "玉兔儿变的。 1\n",
      "假公主是由玉兔变的。 0\n",
      "\n",
      "假公主和悟空打斗时用的是什么武器?\n",
      "捣药杵\n",
      "假公主用的是一条碓嘴样的短棍，悟空用的是铁棒。 0\n",
      "假公主在与悟空打斗时用的是一条碓嘴样的短棍。 0\n",
      "\n",
      "寇员外立了一块什么碑来招待僧人?\n",
      "万僧不阻\n",
      "没有找到答案。 0\n",
      "没有找到答案。 0\n",
      "\n",
      "寇洪员外为什么能死而复生?\n",
      "因为他斋僧心善，再活十二年\n",
      "行者（孙悟空）使用了法力，以阎王差鬼使的身份，使寇洪员外死而复生。他以这种方式出现并说话，是为了让寇家的人相信他是员外的灵魂回来讲话。 0\n",
      "寇洪员外能死而复生是因为地藏王菩萨认为他斋僧是善行，因此收他做掌善缘簿子的案长，并延他阳寿一纪。孙悟空（行者）到阴司地藏王菩萨之处，特来取寇洪员外回到阳世，对明事情原委后，菩萨同意放回寇洪，并延长他的寿命。最后，孙悟空将寇洪的魂灵吹化为气，带其复返阳间，使他得以复活。 1\n",
      "\n",
      "到了西天，要取的经是三藏，具体指什么?为什么给唐僧无字经?\n",
      "《法》谈天;《论》说地;《经》度鬼 因为他们没有拿人事给阿傩、伽叶\n",
      "到了西天，要取的经是三藏，这里的三藏指的是佛教经典的总称，包括经、律、论三大类。给唐僧无字经的原因是因为唐僧一行未曾准备人事（礼物）送给阿傩、伽叶二位尊者，所以二位尊者给了他们无字经。这是对他们的一种考验，也可能是对他们未能完全理解佛法的象征。 1\n",
      "到了西天，要取的经是三藏，具体指的是法一藏、论一藏、经一藏。这三藏可以超脱苦恼，解释灾愆，包含修真之径和正善之门。\n",
      "\n",
      "给唐僧无字经的原因在知识片段中没有明确说明。但根据常识和《西游记》的故事情节，通常的解释是，最初给唐僧无字经是为了考验唐僧和他的徒弟们是否真正理解取经的意义，以及他们是否具备分辨真伪的能力。此外，也可能是为了揭示人间贪婪和物质欲望的虚妄，促使唐僧等人进一步认识到真经的宝贵和内在价值。知识片段中并未直接提及这一点的具体原因，故只能根据常见理解作答。 0\n",
      "\n",
      "取经路上最后一难是什么事?\n",
      "回东土路上，老鼋驮着他们过河，因为唐僧忘了问如来老鼋年寿，把唐僧四人连马并经，通皆落水。\n",
      "取经路上的最后一难是“凌云渡脱胎”。在完成这一难之后，唐僧一行人终于得以圆满完成取经任务。 0\n",
      "取经路上最后一难是“凌云渡脱胎八十难”。但根据知识片段中的描述，实际上在完成这八十难之后，菩萨认为还少一难，因此令揭谛赶上金刚，还生一难，具体内容未在知识片段中明确说明。所以，如果指的是超出原本八十难之外的最后一难，则知识片段中没有提供相关信息。 0\n",
      "\n",
      "取经成功后，师徒四人得到了什么称号?\n",
      "旃檀功德佛，斗战胜佛，净坛使者，金身罗汉，八部天龙\n",
      "没有找到答案。 0\n",
      "取经成功后，唐僧被封为“旃檀功德佛”，孙悟空被封为“斗战胜佛”，猪悟能被封为“净坛使者”，沙悟净被封为“金身罗汉”。白马则归真，未提及具体称号。 1\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for row in qa_data:\n",
    "    print(row[\"query\"])\n",
    "    print(row[\"answer\"])\n",
    "    print(row[\"rag_answer\"], row[\"eval_label\"])\n",
    "    print(row[\"new_rag_answer\"], row[\"new_eval_label\"])\n",
    "    print()\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "82c7c0b8",
   "metadata": {},
   "source": [
    "# 10. 我们还能够用GLM4为我们的RAG程序做什么？"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1afbf79d",
   "metadata": {},
   "source": [
    "1. 当GLM4可以为我们标注数据之后，很多事情都可以做，都可以做到的更好。目前这个rag程序并未包含reranker，我们可以同样微调我们的reranker，而且可以调的更加的精细"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "526aae27",
   "metadata": {},
   "source": [
    "2. 使用GLM4去扩展用户query，提高召回，比如扩展query，或者生成fake answer来进行召回"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7d4953a7",
   "metadata": {},
   "source": [
    "3. GLM4首先是一个极其强大的语言模型，你可以使用它去为你的文本段落构建更加明晰、简单的高效索引来以供检索。也可以通过它关注不同的方面来生成不同类型的索引，支持我们rag程序的多路召回，更好地提供召回能力"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f67da1bb",
   "metadata": {},
   "source": [
    "4. 多轮对话中的用户语义理解。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "60101c49",
   "metadata": {},
   "source": [
    "5. 直接使用GLM4生成问题数据！通过某个分片或者多个分片让GLM4自动生成问答数据，你可以拥有一个完全从0到1的系统，你需要的只是买token"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "eb471b5f",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}