周星怡的实验报告

代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import requests
import time
# from parse_disclosure_table import DisclosureTable
import re
import requests
import pandas as pd
# import fitz
import csv
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm
from urllib.parse import urljoin  # 用于拼接 URL

browser = webdriver.Edge()
browser.get('https://www.szse.cn/disclosure/listed/fixed/index.html')

# 报告类型选择
# 选择年度报告类型
element = browser.find_element(By.CSS_SELECTOR, "#select_gonggao .glyphicon").click()
element = browser.find_element(By.LINK_TEXT, "年度报告").click()
time.sleep(1)

firm = [
['000592' ,'平潭发展'],
['002200' ,'ST云投'],
['002679' ,'福建金森']
]

# 自动控制浏览器选择所需的公司
for i in range(len(firm)):
    name = firm[i][1]
    code = firm[i][0]
    f = open('inner_HTML_%s.html' %name,'w',encoding='utf-8')
    element = browser.find_element(By.ID, "input_code").click()
    element = browser.find_element(By.ID,'input_code').send_keys('%s' %code)
    time.sleep(0.5)
    element = browser.find_element(By.ID, "input_code").send_keys(Keys.ENTER)
    element = browser.find_element(By.ID,'disclosure-table')
    time.sleep(0.5)
    innerHTML = element.get_attribute('innerHTML')
    f.write(innerHTML)
    time.sleep(0.5)
    f.close()
    element = browser.find_element(By.CSS_SELECTOR, ".selected-item:nth-child(2) > .icon-remove").click()
    time.sleep(0.5)

browser.quit()

# 将获取的公司年报地址存入csv文件中
for i in range(len(firm)):
    name = firm[i][1]
    f = open('inner_HTML_%s.html' %name,encoding='utf-8')
    t = f.read()
    soup = BeautifulSoup(t, 'html.parser')
    # print(type(t))
    comments = soup.find_all('div', {'class': 'text-title-box'})
    data_list = []
    for item in comments:
        content = item.find('span', {'class': 'pull-left title-text ellipsis'})
        # print(content.text)
        if content.text[-5:] != f"年年度报告":
            continue
        print(content.text)
        # 找到报告的下载地址和名称
        link = item.find("a", {"attachformat": "pdf"})
        url = urljoin("https://www.szse.cn", link.get("href"))
        name = link.find("span", {"class": "title-text"}).get("title")

        # 将报告名和下载地址追加到 CSV 文件中
        with open(f"{firm[i][1]}.csv", "a", newline="", encoding="utf-8") as f:
            writer = csv.writer(f)
            writer.writerow([name, url])
    f.close()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time


for i in range(len(firm)):
    name = firm[i][1]
    df = pd.read_csv(f'{name}.csv')
    urls = df.iloc[:, 1].tolist()
    for j in range(len(urls)):
        ann_url = urls[j]
        driver = webdriver.Chrome()
        driver.get(ann_url)
        download_btn = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "a#annouceDownloadBtn[href*='info/download']")))
        download_btn.click()
        time.sleep(10)
        driver.quit()
    
# 在pdf中获取数据
import PyPDF2
import pandas as pd

# 打开PDF文件
for i in range(10):
    name = firm[i]
    for j in range(2012,2023):
        with open(f'{name}{j}年年度报告.pdf', 'rb') as pdf_file:
            # 创建文件阅读器
            pdf_reader = PyPDF2.PdfFileReader(pdf_file)

            # 获取PDF中文本内容（一般情况下，表格一般在最后一页）
            page_text = pdf_reader.getPage(pdf_reader.getNumPages()-1).extractText()

            # 把文本内容分割成行
            lines = page_text.split('\n')

            # 提取表格数据
            data = []
            for line in lines:
                # 通过判断年份来确定新的一行开始
                if line.strip().isdigit():
                    year = line.strip()
                    continue
                # 判断行是否包含股票代码，以此判断是否属于表格数据
                if 'SH' in line or 'SZ' in line:
                    # 分割行中的数据，并在末尾添加年份
                    row_data = line.split()
                    row_data.append(year)
                    data.append(row_data)

            # 创建DataFrame，并设置列名
            df = pd.DataFrame(data, columns=['股票代码', '股票简称', '办公地址', '公司网址', '营业收入', '基本每股收益', '年份'])

            # 将DataFrame数据写入CSV文件
            df.to_csv('公司.csv', index=False, encoding='utf-8')

# 可视化
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.sans-serif'] = 'SimHei' 

df = pd.read_csv('公司.csv', usecols=['年份', '营业收入', '基本每股收益'])

plt.figure()
plt.plot(df['年份'], df['营业收入'], 'o-', label='营业收入', linewidth=2)
plt.xticks(rotation=45)
plt.xlabel('年份')
plt.ylabel('营业收入')
plt.title('近十年营业收入变化趋势图')
plt.legend()
plt.show()

plt.figure()
plt.plot(df['年份'], df['基本每股收益'], 'x-', label='基本每股收益', linewidth=2)
plt.xticks(rotation=45)
plt.xlabel('年份')
plt.ylabel('基本每股收益')
plt.title('近十年基本每股收益变化趋势图')
plt.legend()
plt.show()

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.sans-serif'] = 'SimHei' 

df = pd.read_csv('公司.csv', usecols=['年份', '股票简称', '股票代码', '办公地址', '公司网址', '营业收入', '基本每股收益'])
# 1. 按年份制图
grouped = df.groupby(['年份'])

for name, group in grouped:
    plt.figure(figsize=(12, 6))
    plt.suptitle(f"{name}年营业收入和基本每股收益柱状图")
    plt.subplot(211)
    plt.bar(group['股票简称'], group['营业收入'], width=0.3, label='营业收入')
    plt.xticks(rotation=45)
    plt.xlabel('股票简称(股票代码)')
    plt.ylabel('营业收入')
    plt.legend()
    plt.subplot(212)
    plt.bar(group['股票简称'], group['基本每股收益'], width=0.3, label='基本每股收益')
    plt.xticks(rotation=45)
    plt.xlabel('股票简称(股票代码)')
    plt.ylabel('基本每股收益')
    plt.legend()
    plt.show()


data = pd.read_csv('公司.csv')
# # 2. 所有绘制在同一张图-折线
#按年份从小到大排序
data = data.sort_values('年份')

#获取全部的股票信息
stocks = data['股票简称'].unique()
#按年份从小到大排序
data = data.sort_values('年份')

#获取全部的股票信息
stocks = data['股票简称'].unique()




fig, ax1 = plt.subplots(figsize=(12, 6))

# 绘制每个公司的营业收入
for stock in stocks:
    stock_data = data[data['股票简称'] == stock]
    # 将字符串中的逗号替换为空格，并将列类型转换为浮点数
    stock_data['营业收入'] = stock_data['营业收入'].str.replace(',', '')
    stock_data['营业收入'] = stock_data['营业收入'].str.replace(' ', '').astype(float)
    ax1.plot(stock_data['年份'], stock_data['营业收入'], label=stock)

# 添加y轴标签、图例和标题
ax1.set_xlabel('年份')
ax1.set_ylabel('营业收入', color='tab:red')
ax1.tick_params(axis='y', labelcolor='tab:red')
ax1.legend(loc='upper left', bbox_to_anchor=(1.02, 1), borderaxespad=0)
ax1.set_title('营业收入随时间的变化趋势图')
# 显示图形
plt.show()
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.sans-serif'] = 'SimHei' 
df = pd.read_csv('公司_4.csv')  # 读取文件

# 3. 所有绘制在一张图上-柱形图
# 将字符串中的逗号替换为空格，并将列类型转换为浮点数
df['营业收入'] = df['营业收入'].str.replace(',', '')
df['营业收入'] = df['营业收入'].str.replace(' ', '').astype(float)
df['基本每股收益'] = df['基本每股收益'].astype(float)

# 获取不同年份的营业收入情况
year_revenue = df.pivot_table(index='年份', columns='股票简称', values='营业收入')
year_revenue.plot(kind='bar')
plt.title('营业收入对比图')
plt.xlabel('年份')
plt.ylabel('营业收入')
plt.show()

# 获取不同年份的基本每股收益情况
year_eps = df.pivot_table(index='年份', columns='股票简称', values='基本每股收益')
year_eps.plot(kind='bar')
plt.title('基本每股收益对比图')
plt.xlabel('年份')
plt.ylabel('基本每股收益')
plt.show()

结果截图

心得体会

行业解读的部分我写不出来，因为没能做出结果，这门课对我来说真的太难了，研究了很久，甚至参考了很多同学的作业，但成效甚微，最后基本可以说是做不出什么东西来，这门课真的把我的短板、我的问题都暴露出来了，我的的确确是在这方面太笨，越是笨，越是了解的少，越是束手束脚不敢问，自己研究又没有成果，虽然还是很渴望可以及格，但得到任何不好的成绩我也都能欣然接受，能力不足的确是客观存在的。非常非常感谢老师的教导，但朽木难雕，我也要不知何时才有勇气与这些知识死磕到底，希望看到这份未完的报告没有令老师过于生气。