• 基于影刀 RPA 构建电商数据自动化采集平台，面向抖音电商生态，批量采集达人、商品及短视频内容数据。
• 覆盖粉丝量、带货能力、销售数据、互动率等多维度核心指标，搭建标准化的数据采集链路。
• 设计并优化自动化流程，攻克登录鉴权、分页遍历、动态渲染与详情页解析等关键环节，提升采集效率、降低人工干预。

• 完成数据清洗、去重与结构化落库（ETL），支撑运营选品、达人筛选与市场分析，显著提升数据获取效率与业务决策能力。

• 参与海量数据分布式爬虫采集系统建设，与团队共同攻克高性能、高并发、高可用等技术场景下的技术挑战。
• 根据整体技术方案完成高质量开发、自测及项目文档编写，攻克特定场景下的抓取难题。

• 构建完整的数据质量监控与反馈闭环体系，定义并追踪「正文抽取准确率」「关键信息缺失率」等核心指标，推动数据解析准确率从 88% 提升至 97%。
• 主导传统 HTTP 爬虫向 Headless Chrome 渲染爬虫的架构演进，新系统上线后移动端索引页面数量提升约 40%。
• 针对 Vue.js、React 等框架构建的动态内容网站，覆盖率从 不足 60% 提升至 95% 以上。

• 运用 Python 及 HTML、CSS、JavaScript 编写网络爬虫代码，研究网页接口规律与特点。
• 负责数据源的排查与新增，对缺失数据的网站进行栏目与 URL 补充并上线运行。
• 基于 PySpider、Selenium、Requests 等爬虫框架获取网页数据并进行打包处理。

• 开发并部署高效网络爬虫，实现目标网站数据自动化抓取，数据获取效率提升超 50%，确保数据时效性与准确性。
• 优化爬虫策略并引入代理 IP 池，有效规避目标网站反爬机制，保障抓取的稳定性与安全性。
• 采用并发请求与异步执行技术优化爬虫性能，缩短抓取周期、提升单位时间抓取量。

基于 Java 的 AI 应用开发项目，依托 Spring Boot + Spring AI 对接大模型，结合 RAG 检索增强与 PgVector 向量数据库，通过接口调用、POI 文档解析获取简历与面试知识库数据，循环批量处理业务数据，最终打包生成 PDF / TXT 格式面试评测文档。

• 存储设计：PostgreSQL + PgVector 存储向量化知识库，MySQL 存用户与面试记录业务数据，Redis 缓存高频面试题，PDF / TXT 存储分析报告。
• 数据读取：运用 RAG 向量检索、POI 文档解析、IO 文件流与 Spring AI 接口调用，完成简历文档与知识库文件的数据读取与持久化写入。

基于前端技术构建的商务数据可视化平台，部署于 Cloudflare Pages，面向商务运营团队。通过数据清洗、格式转换与多维度计算，将 Excel 原始商务数据转化为直观的可视化仪表盘，支持多时间段数据展示与品牌 / 达人 / 商务排行分析。

• 数据存储：Excel 存储原始商务数据，前端本地缓存计算结果，Cloudflare Pages 静态托管页面资源。
• 数据读取：使用 SheetJS（xlsx）解析 Excel，JavaScript 自定义计算规则完成数据清洗与格式转换。
• 功能开发：设计五时间段数据展示、品牌 TOP5 排行、达人合作统计、商务负责人业绩排行等核心功能。

基于 Python 的数据抓取与分析脚本，通过访问艺恩娱数提供的 API 接口获取中国大陆电影票房排行榜数据，随后进行清洗、统计与可视化，直观展示票房年度占比与变化趋势。

• 数据抓取：定义 main 函数自动从指定 API 获取票房数据。
• 数据存储：将抓取到的数据以 CSV 格式落盘，便于后续分析与处理。
• 数据分析：data_analyze 读取 CSV，计算各年度票房占比、绘制趋势图，识别平均票价与平均场次最高的电影。