2026-11-06 研究存档 · 以下为原始研究说明全文;原 TXT 与验证材料同时保留。
服务器可运行行情源、GitHub数据仓库与接入结果 时间:2026-11-06 19:58,Asia/Taipei 结论 采集继续由当前服务器承担,不依赖用户个人电脑、命令或账户。沿GitHub源码找到搜狐历史行情地址,已在现有Linux运行环境实际跑通并接入现有五只国内ETF的日常备源。采用轻量标准库适配,没有安装大型量化框架。另找到并实际下载GitHub托管历史数据,按文件内容审核,未把下载成功等同于合格每日备源。 一、已经完成的接入 来源线索:https://github.com/oxley-z/get_etf_historical_data 读取文件:sse_etf_dashboard.py。该项目主要采集ETF份额/规模,其输出不是OHLC;其中搜狐指数行情调用提供了可验证线索。根据实际股票、ETF响应另写本项目适配器,没有直接运行整套仪表盘。 搜狐官方历史页:https://q.stock.sohu.com/cn/159915/lshq.shtml 实际接口:https://q.stock.sohu.com/hisHq 公开查询无需账户或API密钥。本次能访问不代表持续服务承诺,最终上游未认证。 生产实采:2026-10-16至2026-11-06,每只16个交易日,合计80条。 510300.SS 沪深300ETF:11月6日收盘4.124,当日有效家族3家。 510500.SS 中证500ETF:收盘6.629,有效家族3家。 159915.SZ 创业板ETF:收盘2.480,有效家族2家。 518880.SS 黄金ETF:收盘8.253,有效家族3家。 511010.SS 国债ETF:收盘141.449,有效家族3家。 五只均无本次窗口缺日、重复日期或非法OHLC。与Yahoo合格行情有79个重合标的日,收盘差异均未超过现有0.1%容差。159915的11月6日Yahoo OHLC仍异常,不计入有效来源;搜狐和腾讯增加交叉证据,不静默改写Yahoo原值。 配置家族为Yahoo、腾讯、搜狐三家;腾讯原价/前复权只计一家。这是不同发布渠道,未证明完全独立的底层供应商,也不是三套已认证同口径总收益。 实现:原始响应gzip及SHA256、请求URL、抓取时间留存;支持UTF-8/GB18030;校验证券代码、状态、字段结构、日期唯一性、OHLC关系和收盘日历。搜狐成交量按官方页面记录为“手”,不与未核实单位直接混比。adjusted_close保持空,basis为quoted_market_price_adjustment_unverified;目前用于价格备源及差异核查,未自动用于总收益替补,也未改变既有腾讯修复选择逻辑。 新增当日有效来源不足3家告警,避免仅看配置数量误报达标。159915最新日仍触发该告警。 下次用户要求日常更新时,固定入口update_daily.py将包含搜狐五个请求;本次没有开启定时器、重启服务或全量重采55标的。 二、服务器A股与早期历史实测 000001.SZ平安银行:2026-11-02至11-06共5条,OHLC检查通过,最新收盘11.81。 600000.SS浦发银行:2007-01-04至01-31共20条,OHLC检查通过,证明可以触达2007年历史。 另两个请求:浦发近期窗口HTTP503,平安银行2007窗口连接超时。失败也保留原响应和耗时。没有无穷重试,没有假称A股全市场已稳定接入。 A股样本没有添加到正式55标的池;历史2007样本仅为路线可行性证据,未认证2007至今逐日连续性、复权和退市覆盖。ETF只能从实际存在时开始,不能补造2007年尚未上市ETF行情。官网历史页提示每次最多100条,历史回补应按较短日期窗口分段并逐段核对边界。 三、找到并下载了哪些GitHub数据 1. https://github.com/YuxuanXiu/China-ETF-LOF-Daily-Market-Data 实际数据文件而非只有采集源码。固定commit 1befd61ca0df43f95a7d7f9b8f873db92fb0e3ee,下载上述五只ETF共15,805条,Git blob SHA1全部匹配。 159915:2011-12-09起,3384条;510300:2012-05-28起,3275条;510500:2013-03-15起,3080条;511010:2013-03-25起,3074条;518880:2013-07-29起,2992条。全部截至2025-11-17,不能更新2026年日线。 基础OHLC检查0异常、0重复;在与现有合格主源重合的日期范围内没有发现其遗漏主源日期,这不等于完成全部交易所日历审计。 重要口径问题:510300、510500、511010分别有3169、2876、3037个重合日与主源原收盘差异超过0.1%,而文件末端价格对齐,历史值带有复权特征。不能将这些差异直接判为错价或当原价拼接。159915、518880另有14、1个差异日待核。原供应商、复权算法和分红处理未披露清楚,暂作为历史候选证据;需要核对分红/拆分事件与复权基准后才能进入研究快照。 2. https://github.com/modi-hu/stock-data 固定commit 5d592157ba5630ec3d5bc6c5f971378e5a7ff54d。实际下载monthly/daily_quotes/2026-11.csv,共11,162条、两天各5581个股票代码;文件明确标注EastMoney来源。GitHub提供另一条交付路径,不是独立的新供应商。 实际只有11月2日、5日,缺3日、4日,尚无6日;未包含上述五只ETF。价格按仓库说明为“分”,需除100才是元。22条零OHLC/非交易记录须结合停牌状态解释,不能当有效零价格。暂不承担每日更新,可作东方财富公开镜像的补充核对线索。 3. https://github.com/noblechang/a-share-data 有历史快照与发布包,说明覆盖2010至2026-09-24,使用BaoStock、腾讯等;ETF来自腾讯,不计第四独立家族。发布包约0.93GB/1.00GB,本轮只核读元数据与说明,未下载或认证整包质量。 4. https://github.com/guidebee/china-stock-data 检查到的最新文件为2026-06-05,不能因说明写“每日”就当作实时备份。未作为当前日线来源。 四、可借鉴源码与资源目录 https://github.com/mpquant/Ashare :轻量腾讯/新浪股票取数源码;源头仍是已知两家,原请求无明确timeout。保留源码,没有直接运行不受限入口。 https://github.com/zhuleimed/etf-daily-sync-and-backtest :查看实际data_source.py,腾讯前复权主源、新浪备用;数据库并未直接托管在仓库,切源时复权口径需要单独对齐。 https://github.com/akfamily/akhub :金融数据源、工具、资料链接合集,正是“记录资料的仓库”类型。原awesome-data入口已迁移至这里。目录中的登录/付费平台不会自动变成匿名免费数据源。 https://github.com/steve849739/Etf-tracker :主要ETF份额跟踪,不替代交易价格。 https://github.com/rootSunc/CNEquity :数据工程框架线索,不能把框架或本地Parquet输出描述成已经托管好的免费全市场数据库。 五、测试、性能与安全边界 本地相关32项测试通过;Linux完整相关75项测试通过(51.03秒)。隔离验收完成双向EXCEPT核对:daily_bars、data_quality_holds、daily_resolutions零变化/零丢失;备份quick_check=ok。 隔离五只ETF取数及入备源约4.50秒;正式取数及入备源约2.51秒。正式流程含全库质量报告和一次一致性备份共57.61秒。这里不是完整55标的每日流程耗时,也不是下一交易日的时延承诺。研究、测试和一次性全表不变性验收不加入每日任务。 隔离验收的Windows远程等待器在175秒超时,但Linux验收继续完成,已取回最终acceptance.json;没有把等待器超时误写为数据请求失败或未完成验收。 生产写入期间SQL authorizer禁止修改上述三个原始/覆盖表;只新增来源观测及相关运行/质量记录。新来源未直接覆盖既有回测。 部署5个文件,代码回退目录/opt/investment-data/code-backups/20261106-sohu。三个timer均disabled,服务未启动或重启。正式质量仍degraded:159915不足三家、CPER四日与既有历史工单尚未全部解决。 六、处理优先级 已完成:在服务器接入搜狐五只ETF备源;增加当日有效来源告警;保留GitHub固定版本原件与审计证据。 下一次按需更新:观察搜狐连续交易日可用性及新增请求耗时;失败保留告警,由现有来源继续提供已验证行情,不无限重试。 历史建设:用搜狐分段查询核对候选GitHub历史差异,先解决价格/复权基准,再补分红与拆分;当前不承诺2007至今全市场已覆盖。 A股扩池:服务器路线已具备样本实证,实际标的纳入前仍需证券身份、上市/停牌日历、除权事件及三源覆盖验收;不自动下载全市场所有历史。 来源数:继续按底层发布者和数据用途计数,GitHub镜像、开源库、同厂复权接口均不重复计数。 交付证据 搜狐隔离验收.json、搜狐正式接入.json、A股与2007年探测.json、GitHub文件审计.json、服务器实测.json。 原始证据.tar.gz:Linux保存的GitHub原文件、搜狐样本响应、75项测试日志、部署/验收记录;证据包校验.json保存SHA256。 源码证据目录:实际核读的仓库源码、说明、发布元数据及来源索引。