文件

Manus Quant Agent 1a0288a256 feat: 大幅扩展数据源至325个验证通过端点 + Go集成方案 + 社交媒体情绪分析实现

新增文件:
- 数据源与交易品种完整手册_325个.md (100+加密品种 + 50+传统金融品种)
- Go数据源集成方案.md (三级速率限制器 + 指数退避 + 自动降级)
- 社交媒体实时情绪分析Go实现.md (VADER词典 + LLM增强)
- scripts/verify_batch6_crypto_varieties.py (加密品种验证)
- scripts/verify_batch7_fix.py (修复+新增验证)

验证统计: 325个端点通过, 19个平台, 100%免费

2026-03-06 02:17:59 -05:00

27 KiB

原始文件 永久链接 Blame 文件历史

量化知识迭代系统 - 数据源完整参考手册

版本：v2.0
更新时间：2026-03-06
数据源总数：141 个（全部通过真实 API 验证）
本手册新增：访问频率限制规则、官方 API 文档链接、数据类型分类判断、自动化优化策略
作者：Manus AI

一、数据类型分类体系
二、访问频率限制总览
三、CEX 数据源详细参考
四、DEX 数据源详细参考
五、链上数据源详细参考
六、DeFi 数据源详细参考
七、衍生品数据源详细参考
八、社交媒体数据源详细参考
九、宏观经济数据源详细参考
十、综合市场数据源详细参考
十一、访问频率自动化优化策略

一、数据类型分类体系

本系统将所有数据源返回的数据分为 16 种标准数据类型，每种类型有明确的字段规范和用途定义。

1.1 数据类型定义表

类型编号	数据类型	英文标识	典型字段	更新频率	用途
T01	K 线/OHLCV	`kline`	open, high, low, close, volume, timestamp	实时	技术分析、趋势判断
T02	Ticker 行情	`ticker`	last, bid, ask, high_24h, low_24h, volume_24h	实时	实时价格监控
T03	订单簿深度	`orderbook`	bids[][], asks[][], timestamp	实时	流动性分析、大单监控
T04	最近成交	`trades`	price, qty, side, timestamp	实时	成交量分析、大单检测
T05	资金费率	`funding_rate`	symbol, fundingRate, nextFundingTime	8h	多空情绪、套利信号
T06	未平仓量	`open_interest`	symbol, openInterest, openInterestValue	5min	杠杆水平、趋势强度
T07	多空比	`long_short_ratio`	longRatio, shortRatio, longShortRatio	1h	散户情绪、反向指标
T08	期权数据	`options`	strike, expiry, delta, gamma, vega, iv	实时	隐含波动率、Greeks
T09	波动率指数	`volatility_index`	dvol, timestamp	1h	市场恐慌度、期权定价
T10	链上统计	`onchain_stats`	hashrate, difficulty, block_height, fee	10min	矿工行为、网络健康
T11	DeFi TVL	`defi_tvl`	protocol, chain, tvl, change_24h	1h	DeFi 资金流向
T12	稳定币数据	`stablecoin`	name, circulating, chain_distribution	1h	资金进出场信号
T13	社交情绪	`social_sentiment`	title, score, comments, subscribers	实时	市场情绪、FOMO/FUD
T14	恐惧贪婪指数	`fear_greed`	value, classification, timestamp	24h	极端情绪反转信号
T15	宏观经济	`macro_economic`	indicator, value, date, country	日/月/季	宏观环境判断
T16	交易规则	`exchange_info`	tickSize, lotSize, minQty, maxLeverage	低频	下单参数配置

1.2 数据类型与量化策略映射

策略类型	必需数据类型	可选数据类型
趋势跟踪	T01, T02, T06	T05, T07, T15
均值回归	T01, T02, T09	T08, T14
资金费率套利	T05, T02	T06, T07
期权策略	T08, T09, T02	T06, T14
社交情绪交易	T13, T14, T02	T07, T12
链上分析	T10, T12, T11	T02, T15
宏观对冲	T15, T02	T09, T14

二、访问频率限制总览

2.1 各交易所/平台速率限制对比

平台	公共端点限制	权重系统	限流响应码	恢复时间	官方文档
Binance	2400 req/min (IP)	✅ 权重制	429 / 418	2-30min	文档
OKX	20 req/2s	❌	429	2s	文档
Bybit	120 req/5s	❌	403	5s	文档
Kraken	1 req/s (公共)	✅ 计数器	429	数秒	文档
Gate.io	900 req/min	❌	429	60s	文档
KuCoin	100 req/10s	❌	429	10s	文档
HTX	100 req/10s	❌	429	10s	文档
Bitfinex	90 req/min	❌	429	60s	文档
Crypto.com	100 req/s	❌	429	1s	文档
MEXC	20 req/s	✅ 权重制	429	数秒	文档
Deribit	20 req/s	❌	429	1s	文档
CoinGecko	30 req/min	❌	429	60s	文档
CoinPaprika	10 req/s	❌	429	1s	文档
DeFiLlama	~30 req/min	❌	429	60s	文档
DexScreener	300 req/min	❌	429	60s	文档
Hyperliquid	1200 req/min	❌	429	数秒	文档
Reddit	10 req/min (无认证)	❌	429	60s	文档
Mempool.space	~60 req/min	❌	429	数秒	文档
Blockchair	30 req/min	❌	402	60s	文档
Blockchain.info	~30 req/min	❌	429	数秒	文档
Yahoo Finance	~2000 req/h	❌	429	数分钟	非官方 API
世界银行	~30 req/min	❌	429	数秒	文档
Alternative.me	~10 req/min	❌	429	60s	文档
Nitter	~5 req/min	❌	503	不确定	GitHub

2.2 推荐访问频率（安全阈值）

为避免触发限流，建议使用官方限制的 60-70% 作为安全阈值。

平台	官方限制	推荐安全阈值	每次请求间隔
Binance	2400/min	1600/min	37ms
OKX	20/2s	14/2s	143ms
Bybit	120/5s	80/5s	62ms
CoinGecko	30/min	20/min	3000ms
Reddit	10/min	6/min	10000ms
DeFiLlama	~30/min	20/min	3000ms
Deribit	20/s	14/s	71ms

三、CEX 数据源详细参考

3.1 Binance（18 个端点）

编号	端点名称	数据类型	类型编号	URL	频率权重
1	合约 K 线	K线/OHLCV	T01	`fapi/v1/klines`	5
2	现货 K 线	K线/OHLCV	T01	`api/v3/klines`	2
3	资金费率	资金费率	T05	`fapi/v1/premiumIndex`	1
4	未平仓量	未平仓量	T06	`fapi/v1/openInterest`	1
5	24h 行情	Ticker行情	T02	`fapi/v1/ticker/24hr`	1/40
6	全球多空比	多空比	T07	`futures/data/globalLongShortAccountRatio`	1
7	大户多空比	多空比	T07	`futures/data/topLongShortPositionRatio`	1
8	现货订单簿	订单簿深度	T03	`api/v3/depth`	2-50
9	最近成交	最近成交	T04	`api/v3/trades`	2
10	合约订单簿	订单簿深度	T03	`fapi/v1/depth`	2-50
11	资金费率历史	资金费率	T05	`fapi/v1/fundingRate`	1
12	持仓量历史	未平仓量	T06	`futures/data/openInterestHist`	1
13	全市场合约Ticker	Ticker行情	T02	`fapi/v1/ticker/24hr` (无参数)	40
14	合约交易规则	交易规则	T16	`fapi/v1/exchangeInfo`	1
15	ETH 资金费率	资金费率	T05	`fapi/v1/premiumIndex?symbol=ETHUSDT`	1
16	SOL 资金费率	资金费率	T05	`fapi/v1/premiumIndex?symbol=SOLUSDT`	1
17	DOGE 资金费率	资金费率	T05	`fapi/v1/premiumIndex?symbol=DOGEUSDT`	1
18	XRP 资金费率	资金费率	T05	`fapi/v1/premiumIndex?symbol=XRPUSDT`	1

API 文档：Binance Futures API
权重说明：Binance 使用权重系统，每分钟总权重上限 2400。depth?limit=5 权重 2，depth?limit=1000 权重 50。ticker/24hr 无参数时权重 40（返回所有交易对）。
限流处理：返回 429 时读取 Retry-After 头；返回 418 表示 IP 被封禁 2-30 分钟。

3.2 OKX（7 个端点）

编号	端点名称	数据类型	类型编号	URL	频率限制
19	合约 K 线	K线/OHLCV	T01	`api/v5/market/candles`	40/2s
20	资金费率	资金费率	T05	`api/v5/public/funding-rate`	20/2s
21	未平仓量	未平仓量	T06	`api/v5/public/open-interest`	20/2s
22	现货 Ticker	Ticker行情	T02	`api/v5/market/ticker`	20/2s
23	全市场永续	Ticker行情	T02	`api/v5/market/tickers?instType=SWAP`	20/2s
24	期权到期结构	期权数据	T08	`api/v5/public/instruments?instType=OPTION`	20/2s
25	合约交易规则	交易规则	T16	`api/v5/public/instruments?instType=SWAP`	20/2s

API 文档：OKX V5 API
限流处理：OKX 按端点独立计数，公共端点 20 req/2s，市场数据 40 req/2s。

3.3 Bybit（6 个端点）

编号	端点名称	数据类型	类型编号	URL	频率限制
26	合约 K 线	K线/OHLCV	T01	`v5/market/kline`	120/5s
27	资金费率	资金费率	T05	`v5/market/tickers`	120/5s
28	现货 Ticker	Ticker行情	T02	`v5/market/tickers?category=spot`	120/5s
29	多空比	多空比	T07	`v5/market/account-ratio`	120/5s
30	全市场合约	Ticker行情	T02	`v5/market/tickers?category=linear`	120/5s
31	合约交易规则	交易规则	T16	`v5/market/instruments-info`	120/5s

API 文档：Bybit V5 API

3.4 其他 CEX（11 个端点）

编号	交易所	端点名称	数据类型	类型编号	频率限制	API 文档
32	Kraken	K 线	K线/OHLCV	T01	1/s	文档
33	Kraken	Ticker	Ticker行情	T02	1/s	文档
34	Kraken	交易对列表	交易规则	T16	1/s	文档
35	Gate.io	合约 K 线	K线/OHLCV	T01	900/min	文档
36	Gate.io	现货 Ticker	Ticker行情	T02	900/min	文档
37	Gate.io	全市场合约	Ticker行情	T02	900/min	文档
38	KuCoin	K 线	K线/OHLCV	T01	100/10s	文档
39	HTX	Ticker	Ticker行情	T02	100/10s	文档
40	Bitfinex	Ticker	Ticker行情	T02	90/min	文档
41	Crypto.com	Ticker	Ticker行情	T02	100/s	文档
42	MEXC	K 线	K线/OHLCV	T01	20/s	文档

四、DEX 数据源详细参考

编号	平台	端点名称	数据类型	类型编号	频率限制	API 文档
43	DexScreener	代币交易对	Ticker行情	T02	300/min	文档
44	DexScreener	搜索	Ticker行情	T02	300/min	文档
45	DexScreener	指定交易对	Ticker行情	T02	300/min	文档
46	Hyperliquid	永续合约	Ticker行情	T02	1200/min	文档
47	Hyperliquid	资金费率	资金费率	T05	1200/min	文档
48	Raydium	TVL	DeFi TVL	T11	无限制	文档
49	CoinGecko	ETH 价格	Ticker行情	T02	30/min	文档

五、链上数据源详细参考

编号	平台	端点名称	数据类型	类型编号	频率限制	API 文档
50	Blockchain.info	BTC 链上统计	链上统计	T10	~30/min	文档
51	Blockchain.info	最新区块	链上统计	T10	~30/min	文档
52	Blockchain.info	区块奖励	链上统计	T10	~30/min	文档
53	Mempool.space	BTC 手续费	链上统计	T10	~60/min	文档
54	Mempool.space	哈希率	链上统计	T10	~60/min	文档
55	Mempool.space	区块详情	链上统计	T10	~60/min	文档
56	Mempool.space	内存池	链上统计	T10	~60/min	文档
57	Mempool.space	矿池排名	链上统计	T10	~60/min	文档
58	Mempool.space	难度调整	链上统计	T10	~60/min	文档
59	Blockchair	BTC 统计	链上统计	T10	30/min	文档
60	Blockchair	ETH 统计	链上统计	T10	30/min	文档
61	CoinGecko	SOL 详细	链上统计	T10	30/min	文档
62	CoinGecko	LINK 数据	链上统计	T10	30/min	文档

六、DeFi 数据源详细参考

编号	平台	端点名称	数据类型	类型编号	频率限制	API 文档
63	DeFiLlama	全链 TVL	DeFi TVL	T11	~30/min	文档
64	DeFiLlama	各链 TVL	DeFi TVL	T11	~30/min	文档
65	DeFiLlama	稳定币数据	稳定币数据	T12	~30/min	文档
66	DeFiLlama	收益率	DeFi TVL	T11	~30/min	文档
67	DeFiLlama	DEX 交易量	DeFi TVL	T11	~30/min	文档
68	DeFiLlama	跨链桥	DeFi TVL	T11	~30/min	文档
69	DeFiLlama	费用/收入	DeFi TVL	T11	~30/min	文档
70	DeFiLlama	期权DEX	DeFi TVL	T11	~30/min	文档
71	DeFiLlama	USDT 历史	稳定币数据	T12	~30/min	文档
72	DeFiLlama	稳定币链	稳定币数据	T12	~30/min	文档
73	DeFiLlama	借贷排名	DeFi TVL	T11	~30/min	文档
74	DeFiLlama	DEX 排名	DeFi TVL	T11	~30/min	文档
75	DeFiLlama	Aave V3	DeFi TVL	T11	~30/min	文档
76	DeFiLlama	Lido	DeFi TVL	T11	~30/min	文档
77	DeFiLlama	L2 TVL	DeFi TVL	T11	~30/min	文档

七、衍生品数据源详细参考

编号	平台	端点名称	数据类型	类型编号	频率限制	API 文档
78	Deribit	BTC 指数	Ticker行情	T02	20/s	文档
79	Deribit	期权列表	期权数据	T08	20/s	文档
80	Deribit	DVOL	波动率指数	T09	20/s	文档
81	Deribit	期权成交量	期权数据	T08	20/s	文档
82	Deribit	BTC 期货	Ticker行情	T02	20/s	文档
83	Deribit	ETH 期权	期权数据	T08	20/s	文档
84	Deribit	ETH DVOL	波动率指数	T09	20/s	文档
85	CoinGecko	衍生品交易所	Ticker行情	T02	30/min	文档
86	CoinGecko	衍生品合约	资金费率	T05	30/min	文档

八、社交媒体数据源详细参考

编号	平台	端点名称	数据类型	类型编号	频率限制	API 文档
87	Reddit	r/Bitcoin	社交情绪	T13	10/min	文档
88	Reddit	r/CryptoCurrency	社交情绪	T13	10/min	文档
89	Reddit	r/algotrading	社交情绪	T13	10/min	文档
90	Reddit	r/ethtrader	社交情绪	T13	10/min	文档
91	Reddit	r/SatoshiStreetBets	社交情绪	T13	10/min	文档
92	Reddit	r/defi	社交情绪	T13	10/min	文档
93	Reddit	r/solana	社交情绪	T13	10/min	文档
94	Reddit	r/wallstreetbets	社交情绪	T13	10/min	文档
95	Nitter	X/Twitter RSS	社交情绪	T13	~5/min	GitHub
96	Alternative.me	恐惧贪婪指数	恐惧贪婪指数	T14	~10/min	文档

九、宏观经济数据源详细参考

9.1 Yahoo Finance（22 个端点）

编号	代码	名称	数据类型	类型编号	频率限制
97	^IXIC	纳斯达克	宏观经济	T15	~2000/h
98	^DJI	道琼斯	宏观经济	T15	~2000/h
99	^RUT	罗素2000	宏观经济	T15	~2000/h
100	^N225	日经225	宏观经济	T15	~2000/h
101	^HSI	恒生指数	宏观经济	T15	~2000/h
102	^VIX	VIX恐慌	波动率指数	T09	~2000/h
103	^TNX	10Y美债	宏观经济	T15	~2000/h
104	TLT	国债ETF	宏观经济	T15	~2000/h
105	GC=F	黄金	宏观经济	T15	~2000/h
106	SI=F	白银	宏观经济	T15	~2000/h
107	CL=F	原油	宏观经济	T15	~2000/h
108	HG=F	铜	宏观经济	T15	~2000/h
109	EURUSD=X	EUR/USD	宏观经济	T15	~2000/h
110	JPY=X	USD/JPY	宏观经济	T15	~2000/h
111	DX-Y.NYB	美元指数	宏观经济	T15	~2000/h
112	IBIT	BTC ETF	宏观经济	T15	~2000/h
113	FBTC	BTC ETF	宏观经济	T15	~2000/h
114	ETHE	ETH ETF	宏观经济	T15	~2000/h
115	MSTR	MicroStrategy	宏观经济	T15	~2000/h
116	COIN	Coinbase	宏观经济	T15	~2000/h
117	MARA	Marathon	宏观经济	T15	~2000/h
118	^GSPC	标普500	宏观经济	T15	~2000/h

API 文档：Yahoo Finance 为非官方 API，无正式文档。基础 URL：https://query1.finance.yahoo.com/v8/finance/chart/{symbol}

9.2 世界银行（6 个端点）

编号	指标代码	名称	数据类型	类型编号	频率限制
119	NY.GDP.MKTP.CD (US)	美国GDP	宏观经济	T15	~30/min
120	FP.CPI.TOTL.ZG (US)	美国CPI	宏观经济	T15	~30/min
121	SL.UEM.TOTL.ZS (US)	美国失业率	宏观经济	T15	~30/min
122	NY.GDP.MKTP.CD (CN)	中国GDP	宏观经济	T15	~30/min
123	NY.GDP.MKTP.CD (WLD)	全球GDP	宏观经济	T15	~30/min
124	NY.GDP.MKTP.CD (JP)	日本GDP	宏观经济	T15	~30/min

API 文档：World Bank API

十、综合市场数据源详细参考

10.1 CoinGecko（8 个端点）

编号	端点名称	数据类型	类型编号	频率限制
125	全球市场	Ticker行情	T02	30/min
126	多币种价格	Ticker行情	T02	30/min
127	交易所排名	Ticker行情	T02	30/min
128	热搜趋势	社交情绪	T13	30/min
129	NFT 列表	Ticker行情	T02	30/min
130	NFT 排名	Ticker行情	T02	30/min
131	分类排名	Ticker行情	T02	30/min
132	BTC 历史	K线/OHLCV	T01	30/min

API 文档：CoinGecko API

10.2 CoinPaprika（7 个端点）

编号	端点名称	数据类型	类型编号	频率限制
133	BTC 行情	Ticker行情	T02	10/s
134	ETH 行情	Ticker行情	T02	10/s
135	SOL 行情	Ticker行情	T02	10/s
136	BNB 行情	Ticker行情	T02	10/s
137	XRP 行情	Ticker行情	T02	10/s
138	DOGE 行情	Ticker行情	T02	10/s
139	全球统计	Ticker行情	T02	10/s

API 文档：CoinPaprika API

10.3 其他

编号	平台	端点名称	数据类型	类型编号	频率限制	API 文档
140	CoinGlass	资金费率聚合	资金费率	T05	30/min	文档
141	The Graph	Uniswap V3	DeFi TVL	T11	1000/day	文档

十一、访问频率自动化优化策略

11.1 三级速率限制架构

本系统采用三级速率限制架构，确保在最大化数据采集效率的同时避免触发任何平台的限流机制。

第一级：全局速率限制器

全局速率限制器控制整个系统的总请求速率，防止在多数据源并发采集时超出网络带宽或触发 IP 级别的限制。建议全局上限设置为 500 req/min。

第二级：平台级速率限制器

每个平台（如 Binance、OKX）有独立的速率限制器，按照该平台的官方限制的 65% 设置安全阈值。

第三级：端点级速率限制器

对于有权重系统的平台（如 Binance），每个端点有独立的权重计数器，确保总权重不超过平台限制。

11.2 指数退避策略

当收到限流响应（429/418/403）时，系统自动执行指数退避。

重试次数	等待时间	计算公式	说明
第 1 次	1-2 秒	`base * 2^0 + jitter`	快速重试
第 2 次	2-4 秒	`base * 2^1 + jitter`	中等等待
第 3 次	4-8 秒	`base * 2^2 + jitter`	较长等待
第 4 次	8-16 秒	`base * 2^3 + jitter`	长时间等待
第 5 次	放弃	-	记录错误，切换备用源

jitter：随机抖动 0-1 秒，防止多个请求同时重试造成"惊群效应"。

11.3 智能调度策略

根据数据类型的更新频率，系统自动调整采集间隔。

数据类型	推荐采集间隔	原因
T01 K 线	与 K 线周期一致	1h K 线每小时采集一次
T02 Ticker	5-30 秒	实时价格监控
T03 订单簿	1-5 秒	流动性变化快
T04 成交	1-5 秒	实时成交监控
T05 资金费率	5 分钟	8 小时结算，5 分钟足够
T06 未平仓量	5 分钟	变化相对缓慢
T07 多空比	1 小时	1 小时更新一次
T08 期权	1-5 分钟	Greeks 变化较快
T09 波动率	1 小时	变化相对缓慢
T10 链上	10 分钟	区块时间约 10 分钟
T11 DeFi TVL	1 小时	变化缓慢
T12 稳定币	1 小时	变化缓慢
T13 社交情绪	10 分钟	帖子更新频率
T14 恐惧贪婪	24 小时	每日更新一次
T15 宏观经济	1 天	日频数据
T16 交易规则	24 小时	极少变化

11.4 数据源优先级与降级策略

当某个数据源不可用时，系统自动降级到备用数据源。

数据需求	主数据源	备用1	备用2	备用3
BTC 价格	Binance	OKX	Bybit	CoinGecko
ETH 价格	Binance	OKX	Bybit	CoinPaprika
资金费率	Binance	OKX	Bybit	CoinGecko衍生品
未平仓量	Binance	OKX	Bybit	-
BTC 链上	Mempool.space	Blockchain.info	Blockchair	-
DeFi TVL	DeFiLlama	-	-	-
社交情绪	Reddit	Nitter	Alternative.me	-
VIX	Yahoo Finance	-	-	-

附录：数据类型分布统计

数据类型	编号	数据源数量	占比
K线/OHLCV	T01	10	7.1%
Ticker行情	T02	38	27.0%
订单簿深度	T03	2	1.4%
最近成交	T04	1	0.7%
资金费率	T05	14	9.9%
未平仓量	T06	3	2.1%
多空比	T07	3	2.1%
期权数据	T08	4	2.8%
波动率指数	T09	3	2.1%
链上统计	T10	13	9.2%
DeFi TVL	T11	16	11.3%
稳定币数据	T12	3	2.1%
社交情绪	T13	10	7.1%
恐惧贪婪	T14	1	0.7%
宏观经济	T15	27	19.1%
交易规则	T16	5	3.5%

27 KiB 原始文件 永久链接 Blame 文件历史 Unescape Escape