自定义因子、事件分析

目录

1. 两种自定义因子的方法——add_formula&append_df
2. 什么是事件？（0/1因子）
3. 事件选股效果的可视化

from jaqs_fxdayu.data import DataView 
import warnings
warnings.filterwarnings("ignore")
dataview_folder = './Factor'
dv = DataView()
dv.load_dataview(dataview_folder)

Dataview loaded successfully.

1、两种自定义因子的方法——add_formula&append_df

dataview可以通过两种方式计算/添加自定义因子进行分析

方法1：add_formula 基于dataview里已有的字段,通过表达式定义因子

# 直接返回
dv.add_formula("momentum", "Return(close_adj, 20)", is_quarterly=False).head()

5 rows × 472 columns

# 添加到数据集dv里，则计算结果之后可以反复调用
dv.add_formula("momentum", "Return(close_adj, 20)", is_quarterly=False, add_data=True)
dv.get_ts("momentum").head()

5 rows × 472 columns

附：add_formula 支持的内置公式查询方法

# 完整文档
dv.func_doc.doc

68 rows × 4 columns

# 函数一览
dv.func_doc.funcs

array(['+', '-', '*', '/', 'Sign(x)', 'Abs(x)', 'Log(x)', '-x', '^',
       'Pow(x,y)', 'SignedPower(x,e)', '%', '==', '!=', '>', '<', '>=',
       '<=', '&&', '||', '!', 'IsNan(x)', 'Sin(x)', 'Cos(x)', 'Tan(x)',
       'Sqrt(x)', 'Ceil(x)', 'Floor(x)', 'Round(x)', 'Max(x,y)',
       'Min(x,y)', 'If(cond,x,y)', 'Delay(x,n)', 'Ts_Sum(x,n)',
       'Ts_Product(x,n)', 'Delta(x,n)', 'Return(x,n,log)', 'Ts_Mean(x，n)',
       'StdDev(x,n)', 'Covariance(x,y,n)', 'Correlation(x,y,n)',
       'Ts_Min(x，n)', 'Ts_Max(x，n)', 'Ts_Skewness(x，n)',
       'Ts_Kurtosis(x，n)', 'Ts_Rank(x, n)', 'Ts_Percentile(x, n)',
       'Ts_Quantile(x, n)', 'Ewma(x, halflife)', 'Rank(x)',
       'GroupRank(x,g)', 'Percentile(x)', 'GroupPercentile(x, g, n)',
       'ConditionRank(x, cond)', 'Quantile(x, n)',
       'GroupQuantile(x, g, n)', 'Standardize(x)', 'Cutoff(x, z_score)',
       'CumToSingle(x)', 'TTM(x)', 'Decay_exp(x,f,n)', 'Decay_linear(x,n)',
       'Tail(x, lower, upper, newval)', 'Step(n)', 'CountNans(x,n)',
       'Ts_Argmax(x,n)', 'Ts_Argmin(x,n)',
       'Ta(ta_method,ta_column,open,high,low,close,volume,*args)'], dtype=object)

# 函数类型
dv.func_doc.types

array(['四则运算', '基本数学函数', '逻辑运算', '三角函数', '取整函数', '选择函数', '时间序列函数 - 基本数学运算',
       '时间序列函数 - 统计', '时间序列函数 - 排名', '横截面函数 - 排名', '横截面函数 - 数据处理', '财报函数',
       '其他', '技术指标'], dtype=object)

# 函数描述
dv.func_doc.descriptions

array(['加法运算', '减法运算', '乘法运算', '除法运算', '符号函数，返回值为{-1, 0, 1}', '绝对值函数',
       '自然对数', '对x取负', '幂函数', '幂函数x^y', '保持符号的幂函数，等价于Sign(x) * (Abs(x)^e)',
       '取余函数', '判断是否相等', '判断是否不等', '大于', '小于', '大于等于', '小于等于', '逻辑与',
       '逻辑或', '逻辑非', '判断值是否为NaN', '正弦函数', '余弦函数', '正切函数', '开平方函数', '向上取整',
       '向下取整', '四舍五入', '取 x 和 y 同位置上的较大值组成新的DataFrame返回',
       '取 x 和 y 同位置上的较小值组成新的DataFrame返回', 'cond为True取x的值，反之取y的值',
       '指标n个周期前的值', '指标在过去n天的和', '指标在过去 n 天的积', '指标当前值与n天前的值的差',
       '计算指标相比n天前的变化率，默认计算百分比变化率；当log为1时，计算对数变化率;为0时计算普通变化率',
       '计算指标在过去n天的平均值', '指标在过去n天的标准差', '两个指标在过去n天的协方差', '两个指标在过去n天的相关系数',
       '计算指标在过去n天的最小值', '计算指标在过去n天的最大值', '计算指标在过去n天的偏度', '计算指标在过去n天的峰度',
       '计算指标在过去n天的排名，返回值为名次', '计算指标在过去n天的百分比，返回值为[0.0, 1.0]',
       '计算指标在过去n天所属的quantile，返回值为表示quantile的整数',
       '指数移动平均，以halflife的衰减对x进行指数移动平均', '将指标值在横截面方向排名，返回值为名次',
       '按分组数据g在每组内将指标值在横截面方向排名，返回值为名次', '将指标值在横截面方向排名，返回值为排名百分比',
       '按分组数据g在每组内将指标值在横截面方向排名，返回值为排名百分比',
       '和Rank函数相同，但只有 cond 中值为True的标的参与排名',
       '根据指标值在横截面方向将标的分成n个quantile，返回值为所属quantile',
       '按分组数据g在每组内根据指标值在横截面方向将标的分成n个quantile，返回值为所属quantile',
       '将指标标准化，即在横截面上减去平均值后再除以标准差',
       '将指标横截面上去极值，用MAD (Maximum Absolute Deviation)方法, z_score为极值判断标准',
       '将累计财务数据转换为单季财务数据', '从累计财务数据计算TTM的财务数据',
       '过去 n 天的指数衰减函数，其中 f 是平滑因子。这里 f 是平滑因子，可以赋一个小于 1 的值。Decay_exp(x, f, n) = (x[date] + x[date - 1] * f + … +x[date – n - 1] * (f (n – 1))) / (1 + f + … + f ^ (n - 1))',
       '过去n天的线性衰减函数。Decay_linear(x, n) = (x[date] * n + x[date - 1] * (n - 1) + … + x[date – n - 1]) / (n + (n - 1) + … + 1)',
       '如果 x 的值介于 lower 和 upper，则将其设定为 newval',
       'Step(n) 为每个标的创建一个向量，向量中 n 代表最新日期，n-1 代表前一天，以此类推。',
       '时间序列函数，计算 x 中的值在过去 n 天中为 nan （非数字）的次数', '计算指标在过去n天最大值的坐标',
       '计算指标在过去n天最小值的坐标', '根据talib技术指标库计算x中每只股票的技术指标'], dtype=object)

# 根据函数类型查询该类型下所有的函数
dv.func_doc.search_by_type("数学函数")

# 根据函数描述查询可能符合该描述的所有的函数
dv.func_doc.search_by_description("绝对值")

# 根据函数名查询该函数
dv.func_doc.search_by_func("Tan",precise=True)

# 根据函数名查询该函数 -模糊查询
dv.func_doc.search_by_func("Tan",precise=False)

更高自由度下的自定义因子

内置的函数终究有限，add_formula可以通过事先定义并注册一些因子计算中需要的函数方法，完成更高自由度的因子计算

# 定义指数平均计算函数-传入一个时间为索引,股票为columns的Dataframe,计算其指数平均序列
# SMAtoday=m/n * Pricetoday + ( n-m )/n * SMAyesterday;
def sma(df, n, m):
    a = n / m - 1
    r = df.ewm(com=a, axis=0, adjust=False)
    return r.mean()

dv.add_formula("double_SMA","SMA(SMA(close_adj,3,1),3,1)",
               is_quarterly=False,
               add_data=True,
               register_funcs={"SMA":sma}).head()

5 rows × 472 columns

方法2: append_df 构造一个因子表格（pandas.Dataframe）,直接添加到dataview当中

更高自由度，只需要任意事先计算出一个因子表格，均可以添加到数据集里

import pandas as pd
import talib as ta
close = dv.get_ts("close_adj").dropna(how='all', axis=1)
slope_df = pd.DataFrame({sec_symbol: -ta.LINEARREG_SLOPE(value.values, 10) for sec_symbol, value in close.iteritems()}, index=close.index)
dv.append_df(slope_df,'slope')
dv.get_ts("slope").tail()

5 rows × 472 columns

2、什么是事件？

事件是因子的一种特殊形式，用1/0/-1表示。
比方说，我们可以定义长短期均线金叉为一个事件，股价走势发生金叉记为1，死叉记为-1，其他记位0。
通过事件分析，可以测试某个事件和股票未来收益的关系。

运用上面提供的自定义因子方法，构造一个5日/10日均线的金叉事件

from jaqs_fxdayu.research.signaldigger import process
Open = dv.get_ts("open_adj")
High = dv.get_ts("high_adj")
Low = dv.get_ts("low_adj")
Close = dv.get_ts("close_adj")
trade_status = dv.get_ts('trade_status')
mask_sus = trade_status == u'停牌'
# 剔除掉停牌期的数据　再计算指标
open_masked = process._mask_df(Open,mask=mask_sus)
high_masked = process._mask_df(High,mask=mask_sus)
low_masked = process._mask_df(Low,mask=mask_sus)
close_masked = process._mask_df(Close,mask=mask_sus)

from jaqs_fxdayu.data import signal_function_mod as sfm
MA5 = sfm.ta(ta_method='MA',
             ta_column=0, 
             Open=open_masked, 
             High=high_masked, 
             Low=low_masked, 
             Close=close_masked,
             Volume=None,
             timeperiod=5)
MA10 = sfm.ta('MA',Close=close_masked, timeperiod=10)
dv.append_df(MA5,'MA5')
dv.append_df(MA10,'MA10')

# 定义金叉事件
dv.add_formula("Cross","(MA5>=MA10)&&(Delay(MA5<MA10, 1))",is_quarterly=False, add_data=True)
dv.get_ts("Cross").tail()

917 rows × 472 columns

事件分析

import numpy as np
#定义信号过滤条件-非指数成分
def mask_index_member():
    df_index_member = dv.get_ts('index_member')
    mask_index_member = df_index_member == 0
    return mask_index_member
# 定义可买卖条件——未停牌、未涨跌停
def limit_up_down():
    trade_status = dv.get_ts('trade_status')
    mask_sus = trade_status == u'停牌'
    # 涨停
    dv.add_formula('up_limit', '(close - Delay(close, 1)) / Delay(close, 1) > 0.095', is_quarterly=False, add_data=True)
    # 跌停
    dv.add_formula('down_limit', '(close - Delay(close, 1)) / Delay(close, 1) < -0.095', is_quarterly=False, add_data=True)
    can_enter = np.logical_and(dv.get_ts('up_limit') < 1, ~mask_sus) # 未涨停未停牌
    can_exit = np.logical_and(dv.get_ts('down_limit') < 1, ~mask_sus) # 未跌停未停牌
    return can_enter,can_exit
mask = mask_index_member()
can_enter,can_exit = limit_up_down()

from jaqs_fxdayu.research import SignalDigger
obj = SignalDigger(output_folder='./output',
                   output_format='pdf')
# 和处理因子的步骤一样 n_quantiles=1
# 不传入benchmark 可以分析绝对收益
obj.process_signal_before_analysis(signal=dv.get_ts("Cross"),
                                   price=dv.get_ts("close_adj"),
                                   high=dv.get_ts("high_adj"), # 可为空
                                   low=dv.get_ts("low_adj"),# 可为空
                                   n_quantiles=1,# quantile分类数
                                   mask=mask,# 过滤条件
                                   can_enter=can_enter,# 是否能进场
                                   can_exit=can_exit,# 是否能出场
                                   period=15,# 持有期
                                   # benchmark_price=dv.data_benchmark, # 基准价格 可不传入，持有期收益（return）计算为绝对收益
                                   commission = 0.0008,
                                   )
signal_data = obj.signal_data
signal_data.head()

Nan Data Count (should be zero) : 0;  Percentage of effective data: 58%

from jaqs_fxdayu.research.signaldigger.analysis import analysis
result = analysis(signal_data, is_event=True, period=15)
print("——选股收益分析——")
print(result["ret"])
print("——最大潜在盈利/亏损分析——")
print(result["space"])

——选股收益分析——
               long_ret  long_short_ret  all_sample_ret
t-stat        13.809555       -2.215186       56.599912
p-value        0.000000        0.027010        0.000000
skewness       0.678439        1.962786        0.528837
kurtosis       5.832069       23.299192        6.287590
Ann. Ret       0.195429       -0.027813        0.197724
Ann. Vol       0.425952        0.091133        0.437576
Ann. IR        0.458804       -0.305185        0.451862
occurance  14617.000000      851.000000   253131.000000
——最大潜在盈利/亏损分析——
                 long_space  all_sample_space
Up_sp Mean         0.083199          0.084788
Up_sp Std          0.090546          0.093534
Up_sp IR           0.918863          0.906497
Up_sp Pct5         0.000000          0.000000
Up_sp Pct25        0.023132          0.023244
Up_sp Pct50        0.057588          0.057768
Up_sp Pct75        0.112567          0.114369
Up_sp Pct95        0.253129          0.261422
Up_sp Occur    14617.000000     253131.000000
Down_sp Mean      -0.064763         -0.065643
Down_sp Std        0.071093          0.076085
Down_sp IR        -0.910964         -0.862766
Down_sp Pct5      -0.195641         -0.212200
Down_sp Pct25     -0.085433         -0.083924
Down_sp Pct50     -0.043096         -0.042437
Down_sp Pct75     -0.019361         -0.018191
Down_sp Pct95     -0.002682         -0.001090
Down_sp Occur  14617.000000     253131.000000

# 可视化
import matplotlib.pyplot as plt
obj.create_full_report()
plt.show()

Value of signals of Different Quantiles Statistics
          min  max      mean       std   count  count %
quantile                                               
1         0.0  1.0  0.057745  0.233261  253131    100.0
Figure saved: /home/xinger/Desktop/qtc/多因子选股模型/output/returns_report.pdf
Information Analysis
                ic
IC Mean     -0.004
IC Std.      0.085
t-stat(IC)  -1.496
p-value(IC)  0.135
IC Skew     -0.205
IC Kurtosis  1.219
Ann. IR     -0.052
Figure saved: /home/xinger/Desktop/qtc/多因子选股模型/output/information_report.pdf



<matplotlib.figure.Figure at 0x7f1d2c8f6470>