自定义因子、事件分析

目录

1. 两种自定义因子的方法——add_formula&append_df
2. 什么是事件？（0/1因子）
3. 事件选股效果的可视化

from jaqs_fxdayu.data import DataView 
import warnings
warnings.filterwarnings("ignore")
dataview_folder = './Factor'
dv = DataView()
dv.load_dataview(dataview_folder)

Dataview loaded successfully.

1、两种自定义因子的方法——add_formula&append_df

dataview可以通过两种方式计算/添加自定义因子进行分析

方法1：add_formula 基于dataview里已有的字段,通过表达式定义因子

# 直接返回
dv.add_formula("momentum", "Return(close_adj, 20)", is_quarterly=False).head()

5 rows × 472 columns

# 添加到数据集dv里，则计算结果之后可以反复调用
dv.add_formula("momentum", "Return(close_adj, 20)", is_quarterly=False, add_data=True)
dv.get_ts("momentum").head()

5 rows × 472 columns

附：add_formula 支持的内置公式查询方法

# 完整文档
dv.func_doc.doc

68 rows × 4 columns

# 函数一览
dv.func_doc.funcs

array(['+', '-', '*', '/', 'Sign(x)', 'Abs(x)', 'Log(x)', '-x', '^',
       'Pow(x,y)', 'SignedPower(x,e)', '%', '==', '!=', '>', '<', '>=',
       '<=', '&&', '||', '!', 'IsNan(x)', 'Sin(x)', 'Cos(x)', 'Tan(x)',
       'Sqrt(x)', 'Ceil(x)', 'Floor(x)', 'Round(x)', 'Max(x,y)',
       'Min(x,y)', 'If(cond,x,y)', 'Delay(x,n)', 'Ts_Sum(x,n)',
       'Ts_Product(x,n)', 'Delta(x,n)', 'Return(x,n,log)', 'Ts_Mean(x，n)',
       'StdDev(x,n)', 'Covariance(x,y,n)', 'Correlation(x,y,n)',
       'Ts_Min(x，n)', 'Ts_Max(x，n)', 'Ts_Skewness(x，n)',
       'Ts_Kurtosis(x，n)', 'Ts_Rank(x, n)', 'Ts_Percentile(x, n)',
       'Ts_Quantile(x, n)', 'Ewma(x, halflife)', 'Rank(x)',
       'GroupRank(x,g)', 'Percentile(x)', 'GroupPercentile(x, g, n)',
       'ConditionRank(x, cond)', 'Quantile(x, n)',
       'GroupQuantile(x, g, n)', 'Standardize(x)', 'Cutoff(x, z_score)',
       'CumToSingle(x)', 'TTM(x)', 'Decay_exp(x,f,n)', 'Decay_linear(x,n)',
       'Tail(x, lower, upper, newval)', 'Step(n)', 'CountNans(x,n)',
       'Ts_Argmax(x,n)', 'Ts_Argmin(x,n)',
       'Ta(ta_method,ta_column,open,high,low,close,volume,*args)'], dtype=object)

# 函数类型
dv.func_doc.types

array(['四则运算', '基本数学函数', '逻辑运算', '三角函数', '取整函数', '选择函数', '时间序列函数 - 基本数学运算',
       '时间序列函数 - 统计', '时间序列函数 - 排名', '横截面函数 - 排名', '横截面函数 - 数据处理', '财报函数',
       '其他', '技术指标'], dtype=object)

# 函数描述
dv.func_doc.descriptions

array(['加法运算', '减法运算', '乘法运算', '除法运算', '符号函数，返回值为{-1, 0, 1}', '绝对值函数',
       '自然对数', '对x取负', '幂函数', '幂函数x^y', '保持符号的幂函数，等价于Sign(x) * (Abs(x)^e)',
       '取余函数', '判断是否相等', '判断是否不等', '大于', '小于', '大于等于', '小于等于', '逻辑与',
       '逻辑或', '逻辑非', '判断值是否为NaN', '正弦函数', '余弦函数', '正切函数', '开平方函数', '向上取整',
       '向下取整', '四舍五入', '取 x 和 y 同位置上的较大值组成新的DataFrame返回',
       '取 x 和 y 同位置上的较小值组成新的DataFrame返回', 'cond为True取x的值，反之取y的值',
       '指标n个周期前的值', '指标在过去n天的和', '指标在过去 n 天的积', '指标当前值与n天前的值的差',
       '计算指标相比n天前的变化率，默认计算百分比变化率；当log为1时，计算对数变化率;为0时计算普通变化率',
       '计算指标在过去n天的平均值', '指标在过去n天的标准差', '两个指标在过去n天的协方差', '两个指标在过去n天的相关系数',
       '计算指标在过去n天的最小值', '计算指标在过去n天的最大值', '计算指标在过去n天的偏度', '计算指标在过去n天的峰度',
       '计算指标在过去n天的排名，返回值为名次', '计算指标在过去n天的百分比，返回值为[0.0, 1.0]',
       '计算指标在过去n天所属的quantile，返回值为表示quantile的整数',
       '指数移动平均，以halflife的衰减对x进行指数移动平均', '将指标值在横截面方向排名，返回值为名次',
       '按分组数据g在每组内将指标值在横截面方向排名，返回值为名次', '将指标值在横截面方向排名，返回值为排名百分比',
       '按分组数据g在每组内将指标值在横截面方向排名，返回值为排名百分比',
       '和Rank函数相同，但只有 cond 中值为True的标的参与排名',
       '根据指标值在横截面方向将标的分成n个quantile，返回值为所属quantile',
       '按分组数据g在每组内根据指标值在横截面方向将标的分成n个quantile，返回值为所属quantile',
       '将指标标准化，即在横截面上减去平均值后再除以标准差',
       '将指标横截面上去极值，用MAD (Maximum Absolute Deviation)方法, z_score为极值判断标准',
       '将累计财务数据转换为单季财务数据', '从累计财务数据计算TTM的财务数据',
       '过去 n 天的指数衰减函数，其中 f 是平滑因子。这里 f 是平滑因子，可以赋一个小于 1 的值。Decay_exp(x, f, n) = (x[date] + x[date - 1] * f + … +x[date – n - 1] * (f (n – 1))) / (1 + f + … + f ^ (n - 1))',
       '过去n天的线性衰减函数。Decay_linear(x, n) = (x[date] * n + x[date - 1] * (n - 1) + … + x[date – n - 1]) / (n + (n - 1) + … + 1)',
       '如果 x 的值介于 lower 和 upper，则将其设定为 newval',
       'Step(n) 为每个标的创建一个向量，向量中 n 代表最新日期，n-1 代表前一天，以此类推。',
       '时间序列函数，计算 x 中的值在过去 n 天中为 nan （非数字）的次数', '计算指标在过去n天最大值的坐标',
       '计算指标在过去n天最小值的坐标', '根据talib技术指标库计算x中每只股票的技术指标'], dtype=object)

# 根据函数类型查询该类型下所有的函数
dv.func_doc.search_by_type("数学函数")

# 根据函数描述查询可能符合该描述的所有的函数
dv.func_doc.search_by_description("绝对值")

# 根据函数名查询该函数
dv.func_doc.search_by_func("Tan",precise=True)

# 根据函数名查询该函数 -模糊查询
dv.func_doc.search_by_func("Tan",precise=False)

更高自由度下的自定义因子

内置的函数终究有限，add_formula可以通过事先定义并注册一些因子计算中需要的函数方法，完成更高自由度的因子计算

# 定义指数平均计算函数-传入一个时间为索引,股票为columns的Dataframe,计算其指数平均序列
# SMAtoday=m/n * Pricetoday + ( n-m )/n * SMAyesterday;
def sma(df, n, m):
    a = n / m - 1
    r = df.ewm(com=a, axis=0, adjust=False)
    return r.mean()

dv.add_formula("double_SMA","SMA(SMA(close_adj,3,1),3,1)",
               is_quarterly=False,
               add_data=True,
               register_funcs={"SMA":sma}).head()

5 rows × 472 columns

方法2: append_df 构造一个因子表格（pandas.Dataframe）,直接添加到dataview当中

更高自由度，只需要任意事先计算出一个因子表格，均可以添加到数据集里

import pandas as pd
import talib as ta
close = dv.get_ts("close_adj").dropna(how='all', axis=1)
slope_df = pd.DataFrame({sec_symbol: -ta.LINEARREG_SLOPE(value.values, 10) for sec_symbol, value in close.iteritems()}, index=close.index)
dv.append_df(slope_df,'slope')
dv.get_ts("slope").tail()

5 rows × 472 columns

2、什么是事件？

事件是因子的一种特殊形式，用1/0/-1表示。
比方说，我们可以定义长短期均线金叉为一个事件，股价走势发生金叉记为1，死叉记为-1，其他记位0。
通过事件分析，可以测试某个事件和股票未来收益的关系。

运用上面提供的自定义因子方法，构造一个5日/10日均线的金叉事件

from jaqs_fxdayu.research.signaldigger import process
Open = dv.get_ts("open_adj")
High = dv.get_ts("high_adj")
Low = dv.get_ts("low_adj")
Close = dv.get_ts("close_adj")
trade_status = dv.get_ts('trade_status')
mask_sus = trade_status == 0
# 剔除掉停牌期的数据　再计算指标
open_masked = process._mask_df(Open,mask=mask_sus)
high_masked = process._mask_df(High,mask=mask_sus)
low_masked = process._mask_df(Low,mask=mask_sus)
close_masked = process._mask_df(Close,mask=mask_sus)

from jaqs_fxdayu.data import signal_function_mod as sfm
MA5 = sfm.ta(ta_method='MA',
             ta_column=0, 
             Open=open_masked, 
             High=high_masked, 
             Low=low_masked, 
             Close=close_masked,
             Volume=None,
             timeperiod=5)
MA10 = sfm.ta('MA',Close=close_masked, timeperiod=10)
dv.append_df(MA5,'MA5')
dv.append_df(MA10,'MA10')

# 定义金叉事件
dv.add_formula("Cross","(MA5>=MA10)&&(Delay(MA5<MA10, 1))",is_quarterly=False, add_data=True)

917 rows × 472 columns

事件分析

import numpy as np
#定义信号过滤条件-非指数成分
def mask_index_member():
    df_index_member = dv.get_ts('index_member')
    mask_index_member = df_index_member == 0
    return mask_index_member
# 定义可买卖条件——未停牌、未涨跌停
def limit_up_down():
    trade_status = dv.get_ts('trade_status')
    mask_sus = trade_status == 0
    # 涨停
    dv.add_formula('up_limit', '(close - Delay(close, 1)) / Delay(close, 1) > 0.095', is_quarterly=False, add_data=True)
    # 跌停
    dv.add_formula('down_limit', '(close - Delay(close, 1)) / Delay(close, 1) < -0.095', is_quarterly=False, add_data=True)
    can_enter = np.logical_and(dv.get_ts('up_limit') < 1, ~mask_sus) # 未涨停未停牌
    can_exit = np.logical_and(dv.get_ts('down_limit') < 1, ~mask_sus) # 未跌停未停牌
    return can_enter,can_exit
mask = mask_index_member()
can_enter,can_exit = limit_up_down()

from jaqs_fxdayu.research import SignalDigger
obj = SignalDigger(output_folder='./output',
                   output_format='pdf')
# 和处理因子的步骤一样 n_quantiles=1
# 不传入benchmark 可以分析绝对收益
obj.process_signal_before_analysis(signal=dv.get_ts("Cross"),
                                   price=dv.get_ts("close_adj"),
                                   high=dv.get_ts("high_adj"), # 可为空
                                   low=dv.get_ts("low_adj"),# 可为空
                                   n_quantiles=1,# quantile分类数
                                   mask=mask,# 过滤条件
                                   can_enter=can_enter,# 是否能进场
                                   can_exit=can_exit,# 是否能出场
                                   period=15,# 持有期
                                   # benchmark_price=dv.data_benchmark, # 基准价格 可不传入，持有期收益（return）计算为绝对收益
                                   commission = 0.0008,
                                   )
signal_data = obj.signal_data
signal_data.head()

Nan Data Count (should be zero) : 0;  Percentage of effective data: 58%

from jaqs_fxdayu.research.signaldigger.analysis import analysis
result = analysis(signal_data, is_event=True, period=15)
print("——选股收益分析——")
print(result["ret"])
print("——最大潜在盈利/亏损分析——")
print(result["space"])

    ——选股收益分析——
               long_ret  long_short_ret  all_sample_ret
t-stat        12.598541       -2.532330       53.562672
p-value        0.000000        0.011500        0.000000
skewness       0.687618        0.384795        0.541517
kurtosis       5.757444        6.439517        6.210530
Ann. Ret       0.172894       -0.029187        0.181235
Ann. Vol       0.422764        0.085846        0.434142
Ann. IR        0.408960       -0.339994        0.417456
occurance  15312.000000      896.000000   265600.000000
——最大潜在盈利/亏损分析——
                 long_space  all_sample_space
Up_sp Mean         0.082264          0.084310
Up_sp Std          0.089366          0.092245
Up_sp IR           0.920522          0.913982
Up_sp Pct5         0.001019          0.001947
Up_sp Pct25        0.022871          0.023772
Up_sp Pct50        0.056777          0.057538
Up_sp Pct75        0.111500          0.113509
Up_sp Pct95        0.250879          0.257973
Up_sp Occur    15312.000000     265600.000000
Down_sp Mean      -0.098562         -0.099719
Down_sp Std        0.187441          0.190518
Down_sp IR        -0.525831         -0.523410
Down_sp Pct5      -0.330871         -0.347779
Down_sp Pct25     -0.092257         -0.091053
Down_sp Pct50     -0.046429         -0.045785
Down_sp Pct75     -0.021270         -0.020408
Down_sp Pct95     -0.004611         -0.003867
Down_sp Occur  15312.000000     265600.000000

# 可视化
import matplotlib.pyplot as plt
obj.create_full_report()
plt.show()

    Value of signals of Different Quantiles Statistics
          min  max      mean       std   count  count %
quantile                                               
1         0.0  1.0  0.057651  0.233082  265600    100.0
Figure saved: E:\2018_Course\HighSchool\Final\5_因子研发工具实操Richard\output\returns_report.pdf
Information Analysis
                ic
IC Mean     -0.005
IC Std.      0.084
t-stat(IC)  -1.615
p-value(IC)  0.107
IC Skew     -0.217
IC Kurtosis  1.232
Ann. IR     -0.054
Figure saved: E:\2018_Course\HighSchool\Final\5_因子研发工具实操Richard\output\information_report.pdf
<matplotlib.figure.Figure at 0x1d0b7982860>