Method forward

code/chapter6.py:104–124

全连接网络的前向传播，原理见上文 反向传播算法 部分。 参数说明： X：输入数组，为（n_samples, n_in），float型 retain_derived：是否保留中间变量，以便反向传播时再次使用，bool型

(self, X, retain_derived=True)

        self.is_initialized = True
        
    def forward(self, X, retain_derived=True):
        """
        全连接网络的前向传播，原理见上文 反向传播算法 部分。
        
        参数说明：
        X：输入数组，为（n_samples, n_in），float型
        retain_derived：是否保留中间变量，以便反向传播时再次使用，bool型
        """
        if not self.is_initialized:  # 如果参数未初始化，先初始化参数
            self.n_in = X.shape[1]
            self._init_params()
            
        W = self.params["W"]
        b = self.params["b"]
        z = X @ W + b
        a = self.acti_fn.forward(z)
        
        if retain_derived:
            self.X.append(X)
            
        return a
    
    def backward(self, dLda, retain_grads=True):
        """