ygtrece
我还年轻, 我渴望上路
字数统计:
2.6k字
|
阅读时长:
10分
EasyRL-1
强化学习主要符号表：
| 主要符号表 | ||
|---|---|---|
| a：标量 | a：向量 | A：矩阵 |
| $\mathbb{R}$：实数集 | $arg_amaxf(a)$ ：$f(a)$取最大值时a的值 | s：状态 |
| a：动作 | r：奖励 | $\pi$：策略 |
| $\gamma$：折扣因子 | $\pi(s)$：根据确定性策略$\pi$在状态$s$选取的动作 | $\tau$：轨迹 |
| $V_{\pi}(s)$：状态$s$在策略$\pi$下的价值 | $Q_{\pi}(s,a)$：状态$s$在策略$\pi$下采取动作$a$的价值 | $G_t$：时刻$t$的回报 |
| $\pi_{\theta}$：参数$\theta$对应的策略 | $J(\theta)$：策略$\pi_{\theta}$的性能度量 |
字数统计:
3.7k字
|
阅读时长:
16分
NDN代码分析(5) 兴趣包和数据包代码
从consumer发兴趣包到producer返回data包的全过程
一图明白整个发包、收包流程
- 黄颜色可以理解为预处理流程，发端执行「黄色+蓝色」的流程
- 中间的节点执行「绿色+蓝色」的流程
- 最后的节点（生产者或消费者）执行「绿色+蓝色+紫色」的流程
字数统计:
3k字
|
阅读时长:
14分
ns-3和NDN代码分析(4) ndn-simple进一步剖析
前面的文章中，我们剖析了 ndn-simple.cpp 的每一行代码的大致功能。在这篇文章中，我将跳每一行代码的子函数里，对于每个子函数进行更加细致地剖析，用于分析每一行代码的工作机理。
字数统计:
4.8k字
|
阅读时长:
22分
动态规划-4
给你一个整数数组 nums ，找到其中最长严格递增子序列的长度。
子序列 是由数组派生而来的序列，删除（或不删除）数组中的元素而不改变其余元素的顺序。例如，[3,6,2,7] 是数组 [0,3,1,6,2,2,7] 的子序列。
字数统计:
6.7k字
|
阅读时长:
31分
NDN代码分析(3) forwarder模块代码
相比起之前的代码， forwarder.cpp 是一个大工程，头铁硬碰显然是不合适的。在看代码之前，我们应当对 Forwarder 类大致在干什么有一些初步的了解。实际上， Forwarder 类主要控制前向转发过程，我们可以把整个 Forwarder 类看作一个贴心的管家，通过 nameTree 管理手下的 fib 、 pit 、 cs ，还通过 m_faceTable 管理了手下的所有的 face 接口，并同时管理着其余的各项东西。
字数统计:
2.1k字
|
阅读时长:
9分
NDN代码分析(2) tlv编码和cs代码
ndnSIM的data包和interest包的tlv编码、解码过程及如何判断包的类型。
ndnSIM学习（五）——data包和interest包的tlv编码、解码过程以及如何判断包的类型_间宫羽咲sama的博客-CSDN博客_tlv编码规则
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true
这一定是一个<br><br>很长很长的一生啊