Home

Here’s the table of contents: 对MySQL数据进行分块 通过自增ID获取源表数据【从源表获取证券代码列表】 调用GraphQL生成新字段数据 更新MySQL 案例一【从GraphQL获取数据更新MySQL】：完整实现 案例二【从MySQL获取数据更新到MySQL指定表】：完整实现 对MySQL数据进行分块 – 使用场景：MySQL单表数据量过大，例如千万级或者上亿级 – 数据分块的实现逻辑：根据数据库自增ID对数据进行分块 // 获取数据库自增ID的最大最小值 CALL apoc.load.jdbc('jdbc:mysql://testlab-contentdb-dev.crkldnwly6ki.rds.cn-north-1....

Here’s the table of contents: 节点CYPHER-TASK生成 关系CYPHER-TASK自动生成 节点CYPHER-TASK生成 入参说明 @param {merge_label} 合并节点的数据模型标签 eg.HBondOrg @param {merge_field} 合并节点的字段 eg.hcode @param {child_labels} JsonArrayString数组,空数组传入[] eg.apoc.coll.union(apoc.convert.fromJsonList(row.label),{child_labels}) @param {jdbc_etl_url} 支持MySQL、Oracle、SqlSer...

Here’s the table of contents: 需求内容： 设计背景 三维图数据随时间序列变化的示例结构 时间粒度 存储原则 关系时间序列存储 ONgDB支持的数据规模 标签时间序列存储 需求内容： 公司画像存储/人物画像存储等【实现任意时间切片下研究主体的标签关系属性穿透分析】。 设计背景 通过标签的任意组合归类实体进行关系分析，最高效的方式是通过图数据库的标签进行实现。这里的标签类似现有的拍平指标，现有的拍平指标存储在ES。如果要实现在某个时间点对某类拍平指标进行相关性分析是很难的。 关联时序的标签设计可以在空间上区分归类实体，将关系网络映射在一个三维空间中，可以方便的提取某个时间片上的关系网络。 三维图数据随时间序列变化的示例...

Here’s the table of contents: 变量冲突调整 BUILD-TASK脚本命名规范 异构图 同构图 异构图过程设计 异构图-TASK脚本生成 生成custom.task.build.graph.*过程 节点CYPHER-TASK生成 关系CYPHER-TASK自动生成 同构图过程设计 同构图-TASK脚本生成 节点CYPHER-TASK生成 关系CYPHER-TASK自动生成 变量冲突调整 文本中下列变量在使用时去掉双下划线`--`【因为与GitHubIO.blo...

Here’s the table of contents: 定义说明 查看自定义函数和过程 查看构建自定义函数和过程的存储过程 注册一个自定义函数 注册一个自定义过程 输入输出参数支持的数据类型 查看函数和过程清单 删除函数 删除过程 使用案例一 使用案例二 使用案例三 使用案例四 自定义函数与过程存储位置 定义说明 APOC提供相关过程来创建用户自定义的函数和过程。这些函数和过程实际上是参数化的Cypher语言查询，类似宏（Macro）的概念。 查看自定义函数和过程 CALL dbms....

Here’s the table of contents: 服务监控脚本DEMO 服务重启脚本 monitor.sh server-monitor.sh 服务监控脚本DEMO #!/bin/bash PRG="$0" currentpath=`dirname $(readlink -f $0)` echo $currentpath echo $(dirname $currentpath) frontdir=$(dirname $currentpath) javapid=$(ps -ef|grep java|grep -w $currentpath|awk '{print $2}') echo $javapid if [ -n "$javapid" ] then b...

Here’s the table of contents: ONgDB DAG TASK检查点记录表 关系的开始节点与结束节点标签相同【标签不同且分为两个任务时需要考虑check point的更新时机】 关系的开始节点与结束节点标签相同-数据分块-任务状态回滚【标签不同且分为两个任务时需要考虑check point的更新时机】 关系的开始节点与结束节点标签相同-数据分块-任务状态回滚【标签不同且分为两个任务时需要考虑check point的更新时机】 调度系统执行逻辑 异构图数据构建任务执行逻辑 同构图数据构建任务执行逻辑 ONgDB DAG TASK检查点记录表 CREATE TABLE `ONGDB_TASK...

Here’s the table of contents: 下载Kafka 解压 启动 测试Kafka 下载neo4j-streams组件包 配置neo4j.conf 监听TestTopic并运行指定CYPHER操作 通过生产者发送CYPHER操作给CypherTopic【从消息队列获取CYPHER后执行】 下载Kafka wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz 解压 tar -zxvf kafka_2.12-2.7.0.tgz 启动 ./zookeeper-server-start.sh ../config/zook...