博亚体育(中国)官方APP

数据处理服务器及其数据处理方博亚体育 博亚体育官方网站法与流程|博亚体育
行业资讯
数据处理服务器及其数据处理方博亚体育 博亚体育官方网站法与流程
时间:2023-07-02浏览次数:
 本发明关于一种数据处理服务器及其数据处理方法。更具体而言,本发明是关于一种大数据(Big Data)的数据处理服务器及其数据处理方法。  已知的数据处理方式,由于其数据量较小,因此,使用者仍可通过一般电脑,于合理的条件下完成数据的分析,并获得想要的输出。然随着科技发展,使用者通过电脑及网络得以使用的数据量已呈现巨幅的成长,因此,若以已知的数据处理方式,使用者将难以即时且有效率地获得期望的输出。

  本发明关于一种数据处理服务器及其数据处理方法。更具体而言,本发明是关于一种大数据(Big Data)的数据处理服务器及其数据处理方法。

  已知的数据处理方式,由于其数据量较小,因此,使用者仍可通过一般电脑,于合理的条件下完成数据的分析,并获得想要的输出。然随着科技发展,使用者通过电脑及网络得以使用的数据量已呈现巨幅的成长,因此,若以已知的数据处理方式,使用者将难以即时且有效率地获得期望的输出。据此,大数据(Big Data)的数据处理方式因此发展,其中,大数据的数据处理方式目前可分为批次处理以及即时处理。

  具体而言,批次处理的大数据数据处理方式,主要是针对大数据量的档案先行分拆,并以非即时的方式进行数据处理,惟此种方式仍有输出延迟过大以及运算复杂的缺点。另一方面,即时处理的大数据数据处理方式,主要是直接针对大数据量的档案进行处理并产生输出,惟此种方式将有结果不够准确的疑虑,且若短时间内突发事件的数据占总体数据量比例过小,亦无法针对突发事件做出准确的判断。

  针对前述大数据处理方式的缺点,目前已有技术针对批次处理的结果以及即时处理的结果进行整合输出,以提升其准确度,惟在此种操作方式中,整合输出的结果仍须等待批次处理的结果,且即时数据的处理方法仍须根据之前定义的逻辑与流程检测及判断固定事件的数据,因此, 数据处理的即时性仍有明显不足。

  有鉴于此,如何改良前述已知大数据的数据处理的缺点,同时提升数据输出的即时性以及准确性,乃为业界亟需努力的目标。

  本发明的主要目的是提供一种数据处理服务器,包含数据库、非即时数据处理模块以及即时数据处理模块。数据库用以记录第一数据处理函数。非即时数据处理模块用以:接收数据串流;根据第一数据处理函数分析数据串流,以产生至少一第一数据权重;以及将该至少一第一数据权重储存于该数据库。即时数据处理模块用以:接收数据串流;自数据库撷取第一数据处理函数以及至少一第一数据权重;根据第一数据处理函数以及至少一第一数据权重更新即时数据处理组态,其中,即时数据处理组态包含第一数据处理函数以及至少一第一数据权重;以及根据即时数据处理组态分析数据串流,以产生即时数据输出。

  为完成前述目的,本发明又提供一种用于数据处理服务器的数据处理方法。数据处理服务器包含数据库、非即时数据处理模块以及即时数据处理模块。数据库用以记录第一数据处理函数。数据处理方法包含:(a)令非即时数据处理模块接收数据串流;(b)令非即时数据处理模块根据第一数据处理函数分析数据串流,以产生至少一第一数据权重;(c)令非即时数据处理模块将至少一第一数据权重储存于数据库;(d)令即时数据处理模块接收数据串流;(e)令即时数据处理模块自数据库撷取第一数据处理函数以及至少一第一数据权重;(f)令即时数据处理模块根据第一数据处理函数以及至少一第一数据权重更新即时数据处理组态,其中,即时数据处理组态包含第一数据处理函数以及至少一第一数据权重;(g)令即时数据处理模块根据即时数据处理组态分析数据串流,以产生即时数据输出。

  参阅图式及随后描述的实施方式后,所属技术领域具有通常 知识者可更了解本发明的技术手段及具体实施态样。

  图4A是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的例示图;

  图4B是本发明第四实施例的数据串流于数据处理服务器中进行非即时数据处理的例示图;

  图4C是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的另一例示图;

  图4D是本发明第四实施例的数据串流于数据处理服务器中进行非即时数据处理的另一例示图;

  图4E是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的另一例示图;

  以下将通过本发明的实施例来阐释本发明。然而,该多个实施例并非用以限制本发明需在如实施例所述的任何环境、应用程序或方式方能实施。因此,以下实施例的说明仅在于阐释本发明,而非用以限制本发明。在以下实施例及图式中,与本发明非直接相关的元件已省略而未绘示,且绘示于图式中的各元件之间的尺寸关系仅为便于理解,而非用以限制为实际的实施比例。

  请先参考图1A~1B。图1A是本发明第一实施例的一数据处理服务器1的示意图,图1B是本发明第一实施例的数据处理服务器1处理数据的示意图。数据处理服务器1包含一数据库11、一非即时数据处理模块13以 及一即时数据处理模块15。数据库11记录一第一数据处理函数F1。非即时数据处理模块13具有一非即时数据接收单元131以及一非即时数据分析单元133。即时数据处理模块15具有一即时数据接收单元151以及一即时数据分析单元153。元件间处理数据的互动流程将于下文中进一步阐述。

  具体而言,如图所示,数据处理服务器1自一数据源9接收一数据串流90。接着,就非即时数据处理模块13的角度观的,非即时数据接收单元131先接收数据串流90,而非即时数据分析单元133便根据数据库11里所记录的第一数据处理函数F1分析数据串流90,以产生与数据串流90相关的至少一第一数据权重W1。随后,非即时数据分析单元133将至少一第一数据权重W1储存于数据库11中。

  另一方面,以即时数据处理模块15的角度观的,其主要是利用一即时数据处理组态150处理即时数据,同时,即时数据处理模块15亦可确认数据库11中是否有更新之内容可使用。详言之,即时数据处理模块15利用即时数据接收单元151接收数据串流90,同时,即时数据分析单元153自数据库11撷取非即时数据处理模块13更新的第一数据处理函数F1以及至少一第一数据权重W1。

  随后,即时数据分析单元153便可根据第一数据处理函数F1以及至少一第一数据权重W1更新即时数据处理组态150,使即时数据处理组态150新增第一数据处理函数F1以及至少一第一数据权重W1的利用。最后,即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生一即时数据输出152。如此一来,由于即时数据处理组态150已通过第一数据处理函数F1以及至少一第一数据权重W1更新,因此,即时数据分析单元153于利用即时处理组态150分析数据串流90时,所产生的即时数据输出152除了具备原有的即时性外,同时可具有非即时数据的高可靠性。

  请参考图2A~2B。图2A是本发明第二实施例的一数据处理服务器2的示意图,图2B是本发明第二实施例的数据处理服务器2处理数据的示意图。其中,博亚体育 博亚体育官方网站第二实施例与第一实施例的架构相似,因此符号相同的元 件功能亦同,于此不再赘述。而第二实施例主要是说明利用一数据整合模块17进行数据整合的过程。

  类似地,如图所示,数据处理服务器2自数据源9接收数据串流90。接着,就非即时数据处理模块13的角度观的,非即时数据接收单元131先接收数据串流90,而非即时数据分析单元133便根据数据库11里所记录的第一数据处理函数F1分析数据串流90,以产生与数据串流90相关的至少一第一数据权重W1。随后,非即时数据分析单元133根据第一数据处理函数F1以及至少一第一数据权重W1分析数据串流90,以产生一非即时数据输出130,同时将至少一第一数据权重W1储存于数据库11中。

  另一方面,以即时数据处理模块15的角度观的,其主要是利用一即时数据处理组态150处理即时数据,同时,即时数据处理模块15亦可确认数据库11中是否有更新之内容可使用。详言之,即时数据处理模块15利用即时数据接收单元151接收数据串流90,同时,即时数据分析单元153自数据库11撷取非即时数据处理模块13更新的第一数据处理函数F1以及至少一第一数据权重W1。

  随后,即时数据分析单元153便可根据第一数据处理函数F1以及至少一第一数据权重W1更新即时数据处理组态150,使即时数据处理组态150新增第一数据处理函数F1以及至少一第一数据权重W1的利用。而即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生即时数据输出152。

  须特别说明,第二实施例中,非即时数据输出130以及即时数据输出152皆会输出至数据整合模块17中,换言之,数据整合模块17撷取非即时数据输出130以及即时数据输出152,并据以决定一整合数据输出170。如此一来,使用者除了可分别查询非即时数据输出130以及即时数据输出152外,亦可查询整合后的数据。

  请先参考图3A,其是本发明第三实施例的一数据处理服务器3的示意图。其中,第三实施例与前述实施例的架构相似,因此符号相同的 元件功能亦同,于此不再赘述。而第三实施例的数据库11更记录一第二数据处理函数F2,其主要是更详细说明多数据处理函数的应用。

  具体而言,如图所示,数据处理服务器3自数据源9接收数据串流90。接着,就非即时数据处理模块13的角度观的,非即时数据接收单元131先接收数据串流90,而非即时数据分析单元133便根据数据库11里所记录的第一数据处理函数F1分析数据串流90,以产生与数据串流90相关的至少一第一数据权重W1。同时,于第三实施例中,非即时数据分析单元133亦根据数据库11里所记录的第二数据处理函数F2分析数据串流90,以产生与数据串流90相关的至少一第二数据权重W2。随后,非即时数据分析单元133将至少一第一数据权重W1以及至少一第二数据权重W2储存于数据库11中。

  另一方面,以即时数据处理模块15的角度观的,其主要是利用即时数据处理组态150处理即时数据,同时,即时数据处理模块15亦可确认数据库11中是否有更新之内容可使用。详言之,即时数据处理模块15利用即时数据接收单元151接收数据串流90,同时,即时数据分析单元153自数据库11撷取相关的函数及其数据权重。

  请参考图3B,其是本发明第三实施例的数据处理服务器3处理数据的示意图。更进一步来说,当第一数据函数F1以及至少一第一数据权重W1与所欲输出的数据的相关性较高,且第二数据函数F2以及至少一第二数据权重W2与所欲输出的数据的相关性较低时,即时数据分析单元153仅自数据库11撷取非即时数据处理模块13更新的第一数据处理函数F1以及至少一第一数据权重W1。

  随后,同样地,即时数据分析单元153便可根据第一数据处理函数F1以及至少一第一数据权重W1更新即时数据处理组态150,使即时数据处理组态150新增第一数据处理函数F1以及至少一第一数据权重W1的利用。最后,即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生一即时数据输出152。

  请参考图3C,其是本发明第三实施例的数据处理服务器3处理数据的另一示意图。更详细来说,当第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2与所欲输出的数据的相关性皆有高度关联时,即时数据分析单元153自数据库11撷取非即时数据处理模块13更新的第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2。

  随后,即时数据分析单元153便可根据第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2更新即时数据处理组态150,使即时数据处理组态150新增第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2的利用。最后,即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生即时数据输出152。

  须特别说明,如图所示,第三实施例的数据处理服务器3亦可具有数据整合模块17,其同样用于撷取非即时数据输出130以及即时数据输出152,并据以决定整合数据输出170。由于其操作方式与前述实施例相同,与此不再赘述。

  另须强调,由于数据串流90的数据格式可为具有多种不同栏位的数据态样,因此,前述实施例中,至少一第一数据权重W1主要是对应于数据串流90的至少一第一数据栏位(未绘示),至少一第二数据权重W2主要是对应于数据串流90的至少一第二数据栏位(未绘示),以下将通过范例作出进一步的说明。

  举例来说,请参考图4A,其是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的例示图。如图所示,数据串流主要包含:驾驶、车型、行驶路径、车速以及塞车状态等栏位,此时,数据处理服务器的即时数据处理模块主要是根据车速以及道路的数据处理组态(如前述实施例的即时数据处理组态)进行数据串流的处理。接着,当使用者欲通过数据处理服务器获得路径W--P的所需时间时,即时数据处理模 块主要是针对数据串流的车速以及道路进行分析,并进一步得到路径W--P需50分钟的时间输出。

  另一方面,由于数据处理服务器的数据库中存有其他可处理数据串流的函数(如前述实施例的第一数据处理函数以及第二数据处理函数),非即时数据处理模块便可通过相关函数判断对应栏位数据的权重值,使即时数据处理模块得据以调整数据处理组态。

  请一并参考图4B,其是本发明第四实施例的数据串流于数据处理服务器中进行非即时数据处理的例示图。详言之,当非即时数据处理模块接收数据串流时,其主要可根据数据库中储存的各种函数(如车型、车速、道路、驾驶以及塞车程度)对数据串流进行分析,并针对不同的函数产生相应的权重值。

  如图所示,当数据串流经过车型函数f1时,便可获得权重值BMW、Benz、Audi。当数据串流经过车速函数f2时,便可得到权重值60、50、70。当数据串流经过道路函数f3时,便可获得权重值W、X、Y、Z、Q、P。当数据串流经过驾驶函数f4时,便可获得权重值A、B、C。当数据串流经过塞车程度函数f5时,便可获得权重值红、黄、绿。其中,红表示严重塞车,黄表示普通塞车,绿表示顺畅。随后,非即时数据处理模块便可据以产生路径W--P需40分钟的时间输出。

  接着,非即时数据处理模块将前述函数关系以及权重值储存至数据库。如此一来,即时数据处理模块便可进一步利用数据库更新的函数关系以及权重值。请同时参考图4C,其是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的另一例示图。

  具体而言,即时数据处理模块可进一步判断所需的函数,并据以更新即时数据处理组态。更进一步来说,如图所示,由于即时数据处理模块根据塞车程度的函数及其权重值,判断其为影响行车时间的主要因素之一,因此,即时数据处理模块便将塞车程度的函数及其权重值新增至即时数据处理组态中。

  如此一来,由于即时数据处理模块已通过非即时数据处理模块储存于数据库中的函数关系及权重值,针对即时数据处理组态进行更新,并新增直接影响行车时间的塞车程度函数及其权重值,因此,当即时数据处理模块进一步针对数据串流进行处理时,便可以即时的状态下,得到更为精准的路径W--P所需时间小于40分钟的时间输出。

  另需特别说明,函数的顺序并非固定,非实时数据处理模块以及实时数据处理模块可透过不同函数顺序,针对数据进行优化处理。请一并参考图4D,其是本发明第四实施例的数据串流于数据处理服务器中进行非实时数据处理的另一例示图。

  具体而言,当非实时数据处理模块接收数据串流时,其主要可根据数据库中储存的各种函数(同样如车型、车速、道路、驾驶以及塞车程度),以不同的函数顺序对数据串流进行分析,并据以针对不同的函数产生相应的权重值。

  如图所示,当资料串流经过车型函数f1时,便可获得权重值BMW、Benz、Audi。接着,非实时数据处理模块于另一数据串流处理过程中,可将道路函数f3的处理顺序排至车速函数f2前,此时,资料串流先经过道路函数f3时,由于道路判断的优先权先于车速优先权,因此,可得到不一样的权重值W、X、Y、Z、Q、P、M。

  需特别说明,相较于先前范例,此处的道路函数f3判断的结果新增权重值M。详言之,道路权重值M是为限速40之道路,因此,于先前范例中,由于车速函数f2优先于道路函数f3判断,且其判断出的车速权重值皆为50以上(即60、50、70),则后续数据串流经由道路函数f3便不会产生车速50以下的道路权重值(及道路权重值M限速40的道路)。

  据此,于本范例中,当数据串流经过车速函数f2时,可得到 权重值60、50、70、40。接着,类似地,当数据串流经过驾驶函数f4时,便可获得权重值A、B、C。当数据串流经过塞车程度函数f5时,便可获得权重值红、黄、绿。其中,红表示严重塞车,黄表示普通塞车,绿表示顺畅。随后,非实时数据处理模块便可据以产生路径W--P需35分钟的时间输出。

  接着,非实时数据处理模块将前述函数关系以及权重值储存至数据库。如此一来,实时数据处理模块便可进一步利用数据库更新的函数关系以及权重值。请同时参考图4E,其是本发明第四实施例的数据串流于数据处理服务器中进行实时数据处理的另一例示图。

  同样地,实时数据处理模块可进一步判断所需的函数,并据以更新实时数据处理组态。更进一步来说,如图所示,由于实时数据处理模块根据塞车程度函数及其权重值,判断其为影响行车时间的主要因素之一,因此,实时数据处理模块便将塞车程度的函数及其权重值新增至实时数据处理组态中。同时,在道路函数优于车速函数可得更佳输出的状况下,调动实时数据处理组态中的函数顺序。

  如此一来,由于实时数据处理模块已透过非实时数据处理模块储存于数据库中的函数关系及权重值,针对实时数据处理组态进行更新,并:(1)调整函数关系;及(2)新增直接影响行车时间的塞车程度函数及其权重值。因此,当实时数据处理模块进一步针对数据串流进行处理时,便可以实时的状态下,得到更为精准的路径W--P所需时间小于35分钟的时间输出。

  须特别说明,前述的数据处理服务器主要是用于处理大数据数据,惟其并非用以限制本发明的实施环境。另外,本发明技术主要是着重于:即时数据处理模块利用非即时数据处理模块的回馈更新即时数据处理组态,使得即时数据处理模块得通过更新后的即时数据处理组态获得更精准的输出,而本领域技术人员应可通过前揭内容,轻易理解相关的数据 处理方式以及函数的利用,因此不再赘述。

  再者,前述实施例的数据处理模块(如非即时数据处理模块以及即时资处理模块的数据接收单元以及数据分析单元、数据整合模块)可以为相关输出输入(I/O)接口以及处理器(Processor)等硬件电路构成,本领域技术人员应可轻易通过前述内容理解其架构,惟其并非用以限制本发明的实施态样。

  本发明的第五实施例是为数据处理方法,其流程图请参考图5。第五实施例的方法是用于一数据处理服务器(例如前述实施例的数据处理服务器),包含一数据库、一非即时数据处理模块以及一即时数据处理模块。数据库用以记录一第一数据处理函数。第五实施例的详细步骤如下所述。

  首先,以非即时数据处理模块角度观的,执行步骤501,令非即时数据处理模块接收一数据串流。接着,执行步骤502,令非即时数据处理模块根据第一数据处理函数分析数据串流,以产生至少一第一数据权重。执行步骤503,令非即时数据处理模块将至少一第一数据权重储存于数据库。

  另一方面,以即时数据处理模块角度观的。执行步骤504,令即时数据处理模块接收数据串流。执行步骤505,令即时数据处理模块自数据库撷取第一数据处理函数以及至少一第一数据权重。

  执行步骤506,令即时数据处理模块根据第一数据处理函数以及至少一第一数据权重更新一即时数据处理组态。其中,即时数据处理组态包含第一数据处理函数以及至少一第一数据权重。最后,执行步骤507,令即时数据处理模块根据即时数据处理组态分析数据串流,以产生一即时数据输出。

  须特别说明,于第五实施例的其他实施态样中,数据处理服务器可进一步包含一数据整合模块,而非即时数据处理模块可于步骤502后,根据第一数据处理函数以及至少一第一数据权重分析数据串流,以产 生一非即时数据输出。如此一来,数据整合模块便可于步骤507后,撷取即时数据输出以及非即时数据输出,并据以决定一整合数据输出。

  本发明的第六实施例是为数据处理方法,其流程图请参考图6。第六实施例的方法是用于一数据处理服务器(例如前述实施例的数据处理服务器),包含一数据库、一非即时数据处理模块以及一即时数据处理模块。数据库用以记录一第一数据处理函数以及一第二数据处理函数。第六实施例的详细步骤如下所述。

  首先,博亚体育 博亚体育官方网站以非即时数据处理模块角度观的,执行步骤601,令非即时数据处理模块接收一数据串流。接着,执行步骤602,令非即时数据处理模块根据第一数据处理函数分析数据串流,以产生至少一第一数据权重。执行步骤603,令非即时数据处理模块根据第二数据处理函数分析数据串流,以产生至少一第二数据权重。执行步骤604,令非即时数据处理模块将至少一第一数据权重以及至少一第二数据权重储存于数据库。

  另一方面,以即时数据处理模块角度观的。执行步骤605,令即时数据处理模块接收数据串流。执行步骤606,令即时数据处理模块自数据库撷取第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重。

  执行步骤607,令即时数据处理模块根据第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重更新一即时数据处理组态,其中,即时数据处理组态至少包含第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重。最后,执行步骤608,令即时数据处理模块根据即时数据处理组态分析数据串流,以产生一即时数据输出。

  同样地,须特别说明,于第六实施例的其他实施态样中,数据处理服务器可进一步包含一数据整合模块,而非即时数据处理模块可于步骤603后,根据第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重分析数据串流,以产生一非即时数据输出。 如此,数据整合模块便可于步骤608后,撷取即时数据输出以及非即时数据输出,并据以决定一整合数据输出。

  综合上述,本发明的数据处理服务器及其数据处理方法,主要是由即时数据处理模块利用非即时数据处理模块的回馈,更新即时数据处理组态,使得即时数据处理模块得通过更新后的即时数据处理组态获得更精准的输出,如此一来,便可提升数据输出的准确性,同时维持数据输出的即时性。

  惟上述实施例仅为例示性说明本发明的实施态样,以及阐释本发明的技术特征,并非用来限制本发明的保护范畴。任何熟悉此技艺的人士可轻易完成的改变或均等性的安排均属于本发明所主张的范围,本发明的权利保护范围应以申请专利范围为准。

Copyright © 2023-2023 博亚科技有限公司 版权所有  备案号:豫ICP备20014533号  
地址:河南省郑州市管城回族区郑汴路39号16号楼22层2213号  邮箱:3508448626@qq.com  电话:18238528218