perf: use optimized circular buffer implementation to store measurements history
[poolifier.git] / src / pools / worker.ts
index 43e7fc608cb9be8d569ade1acc7dc72fe2194cad..7d9f3de9b24e2a8cebeed50064ff2e8ab87e71b8 100644 (file)
@@ -1,14 +1,20 @@
-import type { MessageChannel } from 'node:worker_threads'
-import type { CircularArray } from '../circular-array'
-import type { Task } from '../utility-types'
+import type { EventEmitter } from 'node:events'
+import type { MessageChannel, WorkerOptions } from 'node:worker_threads'
+
+import type { CircularBuffer } from '../circular-buffer.js'
+import type { Task, TaskFunctionProperties } from '../utility-types.js'
 
 /**
  * Callback invoked when the worker has started successfully.
+ *
+ * @typeParam Worker - Type of worker.
  */
 export type OnlineHandler<Worker extends IWorker> = (this: Worker) => void
 
 /**
  * Callback invoked if the worker has received a message.
+ *
+ * @typeParam Worker - Type of worker.
  */
 export type MessageHandler<Worker extends IWorker> = (
   this: Worker,
@@ -17,6 +23,8 @@ export type MessageHandler<Worker extends IWorker> = (
 
 /**
  * Callback invoked if the worker raised an error.
+ *
+ * @typeParam Worker - Type of worker.
  */
 export type ErrorHandler<Worker extends IWorker> = (
   this: Worker,
@@ -25,12 +33,30 @@ export type ErrorHandler<Worker extends IWorker> = (
 
 /**
  * Callback invoked when the worker exits successfully.
+ *
+ * @typeParam Worker - Type of worker.
  */
 export type ExitHandler<Worker extends IWorker> = (
   this: Worker,
   exitCode: number
 ) => void
 
+/**
+ * Worker event handler.
+ *
+ * @typeParam Worker - Type of worker.
+ */
+export type EventHandler<Worker extends IWorker> =
+  | OnlineHandler<Worker>
+  | MessageHandler<Worker>
+  | ErrorHandler<Worker>
+  | ExitHandler<Worker>
+
+/**
+ * Measurement history size.
+ */
+export const MeasurementHistorySize = 386
+
 /**
  * Measurement statistics.
  *
@@ -60,7 +86,7 @@ export interface MeasurementStatistics {
   /**
    * Measurement history.
    */
-  readonly history: CircularArray<number>
+  readonly history: CircularBuffer<number>
 }
 
 /**
@@ -96,6 +122,10 @@ export interface TaskStatistics {
    * Maximum number of queued tasks.
    */
   readonly maxQueued?: number
+  /**
+   * Number of sequentially stolen tasks.
+   */
+  sequentiallyStolen: number
   /**
    * Number of stolen tasks.
    */
@@ -109,10 +139,11 @@ export interface TaskStatistics {
 /**
  * Enumeration of worker types.
  */
-export const WorkerTypes = Object.freeze({
-  thread: 'thread',
-  cluster: 'cluster'
-} as const)
+export const WorkerTypes: Readonly<{ thread: 'thread', cluster: 'cluster' }> =
+  Object.freeze({
+    thread: 'thread',
+    cluster: 'cluster'
+  } as const)
 
 /**
  * Worker type.
@@ -142,9 +173,19 @@ export interface WorkerInfo {
    */
   ready: boolean
   /**
-   * Task function names.
+   * Stealing flag.
+   * This flag is set to `true` when worker node is stealing tasks from another worker node.
+   */
+  stealing: boolean
+  /**
+   * Back pressure flag.
+   * This flag is set to `true` when worker node tasks queue has back pressure.
+   */
+  backPressure: boolean
+  /**
+   * Task functions properties.
    */
-  taskFunctionNames?: string[]
+  taskFunctionsProperties?: TaskFunctionProperties[]
 }
 
 /**
@@ -183,38 +224,60 @@ export interface StrategyData {
 /**
  * Worker interface.
  */
-export interface IWorker {
+export interface IWorker extends EventEmitter {
   /**
-   * Worker id.
+   * Cluster worker id.
    */
   readonly id?: number
+  /**
+   * Worker thread worker id.
+   */
   readonly threadId?: number
   /**
-   * Registers an event listener.
+   * Registers an event handler.
    *
    * @param event - The event.
    * @param handler - The event handler.
    */
-  readonly on: ((event: 'online', handler: OnlineHandler<this>) => void) &
-  ((event: 'message', handler: MessageHandler<this>) => void) &
-  ((event: 'error', handler: ErrorHandler<this>) => void) &
-  ((event: 'exit', handler: ExitHandler<this>) => void)
+  readonly on: (event: string, handler: EventHandler<this>) => this
   /**
-   * Registers a listener to the exit event that will only be performed once.
+   * Registers once an event handler.
    *
-   * @param event - The `'exit'` event.
-   * @param handler - The exit handler.
+   * @param event - The event.
+   * @param handler - The event handler.
+   */
+  readonly once: (event: string, handler: EventHandler<this>) => this
+  /**
+   * Calling `unref()` on a worker allows the thread to exit if this is the only
+   * active handle in the event system. If the worker is already `unref()`ed calling`unref()` again has no effect.
+   * @since v10.5.0
    */
-  readonly once: (event: 'exit', handler: ExitHandler<this>) => void
+  readonly unref?: () => void
+  /**
+   * Stop all JavaScript execution in the worker thread as soon as possible.
+   * Returns a Promise for the exit code that is fulfilled when the `'exit' event` is emitted.
+   */
+  readonly terminate?: () => Promise<number>
+  /**
+   * Cluster worker disconnect.
+   */
+  readonly disconnect?: () => void
+  /**
+   * Cluster worker kill.
+   */
+  readonly kill?: (signal?: string) => void
 }
 
 /**
- * Worker node event detail.
+ * Worker node options.
  *
  * @internal
  */
-export interface WorkerNodeEventDetail {
-  workerId: number
+export interface WorkerNodeOptions {
+  workerOptions?: WorkerOptions
+  env?: Record<string, unknown>
+  tasksQueueBackPressureSize: number | undefined
+  tasksQueueBucketSize: number | undefined
 }
 
 /**
@@ -225,7 +288,7 @@ export interface WorkerNodeEventDetail {
  * @internal
  */
 export interface IWorkerNode<Worker extends IWorker, Data = unknown>
-  extends EventTarget {
+  extends EventEmitter {
   /**
    * Worker.
    */
@@ -240,11 +303,11 @@ export interface IWorkerNode<Worker extends IWorker, Data = unknown>
   readonly usage: WorkerUsage
   /**
    * Worker choice strategy data.
-   * This is used to store data that is specific to the worker choice strategy.
+   * This is used to store data that are specific to the worker choice strategy.
    */
   strategyData?: StrategyData
   /**
-   * Message channel (worker_threads only).
+   * Message channel (worker thread only).
    */
   readonly messageChannel?: MessageChannel
   /**
@@ -265,25 +328,19 @@ export interface IWorkerNode<Worker extends IWorker, Data = unknown>
    * @returns The tasks queue size.
    */
   readonly enqueueTask: (task: Task<Data>) => number
-  /**
-   * Prepends a task to the tasks queue.
-   *
-   * @param task - The task to prepend.
-   * @returns The tasks queue size.
-   */
-  readonly unshiftTask: (task: Task<Data>) => number
   /**
    * Dequeue task.
    *
+   * @param bucket - The prioritized bucket to dequeue from. @defaultValue 0
    * @returns The dequeued task.
    */
-  readonly dequeueTask: () => Task<Data> | undefined
+  readonly dequeueTask: (bucket?: number) => Task<Data> | undefined
   /**
-   * Pops a task from the tasks queue.
+   * Dequeue last prioritized task.
    *
-   * @returns The popped task.
+   * @returns The dequeued task.
    */
-  readonly popTask: () => Task<Data> | undefined
+  readonly dequeueLastPrioritizedTask: () => Task<Data> | undefined
   /**
    * Clears tasks queue.
    */
@@ -295,13 +352,29 @@ export interface IWorkerNode<Worker extends IWorker, Data = unknown>
    */
   readonly hasBackPressure: () => boolean
   /**
-   * Resets usage statistics.
+   * Terminates the worker node.
    */
-  readonly resetUsage: () => void
+  readonly terminate: () => Promise<void>
   /**
-   * Closes communication channel.
+   * Registers a worker event handler.
+   *
+   * @param event - The event.
+   * @param handler - The event handler.
    */
-  readonly closeChannel: () => void
+  readonly registerWorkerEventHandler: (
+    event: string,
+    handler: EventHandler<Worker>
+  ) => void
+  /**
+   * Registers once a worker event handler.
+   *
+   * @param event - The event.
+   * @param handler - The event handler.
+   */
+  readonly registerOnceWorkerEventHandler: (
+    event: string,
+    handler: EventHandler<Worker>
+  ) => void
   /**
    * Gets task function worker usage statistics.
    *
@@ -317,3 +390,13 @@ export interface IWorkerNode<Worker extends IWorker, Data = unknown>
    */
   readonly deleteTaskFunctionWorkerUsage: (name: string) => boolean
 }
+
+/**
+ * Worker node event detail.
+ *
+ * @internal
+ */
+export interface WorkerNodeEventDetail {
+  workerId?: number
+  workerNodeKey?: number
+}