feat: introduce worker node queue back pressure detection
[poolifier.git] / src / pools / pool.ts
index ef93982fbf19ab4c3350af3150116e7cb27dfd40..26ca4c03279ad9969df3940141cf0bade3b815b4 100644 (file)
@@ -1,11 +1,13 @@
-import EventEmitterAsyncResource from 'node:events'
+import { EventEmitter } from 'node:events'
+import { type TransferListItem } from 'node:worker_threads'
 import type {
   ErrorHandler,
   ExitHandler,
   IWorker,
+  IWorkerNode,
   MessageHandler,
   OnlineHandler,
-  WorkerNode
+  WorkerType
 } from './worker'
 import type {
   WorkerChoiceStrategy,
@@ -31,32 +33,22 @@ export const PoolTypes = Object.freeze({
  */
 export type PoolType = keyof typeof PoolTypes
 
-/**
- * Enumeration of worker types.
- */
-export const WorkerTypes = Object.freeze({
-  cluster: 'cluster',
-  thread: 'thread'
-} as const)
-
-/**
- * Worker type.
- */
-export type WorkerType = keyof typeof WorkerTypes
-
 /**
  * Pool events emitter.
  */
-export class PoolEmitter extends EventEmitterAsyncResource {}
+export class PoolEmitter extends EventEmitter {}
 
 /**
  * Enumeration of pool events.
  */
 export const PoolEvents = Object.freeze({
-  full: 'full',
+  ready: 'ready',
   busy: 'busy',
+  full: 'full',
+  destroy: 'destroy',
   error: 'error',
-  taskError: 'taskError'
+  taskError: 'taskError',
+  backPressure: 'backPressure'
 } as const)
 
 /**
@@ -68,18 +60,38 @@ export type PoolEvent = keyof typeof PoolEvents
  * Pool information.
  */
 export interface PoolInfo {
-  type: PoolType
-  worker: WorkerType
-  minSize: number
-  maxSize: number
-  workerNodes: number
-  idleWorkerNodes: number
-  busyWorkerNodes: number
-  executedTasks: number
-  executingTasks: number
-  queuedTasks: number
-  maxQueuedTasks: number
-  failedTasks: number
+  readonly version: string
+  readonly type: PoolType
+  readonly worker: WorkerType
+  readonly ready: boolean
+  readonly strategy: WorkerChoiceStrategy
+  readonly minSize: number
+  readonly maxSize: number
+  /** Pool utilization. */
+  readonly utilization?: number
+  /** Pool total worker nodes. */
+  readonly workerNodes: number
+  /** Pool idle worker nodes. */
+  readonly idleWorkerNodes: number
+  /** Pool busy worker nodes. */
+  readonly busyWorkerNodes: number
+  readonly executedTasks: number
+  readonly executingTasks: number
+  readonly queuedTasks?: number
+  readonly maxQueuedTasks?: number
+  readonly failedTasks: number
+  readonly runTime?: {
+    readonly minimum: number
+    readonly maximum: number
+    readonly average: number
+    readonly median?: number
+  }
+  readonly waitTime?: {
+    readonly minimum: number
+    readonly maximum: number
+    readonly average: number
+    readonly median?: number
+  }
 }
 
 /**
@@ -91,7 +103,7 @@ export interface TasksQueueOptions {
    *
    * @defaultValue 1
    */
-  concurrency?: number
+  readonly concurrency?: number
 }
 
 /**
@@ -100,6 +112,10 @@ export interface TasksQueueOptions {
  * @typeParam Worker - Type of worker.
  */
 export interface PoolOptions<Worker extends IWorker> {
+  /**
+   * A function that will listen for online event on each worker.
+   */
+  onlineHandler?: OnlineHandler<Worker>
   /**
    * A function that will listen for message event on each worker.
    */
@@ -108,10 +124,6 @@ export interface PoolOptions<Worker extends IWorker> {
    * A function that will listen for error event on each worker.
    */
   errorHandler?: ErrorHandler<Worker>
-  /**
-   * A function that will listen for online event on each worker.
-   */
-  onlineHandler?: OnlineHandler<Worker>
   /**
    * A function that will listen for exit event on each worker.
    */
@@ -167,14 +179,16 @@ export interface IPool<
   /**
    * Pool worker nodes.
    */
-  readonly workerNodes: Array<WorkerNode<Worker, Data>>
+  readonly workerNodes: Array<IWorkerNode<Worker, Data>>
   /**
    * Emitter on which events can be listened to.
    *
    * Events that can currently be listened to:
    *
-   * - `'full'`: Emitted when the pool is dynamic and full.
-   * - `'busy'`: Emitted when the pool is busy.
+   * - `'ready'`: Emitted when the number of workers created in the pool has reached the minimum size expected and are ready.
+   * - `'busy'`: Emitted when the number of workers created in the pool has reached the maximum size expected and are executing at least one task.
+   * - `'full'`: Emitted when the pool is dynamic and the number of workers created has reached the maximum size expected.
+   * - '`destroy`': Emitted when the pool is destroyed.
    * - `'error'`: Emitted when an uncaught error occurs.
    * - `'taskError'`: Emitted when an error occurs while executing a task.
    */
@@ -182,22 +196,33 @@ export interface IPool<
   /**
    * Executes the specified function in the worker constructor with the task data input parameter.
    *
-   * @param data - The task input data for the specified worker function. This can only be structured-cloneable data.
-   * @param name - The name of the worker function to execute. If not specified, the default worker function will be executed.
+   * @param data - The optional task input data for the specified task function. This can only be structured-cloneable data.
+   * @param name - The optional name of the task function to execute. If not specified, the default task function will be executed.
+   * @param transferList - An optional array of transferable objects to transfer ownership of. Ownership of the transferred objects is given to the pool's worker_threads worker and they should not be used in the main thread afterwards.
    * @returns Promise that will be fulfilled when the task is completed.
    */
-  execute: (data?: Data, name?: string) => Promise<Response>
+  readonly execute: (
+    data?: Data,
+    name?: string,
+    transferList?: TransferListItem[]
+  ) => Promise<Response>
   /**
-   * Terminate every current worker in this pool.
+   * Terminates all workers in this pool.
+   */
+  readonly destroy: () => Promise<void>
+  /**
+   * Lists the names of task function available in this pool.
+   *
+   * @returns The names of task function available in this pool.
    */
-  destroy: () => Promise<void>
+  readonly listTaskFunctions: () => string[]
   /**
    * Sets the worker choice strategy in this pool.
    *
    * @param workerChoiceStrategy - The worker choice strategy.
    * @param workerChoiceStrategyOptions - The worker choice strategy options.
    */
-  setWorkerChoiceStrategy: (
+  readonly setWorkerChoiceStrategy: (
     workerChoiceStrategy: WorkerChoiceStrategy,
     workerChoiceStrategyOptions?: WorkerChoiceStrategyOptions
   ) => void
@@ -206,7 +231,7 @@ export interface IPool<
    *
    * @param workerChoiceStrategyOptions - The worker choice strategy options.
    */
-  setWorkerChoiceStrategyOptions: (
+  readonly setWorkerChoiceStrategyOptions: (
     workerChoiceStrategyOptions: WorkerChoiceStrategyOptions
   ) => void
   /**
@@ -215,7 +240,7 @@ export interface IPool<
    * @param enable - Whether to enable or disable the worker tasks queue.
    * @param tasksQueueOptions - The worker tasks queue options.
    */
-  enableTasksQueue: (
+  readonly enableTasksQueue: (
     enable: boolean,
     tasksQueueOptions?: TasksQueueOptions
   ) => void
@@ -224,5 +249,5 @@ export interface IPool<
    *
    * @param tasksQueueOptions - The worker tasks queue options.
    */
-  setTasksQueueOptions: (tasksQueueOptions: TasksQueueOptions) => void
+  readonly setTasksQueueOptions: (tasksQueueOptions: TasksQueueOptions) => void
 }