이 패키지는 JavaScript 코드 문자열을 토큰 객체로 변환하는 생성기 함수 jsTokens를 내 보냅니다.

https://github.com/lydell/js-tokens

빈 문자열의 경우 함수는 아무것도 생성하지 않습니다 (빈 목록으로 바뀔 수 있음). 다른 입력의 경우 함수는 유효하지 않은 JavaScript의 경우에도 항상 무언가를 산출하고 결코 던지지 않습니다. 토큰 값을 연결하면 입력이 재현됩니다.

이 패키지는 완전히 사양을 준수하는 데 매우 가깝지만 (test262-parser-test 3 개를 제외하고 모두 통과) 몇 가지 지름길을 사용했습니다. 일부 토큰의 제한 사항은 다음 섹션을 참조하십시오.

// Loop over tokens:
for (const token of jsTokens("hello, !world")) {
  console.log(token);
}

// Get all tokens as an array:
const tokens = Array.from(jsTokens("hello, !world"));