存在しない外部キーを挿入できるのはなぜですか？

列定義の下に外部キーを明示的に定義する必要があります。

親キーは署名されていないため、product_idも署名されていないようにする必要があります：

CREATE TABLE orders (
  id integer PRIMARY KEY auto_increment,
  product_id integer unsigned,
  quantity integer,
  INDEX product_id_idx (product_id),
  CONSTRAINT FK_ORDER_TO_PRODUCT FOREIGN KEY (product_id) REFERENCES products (id)
 ) engine=innodb;