sycl : mark tq2_0 as not supported (#27660)
This commit is contained in:
@@ -6018,6 +6018,11 @@ static bool do_ggml_backend_sycl_device_supports_op(ggml_backend_dev_t dev, cons
|
|||||||
a->ne[0] > 128 && a->ne[2] == 1 && src0_type == GGML_TYPE_F16) {
|
a->ne[0] > 128 && a->ne[2] == 1 && src0_type == GGML_TYPE_F16) {
|
||||||
return false;
|
return false;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if (src0_type == GGML_TYPE_TQ2_0) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
return true;
|
return true;
|
||||||
}
|
}
|
||||||
case GGML_OP_OUT_PROD:
|
case GGML_OP_OUT_PROD:
|
||||||
@@ -6068,6 +6073,9 @@ static bool do_ggml_backend_sycl_device_supports_op(ggml_backend_dev_t dev, cons
|
|||||||
|
|
||||||
case GGML_OP_SET_ROWS:
|
case GGML_OP_SET_ROWS:
|
||||||
{
|
{
|
||||||
|
if (op->type == GGML_TYPE_TQ2_0) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
auto res = (op->src[0]->type == GGML_TYPE_F32 || op->src[0]->type == GGML_TYPE_F16 ||
|
auto res = (op->src[0]->type == GGML_TYPE_F32 || op->src[0]->type == GGML_TYPE_F16 ||
|
||||||
op->src[0]->type == GGML_TYPE_BF16) &&
|
op->src[0]->type == GGML_TYPE_BF16) &&
|
||||||
(op->src[1]->type == GGML_TYPE_I64 || op->src[1]->type == GGML_TYPE_I32);
|
(op->src[1]->type == GGML_TYPE_I64 || op->src[1]->type == GGML_TYPE_I32);
|
||||||
@@ -6186,11 +6194,16 @@ static bool do_ggml_backend_sycl_device_supports_op(ggml_backend_dev_t dev, cons
|
|||||||
src1_type == GGML_TYPE_IQ3_XXS ||
|
src1_type == GGML_TYPE_IQ3_XXS ||
|
||||||
src1_type == GGML_TYPE_IQ3_S ||
|
src1_type == GGML_TYPE_IQ3_S ||
|
||||||
src1_type == GGML_TYPE_IQ1_S ||
|
src1_type == GGML_TYPE_IQ1_S ||
|
||||||
src1_type == GGML_TYPE_IQ1_M) {
|
src1_type == GGML_TYPE_IQ1_M ||
|
||||||
|
src1_type == GGML_TYPE_TQ2_0) {
|
||||||
return false;
|
return false;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if (src0_type == GGML_TYPE_TQ2_0 || src1_type == GGML_TYPE_TQ2_0) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
return true;
|
return true;
|
||||||
}
|
}
|
||||||
case GGML_OP_REPEAT_BACK:
|
case GGML_OP_REPEAT_BACK:
|
||||||
|
|||||||
@@ -2559,7 +2559,7 @@ void ggml_sycl_op_mul_mat_vec_q(ggml_backend_sycl_context & ctx, const ggml_tens
|
|||||||
}
|
}
|
||||||
break;
|
break;
|
||||||
default:
|
default:
|
||||||
GGML_ABORT("fatal error: unsupport data type=%s\n", ggml_type_name(src0->type));
|
GGML_ABORT("fatal error: unsupport src0 data type %s\n", ggml_type_name(src0->type));
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
GGML_UNUSED(src1);
|
GGML_UNUSED(src1);
|
||||||
|
|||||||
@@ -546,7 +546,8 @@ static void set_rows_sycl(ggml_backend_sycl_context & ctx, const ggml_tensor * s
|
|||||||
stream);
|
stream);
|
||||||
break;
|
break;
|
||||||
default:
|
default:
|
||||||
GGML_ABORT("Unsupported tensor type!");
|
GGML_ABORT("Unsupported tensor type: src0 %s src1 %s dst %s", ggml_type_name(dst->src[0]->type),
|
||||||
|
ggml_type_name(dst->src[1]->type), ggml_type_name(dst->type));
|
||||||
break;
|
break;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user